梯度下降法及其Python實現(xiàn)

梯度降落法（gradient descent），又名最速降落法（steepest descent）是求解無束縛最優(yōu)化問題最經(jīng)常使用的方法，它是1種迭代方法，每步主要的操作是求解目標(biāo)函數(shù)的梯度向量，將當(dāng)前位置的負(fù)梯度方向作為搜索方向（由于在該方向上目標(biāo)函數(shù)降落最快，這也是最速降落法名稱的由來）。
梯度降落法特點：越接近目標(biāo)值，步長越小，降落速度越慢。
直觀上來看以下圖所示：


這里每個圈代表1個函數(shù)梯度，最中心表示函數(shù)極值點，每次迭代根據(jù)當(dāng)前位置求得的梯度（用于肯定搜索方向和與步長共同決定前進(jìn)速度）和步長找到1個新的位置，這樣不斷迭代終究到達(dá)目標(biāo)函數(shù)局部最優(yōu)點（如果目標(biāo)函數(shù)是凸函數(shù)，則到達(dá)全局最優(yōu)點）。


下面我們將通過公式來具體說明梯度降落法
下面這個h(θ)是我們的擬合函數(shù)


也能夠用向量的情勢進(jìn)行表示：


下面函數(shù)是我們需要進(jìn)行最優(yōu)化的風(fēng)險函數(shù)，其中的每項都表示在已有的訓(xùn)練集上我們的擬合函數(shù)與y之間的殘差，計算其平方損失函數(shù)作為我們構(gòu)建的風(fēng)險函數(shù)（參見最小2乘法及其Python實現(xiàn)）


這里我們乘上1/2是為了方便后面求偏導(dǎo)數(shù)時結(jié)果更加簡潔，之所以能乘上1/2是由于乘上這個系數(shù)后對求解風(fēng)險函數(shù)最優(yōu)值沒有影響。
我們的目標(biāo)就是要最小化風(fēng)險函數(shù)，使得我們的擬合函數(shù)能夠最大程度的對目標(biāo)函數(shù)y進(jìn)行擬合，即：


后面的具體梯度求解都是圍繞這個目標(biāo)來進(jìn)行。


批量梯度降落BGD
依照傳統(tǒng)的思想，我們需要對上述風(fēng)險函數(shù)中的每一個求其偏導(dǎo)數(shù)，得到每一個對應(yīng)的梯度


這里表示第i個樣本點的第j份量，即h(θ)中的


接下來由于我們要最小化風(fēng)險函數(shù)，故依照每一個參數(shù)的負(fù)梯度方向來更新每個


這里的α表示每步的步長


從上面公式可以注意到，它得到的是1個全局最優(yōu)解，但是每迭代1步，都要用到訓(xùn)練集所有的數(shù)據(jù)，如果m很大，那末可想而知這類方法的迭代速度！！所以，這就引入了另外1種方法，隨機(jī)梯度降落。


隨機(jī)梯度降落SGD
由于批量梯度降落在訓(xùn)練集很大的情況下迭代速度非常之慢，所以在這類情況下再使用批量梯度降落來求解風(fēng)險函數(shù)的最優(yōu)化問題是不具有可行性的，在此情況下，提出了——隨機(jī)梯度降落
我們將上述的風(fēng)險函數(shù)改寫成以下情勢：


其中，


稱為樣本點的損失函數(shù)


接下來我們對每一個樣本的損失函數(shù)，對每一個求其偏導(dǎo)數(shù)，得到每一個對應(yīng)的梯度


然后根據(jù)每一個參數(shù)的負(fù)梯度方向來更新每個


與批量梯度降落相比，隨機(jī)梯度降落每次迭代只用到了1個樣本，在樣本量很大的情況下，常見的情況是只用到了其中1部份樣本數(shù)據(jù)便可將θ迭代到最優(yōu)解。因此隨機(jī)梯度降落比批量梯度降落在計算量上會大大減少。


SGD有1個缺點是，其噪音較BGD要多，使得SGD其實不是每次迭代都向著整體最優(yōu)化方向。而且SGD由于每次都是使用1個樣本進(jìn)行迭代，因此終究求得的最優(yōu)解常常不是全局最優(yōu)解，而只是局部最優(yōu)解。但是大的整體的方向是向全局最優(yōu)解的，終究的結(jié)果常常是在全局最優(yōu)解附近。


下面是兩種方法的圖形展現(xiàn)：



從上述圖形可以看出，SGD由于每次都是用1個樣本點進(jìn)行梯度搜索，因此其最優(yōu)化路徑看上去比較盲目（這也是隨機(jī)梯度降落名字的由來）。


對照其優(yōu)劣點以下：
批量梯度降落：
優(yōu)點：全局最優(yōu)解；易于并行實現(xiàn)；整體迭代次數(shù)不多
缺點：當(dāng)樣本數(shù)目很多時，訓(xùn)練進(jìn)程會很慢，每次迭代需要耗費大量的時間。

隨機(jī)梯度降落：
優(yōu)點：訓(xùn)練速度快，每次迭代計算量不大
缺點：準(zhǔn)確度降落，其實不是全局最優(yōu)；不容易于并行實現(xiàn)；整體迭代次數(shù)比較多。

============ 分割分割 =============
上面我們講授了甚么是梯度降落法，和如何求解梯度降落，下面我們將通過Python來實現(xiàn)梯度降落法。

注意：這里在選取alpha和epsilon時需要謹(jǐn)慎選擇，可能不適的值會致使最后沒法收斂。

參考文檔：

隨機(jī)梯度降落（Stochastic gradient descent）和 批量梯度降落（Batch gradient descent ）的公式對照、實現(xiàn)對照

生活不易，碼農(nóng)辛苦
如果您覺得本網(wǎng)站對您的學(xué)習(xí)有所幫助,可以手機(jī)掃描二維碼進(jìn)行捐贈