廣告
機器學習最全知識點匯總
1.列舉常用的最優(yōu)化方法
梯度下降法
牛頓法，
擬牛頓法
坐標下降法
梯度下降法的改進型如AdaDelta，AdaGrad，Adam，NAG等。
2.梯度下降法的關(guān)鍵點
梯度下降法沿著梯度的反方向進行搜索，利用了函數(shù)的一階導數(shù)信息。梯度下降法的迭代公式為：
根據(jù)函數(shù)的一階泰勒展開，在負梯度方向，函數(shù)值是下降的。只要學習率設(shè)置的足夠小，并且沒有到達梯度為0的點處，每次迭代時函數(shù)值一定會下降。需要設(shè)置學習率為一個非常小的正數(shù)的原因是要保證迭代之后的xk+1位于迭代之前的值xk的鄰域內(nèi)，從而可以忽略泰勒展開中的高次項，保證迭代時函數(shù)值下降。
梯度下降法只能保證找到梯度為0的點，不能保證找到極小值點。迭代終止的判定依據(jù)是梯度值充分接近于0，或者達到最大指定迭代次數(shù)。
梯度下降法在機器學習中應用廣泛，尤其是在深度學習中。AdaDelta，AdaGrad，Adam，NAG等改進的梯度下降法都是用梯度構(gòu)造更新項，區(qū)別在于更新項的構(gòu)造方式不同。對梯度下降法更全面的介紹可以閱讀SIGAI之前的公眾號文章“理解梯度下降法”。
3.牛頓法的關(guān)鍵點
牛頓法利用了函數(shù)的一階和二階導數(shù)信息，直接尋找梯度為0的點。牛頓法的迭代公式為：
其中H為Hessian矩陣，g為梯度向量。牛頓法不能保證每次迭代時函數(shù)值下降，也不能保證收斂到極小值點。在實現(xiàn)時，也需要設(shè)置學習率，原因和梯度下降法相同，是為了能夠忽略泰勒展開中的高階項。學習率的設(shè)置通常采用直線搜索（line search）技術(shù)。
在實現(xiàn)時，一般不直接求Hessian矩陣的逆矩陣，而是求解下面的線性方程組：
其解d稱為牛頓方向。迭代終止的判定依據(jù)是梯度值充分接近于0，或者達到最大指定迭代次數(shù)。
牛頓法比梯度下降法有更快的收斂速度，但每次迭代時需要計算Hessian矩陣，并求解一個線性方程組，運算量大。另外，如果Hessian矩陣不可逆，則這種方法失效。
4.拉格朗日乘數(shù)法
拉格朗日乘數(shù)法是一個理論結(jié)果，用于求解帶有等式約束的函數(shù)極值。對于如下問題：
構(gòu)造拉格朗日乘子函數(shù)：
在最優(yōu)點處對x和乘子變量的導數(shù)都必須為0：
廣告 編輯推薦
最新資訊
-
開年豪擲1.8億搶用戶，又一車企加入“價格
2026-03-04 16:05
-
聯(lián)合國法規(guī)R60對兩輪車操縱件與指示裝置的
2026-03-04 12:08
-
標準立項|《汽車異種材料鉚接接頭拉伸性能
2026-03-04 11:40
-
“汽車大角度座椅 第1部分：通用要求”將有
2026-03-04 11:39
-
“汽車大角度座椅 第2部分：可靠性要求”將
2026-03-04 11:39
