機器學習&深度學習優化演算法
阿新 • • 發佈：2018-11-26
1.給定資料集X = {
}, 資料標記為：Y = {
}
學習器：
, 學習率：
。
for
{
}
2.批量梯度下降演算法（BGD）
批量梯度下降演算法又稱之為最速梯度下降，這裡的“批量”指的是全部一起處理的意思。
2.給定資料集X = {
學習器：
, 學習率：for
{
}
這裡的 N 指的是樣本數量。我們計算一次梯度時，需要計算完所有的資料的誤差梯度，累加後再平均，這就是我們要找的最速下降梯度。也就類似於：“環顧四周”。
當然，實物具有兩面性，有點是準確，但是在如今大資料的時代，這就造成了巨大的計算困難。
3.隨機梯度下降演算法（SGD）
2.給定資料集X = {
}, 資料標記為：Y = {學習器：
for
{
隨機選擇一條資料
;
;
}
SGD最大的好處就是我們不需要考慮資料集的尺寸，我們看見一條資料就修改一條資料，我們的機器學習就可以邊學習邊工作，也就是現在流行的 線上學習（Online Learing）。