神經網絡反向傳播

首先理解一個基礎前提，神經網絡只是一個嵌套的，非線性函數（激活函數）復合線性函數的函數。對其優化，也同一般機器學習算法的目標函數優化一樣，可以用梯度下降等算法對所有函數參數進行優化。

但因為前饋神經網絡的函數嵌套關系，對其優化求偏導時，存在一個沿著網絡反方向的鏈式關系。

以一個兩個隱藏層的網絡為例：

對最終的誤差函數求偏導，沿著嵌套函數的方向，存在求偏導的一個鏈條，如下圖：

沿著這個鏈條去求得誤差函數相對w5的偏導（也就是梯度），就可以對w5進行優化更新。到這兒看起來也只是體現為普通的求梯度去優化目標函數，雖然存在鏈式的求偏導過程。而反向傳播的優勢在於，沿網絡反方向求偏導的過程中，前期已經的計算的偏導值可以為後期傳播到的節點求偏導過程所用。

例如下圖，繼續計算目標函數對w1的偏導的過程中，之前計算w5偏導的時候，已經得到的鏈條中偏導值可以繼續使用，而不用相對w1再次重新計算，從而提高整體優化速度。

深度學習知識點查漏補缺（反向傳播）