1. 程式人生 > >深度學習知識點查漏補缺(反向傳播)

深度學習知識點查漏補缺(反向傳播)

普通 就是 post 神經網絡 節點 深度學習 網絡 非線性 關系

神經網絡反向傳播

首先理解一個基礎前提,神經網絡只是一個嵌套的,非線性函數(激活函數)復合線性函數的函數。對其優化,也同一般機器學習算法的目標函數優化一樣,可以用梯度下降等算法對所有函數參數進行優化。

但因為前饋神經網絡的函數嵌套關系,對其優化求偏導時,存在一個沿著網絡反方向的鏈式關系。

以一個兩個隱藏層的網絡為例:

技術分享圖片

對最終的誤差函數求偏導,沿著嵌套函數的方向,存在求偏導的一個鏈條,如下圖:

技術分享圖片

沿著這個鏈條去求得誤差函數相對w5的偏導(也就是梯度),就可以對w5進行優化更新。到這兒看起來也只是體現為普通的求梯度去優化目標函數,雖然存在鏈式的求偏導過程。而反向傳播的優勢在於,沿網絡反方向求偏導的過程中,前期已經的計算的偏導值可以為後期傳播到的節點求偏導過程所用。

例如下圖,繼續計算目標函數對w1的偏導的過程中,之前計算w5偏導的時候,已經得到的鏈條中偏導值可以繼續使用,而不用相對w1再次重新計算,從而提高整體優化速度。

技術分享圖片

深度學習知識點查漏補缺(反向傳播)