1. 程式人生 > 實用技巧 >Pytorch入門之自動梯度模組隱藏梯度和除以批量大小

Pytorch入門之自動梯度模組隱藏梯度和除以批量大小

前段時間,有同學問我在用神經網路模擬一個線性迴歸問題時,在SGD中的step()的原始碼中為何沒有出現梯度和除以批量大小的式子,其實這個“除以批量大小”已經被backward()函式計算在內了,step()函式中只需要做學習率與梯度相乘,然後和原梯度相減就行了。至於原因,我將從理論到程式碼去分析,因為式子太多,打字不方便,就直接寫紙上了: