淺談Pytorch中的自動求導函式backward()所需引數的含義
正常來說backward( )函式是要傳入引數的,一直沒弄明白backward需要傳入的引數具體含義,但是沒關係,生命在與折騰,咱們來折騰一下,嘿嘿。
對標量自動求導
首先,如果out.backward()中的out是一個標量的話(相當於一個神經網路有一個樣本,這個樣本有兩個屬性,神經網路有一個輸出)那麼此時我的backward函式是不需要輸入任何引數的。
import torch from torch.autograd import Variable a = Variable(torch.Tensor([2,3]),requires_grad=True) b = a + 3 c = b * 3 out = c.mean() out.backward() print('input:') print(a.data) print('output:') print(out.data.item()) print('input gradients are:') print(a.grad)
執行結果:
不難看出,我們構建了這樣的一個函式:
所以其求導也很容易看出:
這是對其進行標量自動求導的結果.
對向量自動求導
如果out.backward()中的out是一個向量(或者理解成1xN的矩陣)的話,我們對向量進行自動求導,看看會發生什麼?
先構建這樣的一個模型(相當於一個神經網路有一個樣本,這個樣本有兩個屬性,神經網路有兩個輸出):
import torch from torch.autograd import Variable a = Variable(torch.Tensor([[2.,4.]]),requires_grad=True) b = torch.zeros(1,2) b[0,0] = a[0,0] ** 2 b[0,1] = a[0,1] ** 3 out = 2 * b #其引數要傳入和out維度一樣的矩陣 out.backward(torch.FloatTensor([[1.,1.]])) print('input:') print(a.data) print('output:') print(out.data) print('input gradients are:') print(a.grad)
模型也很簡單,不難看出out求匯出來的雅克比應該是:
因為a1 = 2,a2 = 4,所以上面的矩陣應該是:
執行的結果:
嗯,的確是8和96,但是仔細想一想,和咱們想要的雅克比矩陣的形式也不一樣啊。難道是backward自動把0給省略了?
咱們繼續試試,這次在上一個模型的基礎上進行小修改,如下:
import torch from torch.autograd import Variable a = Variable(torch.Tensor([[2.,0] ** 2 + a[0,1] b[0,1] ** 3 + a[0,0] out = 2 * b #其引數要傳入和out維度一樣的矩陣 out.backward(torch.FloatTensor([[1.,1.]])) print('input:') print(a.data) print('output:') print(out.data) print('input gradients are:') print(a.grad)
可以看出這個模型的雅克比應該是:
執行一下:
等等,什麼鬼?正常來說不應該是
麼?我是誰?我再哪?為什麼就給我2個數,而且是 8 + 2 = 10 ,96 + 2 = 98 。難道都是加的 2 ?想一想,剛才咱們backward中傳的引數是 [ [ 1,1 ] ],難道安裝這個關係對應求和了?咱們換個引數來試一試,程式中只更改傳入的引數為[ [ 1,2 ] ]:
import torch from torch.autograd import Variable a = Variable(torch.Tensor([[2.,2.]])) print('input:') print(a.data) print('output:') print(out.data) print('input gradients are:') print(a.grad)
嗯,這回可以理解了,我們傳入的引數,是對原來模型正常求匯出來的雅克比矩陣進行線性操作,可以把我們傳進的引數(設為arg)看成一個列向量,那麼我們得到的結果就是:
在這個題目中,我們得到的實際是:
看起來一切完美的解釋了,但是就在我剛剛打字的一刻,我意識到官方文件中說k.backward()傳入的引數應該和k具有相同的維度,所以如果按上述去解釋是解釋不通的。哪裡出問題了呢?
仔細看了一下,原來是這樣的:在對雅克比矩陣進行線性操作的時候,應該把我們傳進的引數(設為arg)看成一個行向量(不是列向量),那麼我們得到的結果就是:
也就是:
這回我們就解釋的通了。
現在我們來輸出一下雅克比矩陣吧,為了不引起歧義,我們讓雅克比矩陣的每個數值都不一樣(一開始分析錯了就是因為雅克比矩陣中有相同的資料),所以模型小改動如下:
import torch from torch.autograd import Variable a = Variable(torch.Tensor([[2.,0] * 2 out = 2 * b #其引數要傳入和out維度一樣的矩陣 out.backward(torch.FloatTensor([[1,0]]),retain_graph=True) A_temp = copy.deepcopy(a.grad) a.grad.zero_() out.backward(torch.FloatTensor([[0,1]])) B_temp = a.grad print('jacobian matrix is:') print(torch.cat( (A_temp,B_temp),0 ))
如果沒問題的話咱們的雅克比矩陣應該是 [ [ 8,2 ],[ 4,96 ] ]
好了,下面是見證奇蹟的時刻了,不要眨眼睛奧,千萬不要眨眼睛… 3 2 1 砰…
好了,現在總結一下:因為經過了複雜的神經網路之後,out中每個數值都是由很多輸入樣本的屬性(也就是輸入資料)線性或者非線性組合而成的,那麼out中的每個數值和輸入資料的每個數值都有關聯,也就是說【out】中的每個數都可以對【a】中每個數求導,那麼我們backward()的引數[k1,k2,k3…kn]的含義就是:
也可以理解成每個out分量對an求導時的權重。
對矩陣自動求導
現在,如果out是一個矩陣呢?
下面的例子也可以理解為:相當於一個神經網路有兩個樣本,每個樣本有兩個屬性,神經網路有兩個輸出。
import torch from torch.autograd import Variable from torch import nn a = Variable(torch.FloatTensor([[2,3],[1,2]]),requires_grad=True) w = Variable( torch.zeros(2,1),requires_grad=True ) out = torch.mm(a,w) out.backward(torch.FloatTensor([[1.],[1.]]),retain_graph=True) print("gradients are:{}".format(w.grad.data))
如果前面的例子理解了,那麼這個也很好理解,backward輸入的引數k是一個2x1的矩陣,2代表的就是樣本數量,就是在前面的基礎上,再對每個樣本進行加權求和。結果是:
如果有興趣,也可以拓展一下多個樣本的多分類問題,猜一下k的維度應該是【輸入樣本的個數 * 分類的個數】
好啦,糾結我好久的pytorch自動求導原理算是徹底搞懂啦~~~
以上這篇淺談Pytorch中的自動求導函式backward()所需引數的含義就是小編分享給大家的全部內容了,希望能給大家一個參考,也希望大家多多支援我們。