1. 程式人生 > >簡潔版 CVPR-2017論文筆記《Active Convolution: Learning the Shape of Convolution for Image Classification》

簡潔版 CVPR-2017論文筆記《Active Convolution: Learning the Shape of Convolution for Image Classification》

作者提出一種靈活的卷積單元,形狀在訓練中學習得到,這種結構使得網路具有更強的表達能力。

這篇論文提出了一種新的卷積單元,主動卷積單元ACU(Active Convolution Unit),在次之前,從AlexNet到如今的ResNet,GoogleNet等各種網路架構的提出,人們研究的基本上都是網路的結構,而很少有人關注卷積單元本身,作者提出的ACU具有靈活的特性,卷積單元的形狀不是固定的,而是在訓練中(反向傳播)學習得到。由於形狀不固定,ACU具有以下的優點:

       1)ACU是一般化的卷積; 它不僅可以定義所有傳統的卷積,還可以定義具有區域性畫素座標的卷積。我們可以自由地改變卷積的形狀,從而提供更大的自由形成CNN結構。

       2)卷積的形狀是在訓練時學習的,沒有必要手動調整。

       3)ACU可以比傳統的卷積單元更好地學習,可以通過將傳統卷積改為ACU來獲得改進。

      

          由於ACU的形狀不固定,因而沒有必要是3*3或5*5這種,如上左圖可以將ACU與上一層的神經元的連線點(成為突觸)有6個,突觸的數目可以隨意指定,位置是學習得到的,因而突觸需要兩個位置引數(豎直方向的偏移量和水平方向的偏移量)去確定它的位置,而且這種位置很可能是小數,也就是突觸連在兩個在神經元之間(上右圖)。這時候突觸位置的value是利用與其最近的四個畫素點的雙線性插值得到。

         突觸的位置引數是在反向傳播的過程中不斷學習,另外的權重和偏置和傳統卷積單元的學習方式相同。位置引數的學習受權重影響。在位置引數的學習率方面,由於開始的權重一般是隨機設定的,因而作者提出最開始1000次迭代,不學習位置引數,之後才開始學習,並且由於突觸位置的移動幅度很關鍵,反向傳播誤差會在層間波動導致學習效果不好,作者提出使用歸一化梯度,只使用梯度的方向不使用大小,來控制移動幅度。

         作者在普通的網路和ResNet,AlexNet上,以及不同的資料集上做了對比實驗,結果實驗效果在同等條件下要好(零點幾個百分點)。這說明,更加靈活和自由的卷積單元,網路的表達能力更強。