小樣本學習&元學習經典論文整理||持續更新

核心思想

  本文提出一種基於度量學習的小樣本學習演算法（DCN），從論文的題目能夠看出本文是基於RelationNet進行改進的，但與RelationNet相比本文有許多新的改進。首先在網路基礎結構上本文是引入了SENet網路，取代了Conv-4的結構；其次與RN只對特徵提取網路最後輸出的特徵圖進行相關性計算不同，本文對特徵提取網路中間階段的輸出結果都進行了相關性計算；最後與常規特徵提取網路直接輸出特徵圖的方式不同，本文輸出的是特徵圖的均值和方差，然後再通過一種重引數化（Reparameterization）的技巧，重構得到特徵圖，起到一種資料增強（data augmentation）的效果，提高了演算法的泛化能力。本文的網路結構如下圖所示

  首先，可以看到特徵提取網路是分成了四個EM模組，每個模組都是由SENet結構構成的，每個模組都會輸出 f θ , μ v f_{\theta,\mu}^{v} fθ,μv​和 f θ , σ v f_{\theta,\sigma}^{v} fθ,σv​兩個部分，分別表示特徵圖的均值和方差，然後通過重引數化的形式得到重構後的特徵圖，重引數化過程如下

其中 ε \varepsilon ε是從高斯分佈中隨機取樣得到的，這樣使得每個模組每次重構時得到的特徵圖 f θ v f_{\theta}^v fθv​都帶有隨機性，這就能夠起到資料增強的效果。特別要注意的是，這裡提到的 f θ , μ v f_{\theta,\mu}^{v}

fθ,μv​和 f θ , σ v f_{\theta,\sigma}^{v} fθ,σv​並不是真的對特徵圖計算均值和方差，而是把特徵圖分割成兩個部分，分別表示均值和方差。舉個例子，比如第一個EM模組輸出通道數原本是64，而本文則是輸出65個通道的特徵圖，前 64 64 64個通道表示特徵圖均值，最後一個通道表示特徵圖方差，也就是說對所有通道而言其方差是相同的，然後再進行重引數化計算得到64個通道的重構特徵圖。
  得到的重構特徵圖一方面要進入下一個特徵提取模組EM進行特徵提取，另一方面要進入相關性計算模組RM來計算查詢樣本和支援樣本的相關性。對應特徵提取網路中的四個模組，RM也包含四個模組，用於相似性的計算。RM模組的輸入包括查詢樣本和支援樣本的特徵圖，還包括上一個RM輸出的計算結果 g ϕ v − 1 g_{\phi}^{v-1}

gϕv−1​

  最後RM模組的輸出 g ϕ v g_{\phi}^{v} gϕv​進過全域性平均池化和全連線層處理得到相關性得分 r i j v r^v_{ij} rijv​

實現過程

網路結構

  特徵提取網路可以採用ResNet-12，SENet等，相關性計算網路主要是由兩個SEBlock模組構成的。

訓練策略

  訓練分為兩個階段，首先對特徵提取網路的引數 θ \theta θ進行訓練

其中 σ i \sigma_i σi​表示四個EM模組輸出特徵圖方差的均值， m m m表示樣本的總數。然後對相關性網路引數 ϕ \phi ϕ進行訓練

創新點

• 引入SENet網路結構，作為基礎模組用於特徵提取與相關性計算
• 對特徵提取網路的四個階段輸出分別進行相似性度量，形成一種深度監督的形式
• 通過重引數化的形式對每個特徵提取模組的輸出進行重構，引入了隨即引數實現了資料增強

演算法評價

  本文是在RelationNet基礎上進行了探索和改進，最重要的變化我認為就是對多個階段的特徵提取網路輸出都進行相似性度量，這樣就能夠從淺層到深層多個層級的特徵資訊對影象的相似性進行度量，並預測類別。另一方面引入重引數化的技巧，巧妙地起到了一個在語義特徵空間中進行資料增強的效果。

如果大家對於深度學習與計算機視覺領域感興趣，希望獲得更多的知識分享與最新的論文解讀，歡迎關注我的個人公眾號“深視”。