稀疏互動

每個輸出神經元僅與前一層特定區域性區域內的神經元存在權重連線。

假設網路中相鄰兩層分別具有m個輸入和n個輸出。全連線網路中的權值引數矩陣為m*n個引數。對於CNN，如果限定每個輸出與前一層的神經元連線個數為K，那麼該層的引數總量為k*n

物理意義：先學習區域性特徵，再將區域性特徵組合起來形成更復雜的抽象特徵。

引數共享

同一個模型中的不同模組使用相同的引數。

物理意義：使得卷積層具有平移等變性

輸出尺寸

池化

常用的池化操作主要針對非重疊區域，包括均值池化，最大池化。

引數量

計算公式：\(引數量=（filter size * 前一層特徵圖的通道數 ）* 當前層filter數量\)

VGG-16為例，Conv1-1，輸入 224*224*3 ，64個3*3filter，輸出feature map 224*224*64。

Conv1-1的引數量為 3*3*3*64。

Conv2-1，輸入 112*112*64 ，128個3*3 filter，輸出feature map 112*112*128 。

Conv2-1的引數量 3*3*64*128 。

常見trick

• 1×1卷積核的作用
  • 1.實現跨通道的互動和資訊整合
  • 2.進行卷積核通道數的降維和升維