Dual Path Networks（DPN）——一種結合了ResNet和DenseNet優勢的新型卷積網絡結構。深度殘差網絡通過殘差旁支通路再利用特征，但殘差通道不善於探索新特征。密集連接網絡通過密集連接通路探索新特征，但有高冗余度。
阿新 • • 發佈：2018-05-13
哪裏 esc 數學 itemid tip 視覺 bat tlist badge
在ImagNet-1k數據集上，淺DPN超過了最好的ResNeXt-101（64×4d），具有26％更小的模型尺寸，25％的計算成本和8％的更低的內存消耗
xiaozhi
CV、ML、DL
1、針對視覺識別任務的“網絡工程”一直是研究的重點，其重在設計更為高效的網絡拓撲結構，一方面考慮更好的特征表示學習，另一方面盡可能減少計算復雜度和內存消耗。比如之前的典型代表AlexNet,VGGnet,GoogLeNet，ResNet，ResNeXt，Inception-ResNet，WRNnet，DenseNet，SqueezeNet等。
2、DPN是一種結合了ResNet和DenseNet優勢的新型卷積網絡結構。深度殘差網絡通過殘差旁支通路再利用特征，但殘差通道不善於探索新特征。密集連接網絡通過密集連接通路探索新特征，但有高冗余度。
3、論文從數學表達上對ResNet、DenseNet和HORNN的關系進行了表示，經證明，當連接在層中共享時殘差網可看作密集連接網絡，當權重在各步中共享時密集連接網絡是高階RNN。在之前只是從圖示上感受各種神經網絡模型結構中各層的連接關系，並未深入。
4、就實驗結果而言，DPN 中的特征共享機制和探索新特征的靈活性被證明，DPN作為主幹網絡，其在圖像分類、目標檢測、語義分割任務都達到很好的效果。
剛看了這篇論文，對細節還沒理解透，權當做個筆記。
PS.新加坡國立大學（NUS）和奇虎 360 組成的 NUS-Qihoo_DPNs (DET)在目標檢測任務取得不錯成績。而今年也是最後一屆基於ImageNet的ILSVRC挑戰賽，是不是表明分類檢測任務已經取得相對完善的表現？之後可能更側重於語義和行為關系方向？ 
Miracle
深度學習，圖像算法
侯凱
技術，碼農
如何評價Dual Path Networks（DPN）？
論文鏈接：https://arxiv.org/pdf/1707.01629v1.pdf在ImagNet-1k數據集上，淺DPN超過了最好的ResNeXt-101（64×4d），具有26％更小的模型尺寸，25％的計算成本和8％的更低的內存消耗
5 個回答
xiaozhi
CV、ML、DL
1、針對視覺識別任務的“網絡工程”一直是研究的重點，其重在設計更為高效的網絡拓撲結構，一方面考慮更好的特征表示學習，另一方面盡可能減少計算復雜度和內存消耗。比如之前的典型代表AlexNet,VGGnet,GoogLeNet，ResNet，ResNeXt，Inception-ResNet，WRNnet，DenseNet，SqueezeNet等。 2、DPN是一種結合了ResNet和DenseNet優勢的新型卷積網絡結構。深度殘差網絡通過殘差旁支通路再利用特征，但殘差通道不善於探索新特征。密集連接網絡通過密集連接通路探索新特征，但有高冗余度。
3、論文從數學表達上對ResNet、DenseNet和HORNN的關系進行了表示，經證明，當連接在層中共享時殘差網可看作密集連接網絡，當權重在各步中共享時密集連接網絡是高階RNN。在之前只是從圖示上感受各種神經網絡模型結構中各層的連接關系，並未深入。
4、就實驗結果而言，DPN 中的特征共享機制和探索新特征的靈活性被證明，DPN作為主幹網絡，其在圖像分類、目標檢測、語義分割任務都達到很好的效果。
剛看了這篇論文，對細節還沒理解透，權當做個筆記。
PS.新加坡國立大學（NUS）和奇虎 360 組成的 NUS-Qihoo_DPNs (DET)在目標檢測任務取得不錯成績。而今年也是最後一屆基於ImageNet的ILSVRC挑戰賽，是不是表明分類檢測任務已經取得相對完善的表現？之後可能更側重於語義和行為關系方向？
Miracle
深度學習，圖像算法
謝邀。現在優秀的算法很多，也有很多研究者在結合一些優秀的算法思考能不能碰撞出美麗的火花，DPN算是將DenseNet和ResNext結合得不錯的算法，以ResNext算法為主框架，引入DenseNet的思想不是空穴來風，背後的數學含義更值得思考，沒有理論支撐的話，蒙頭融合模型很多時間知識浪費時間。
發布於 2017-08-13
侯凱
技術，碼農
結合了ResNext和DenseNet
不過我在K40上測試，DPN98的訓練速度只有8.64 samples/sec；resnext101(64*4d)卻有9.31 samples/sec。
當然，顯存占用和模型大小確實是DPN98要小於resnext101(64*4d)的。
25％的計算成本在哪裏體現呢？
（答：顯存小，增大batchsize，可以增加計算的有效性，加大samples/sec的值）測試是K40 DPN可以達到0.10s resnext101要0.13，DPN的模型也要小一些；提升還是有的，應該主要是訓練過程中的數據處理影響了時間。
from：https://www.zhihu.com/question/62282589
Dual Path Networks（DPN）——一種結合了ResNet和DenseNet優勢的新型卷積網絡結構。深度殘差網絡通過殘差旁支通路再利用特征，但殘差通道不善於探索新特征。密集連接網絡通過密集連接通路探索新特征，但有高冗余度。