1. 程式人生 > >論文閱讀計劃2(Deep Joint Rain Detection and Removal from a Single Image)

論文閱讀計劃2(Deep Joint Rain Detection and Removal from a Single Image)

rem 領域 深度學習 conf mage 圖片 多任務 RoCE deep

Deep Joint Rain Detection and Removal from a Single Image[1]

  • 簡介:多任務全卷積從單張圖片中去除雨跡。本文在現有的模型上,開發了一種多任務深度學習框架,學習了三個方面,包括二元雨條紋映射(binary rain streak map),雨條紋外觀和幹凈的背景。特別是新添加的二元雨條紋映射,其損失函數可以為神經網絡提供額外的強特征。對於雨帶積累現象(暴雨形成的如煙如霧的現象),采取循環雨檢測和清除,以叠代和漸進方式清除。

  • 動機:恢復暴雨下拍攝的圖像,在自動駕駛等領域是重要的研究問題。在暴雨下拍攝的圖像包含背景層和將與條紋層,此任務的目標在於輸出幹凈的背景。

  • 雨模型由原來的:
    \[ O=B+\tilde{S} \]
    變為:
    \[ O=B+SR \]
    其中,\(B\)是背景層,\(\tilde{S}\)為雨跡層,O為原始圖片,R是二元值,1表示雨區,0表示無雨區。

    聯合的雨跡檢測和移除:

    技術分享圖片

    雨跡移除的過程如上圖所示,首先使用基於上下文擴展的網絡(Contextualized Dilated Networks,論文4.2詳述)抽取雨跡特征表示F,基於此,接下來依次預測R,S,B。

[1] Yang W, Tan R T, Feng J, et al. Deep joint rain detection and removal from a single image[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2017: 1357-1366.

論文閱讀計劃2(Deep Joint Rain Detection and Removal from a Single Image)