Deep Joint Rain Detection and Removal from a Single Image[1]

• 簡介：多任務全卷積從單張圖片中去除雨跡。本文在現有的模型上，開發了一種多任務深度學習框架，學習了三個方面，包括二元雨條紋映射(binary rain streak map)，雨條紋外觀和幹凈的背景。特別是新添加的二元雨條紋映射，其損失函數可以為神經網絡提供額外的強特征。對於雨帶積累現象（暴雨形成的如煙如霧的現象），采取循環雨檢測和清除，以叠代和漸進方式清除。

• 動機：恢復暴雨下拍攝的圖像，在自動駕駛等領域是重要的研究問題。在暴雨下拍攝的圖像包含背景層和將與條紋層，此任務的目標在於輸出幹凈的背景。

• 雨模型由原來的:
  \[ O=B+\tilde{S} \]
  變為：
  \[ O=B+SR \]
  其中，\(B\)是背景層，\(\tilde{S}\)為雨跡層，O為原始圖片，R是二元值，1表示雨區，0表示無雨區。

  聯合的雨跡檢測和移除：

  

  雨跡移除的過程如上圖所示，首先使用基於上下文擴展的網絡（Contextualized Dilated Networks，論文4.2詳述）抽取雨跡特征表示F，基於此，接下來依次預測R,S,B。

[1] Yang W, Tan R T, Feng J, et al. Deep joint rain detection and removal from a single image[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2017: 1357-1366.

論文閱讀計劃2(Deep Joint Rain Detection and Removal from a Single Image)