論文筆記 Combining the Power of Internal and External Denoising

IEEE論文地址:
https://ieeexplore.ieee.org/document/6528298

abstract

這篇論文是我在閱讀上一篇論文，影象中內部統計的時候接觸到的。上一篇論文介紹了影象中內部統計的強大。有很多可以值得利用的地方(ZSSR已經利用並且取得了很好的效果)。
這篇論文提出的是一種將內部降噪和外部降噪結合的降噪方法，在當時的水平獲得了很出色的效果。結合的方式很簡單，就是對於某一塊patch，根據判定的條件，使用內部降噪或者外部降噪。

原理

論文的實驗證明了當噪聲越大時，內部降噪會取得更好的效果，在平滑補丁中的表現也更好。實驗資料表明平滑補丁的近鄰中有大量的類似的優質的補丁，在擴大範圍時，區域性的近鄰補丁的均方誤差會變大，這是因為新增噪聲時，內部補丁都會新增噪聲，導致了均方誤差較高，但是小於外部降噪對於噪聲的過擬合的誤差。相反，外部降噪會固有的存在一些誤差（無論是平滑補丁還是細節補丁），但是這個誤差在細節補丁中遠小於內部降噪中過擬合的誤差。

總結

內部降噪的誤差主要是在細節補丁中，因為細節補丁一般存在較少的優質相似近鄰，此時的均方誤差會比較大。
外部降噪有兩個誤差，一是固有的噪聲均值（因為噪聲均值不為0，但是假設都為0），二是過度擬合噪聲細節（當snr較小的時候，噪聲比較大，外部降噪會搜尋更多的噪聲，導致了過擬合）。因此，在平滑補丁（噪聲較大）中，外部降噪容易過擬合，並且會存在固有的誤差。在細節補丁（噪聲較小）中，外部降噪不容易過擬合，也就說有更好的訊號適應性，即使是有固有的誤差，但是這個誤差是比內部去噪的過擬合小的。

最後

這篇論文結合了內部外部降噪，同樣，現在的SR問題也面臨著這個問題。如何把內部資料統計和外部資料統計結合起來。譬如說這一篇論文的方法，以實驗的資料總結，得到PatchSNR為0.45這個閾值，大於則使用external方法，小於則使用internal方法。ZSSR方法同樣可以用一個閾值，來與EDSR相結合。那麼，這個閾值如何體現到CNN網路上，又是一個新的問題。