從包含噪音的圖像中去除未知噪音是一項充滿挑戰的工作，由于缺乏有效的訓練數據使得這一領域面臨許多問題。中山大學的研究人員們提出了一種“兩步走”的框架，通過GANs訓練輸入圖像的噪聲分布來并利用生成的噪聲樣本生成了豐富的訓練數據，并基于此訓練了去噪深度神經網絡實現了良好的圖像盲去噪效果。

幾種圖像盲去噪算法的表現，右下角為本文結果。

一、圖像盲去噪

圖像去噪是早期視覺的重要問題，也是許多計算機視覺任務不可或缺的預處理階段。對于含有噪音的圖像y=x+v來說，圖像去噪的任務是盡可能的減小觀測圖像y中的噪聲v，得到清晰的出去噪聲的圖像x。對于圖像來說，由于環境或者傳感器的不確定性，噪聲情況往往是未知的。例如手機在夜晚拍攝的照片就會受到這類噪聲的影響。對于用戶來說去除噪聲對于提高用戶體驗也十分重要，這篇文章將主要探討圖像盲去噪的問題。

在圖像去噪領域，基于先驗知識的方法（例如BM3D）可以利用去除算法估計出的未知噪音水平，這種方法通過輸入圖像直接為圖像先驗建模實現了很好的結果。但這類方法存在很多不足，首先圖像先驗大多數由人類經驗給定，圖像的完整特征難以被獲取；其次這類方法大多只利用了輸入圖像的內部特征而沒有利用任何外部特征，而這些特征是可以用于在盲去噪的過程中進行適配的，這意味還有很大的提高空間。

除此之外只有很少幾種方法研究了圖像的盲去噪問題，例如Multiscal等方法。這些方法將噪聲模型估計和自適應去噪算法結合起來。其中噪聲建模是十分關鍵的部分，但這些方法也僅僅使用了單張圖像的內部信息。同時顯式地定義模型噪聲也限制了這些方法的表現。

如果我們暫時先拋開盲去噪，那就不得不提到基于判別模型的去噪方法。這些方法主要基于深度卷積神經網絡來實現，通過匹配好的訓練數據學習出潛在的噪音模型，并得到了表現優異的深度去噪網絡。值得一提的是基于CNNs的方法并不依賴于人類對于圖像的先驗經驗，可以充分地利用神經網絡的能力去探索圖像，這打破了基于先驗知識方法的限制并極大地提高了去噪算法的表現。通常情況下我們得到的圖像包含著未知噪聲，并且真實情況下的噪聲情況極為復雜。利用現有模型并不能得到很好的結果，同時缺乏配對的訓練數據集使得判別方法不能直接用于圖像盲去噪的問題中去。

基于以上分析，研究人員提出了一個觀點：是否可以利用包含噪聲的圖像構建出配對的訓練數據集，那么圖像盲去噪的問題就可以通過CNNs一樣的判別模型來解決了。一種可能的解決辦法是建立起一個能夠為噪音圖像建模的數據集并從中對噪音數據進行采樣。高斯混合模型GMM是一種典型的方法，它被廣泛用于噪聲建模。但實驗表明GMM通過學習生成的噪聲與實際情況不是非常相似，這個問題需要更為強大的手段來為噪聲建模。

這時候生成對抗網絡GANs進入了研究人員的視野，GANs包含生成器和判別器兩個對抗訓練的部分，生成器負責生成難辨真偽的數據而判別器負責去偽存真。如果GANs可以用于建立訓練數據那么就可以利用CNNs來實現圖像盲去噪了。但通過GANs去學習干凈圖像到噪聲圖像映射的方法是行不通的，目前無法保證生成帶噪聲的圖像內容不發生改變。于是研究人員提出了本文的重要觀點：利用GANs來生成相同模式的噪聲而不是噪聲圖片。

這一工作主要包含兩部分，首先訓練GANs估計輸入圖像中的噪聲并生成噪聲樣本。其次，噪聲樣本與干凈的圖像合成配對的訓練數據，而后用于深度去噪CNNs的訓練。這樣的方式解決的判別模型對于數據需求的重要問題。這篇文章的貢獻主要在兩個方面：

提出了一種基于GAN-CNN的聯合方法實現了表現優異的圖像盲去噪。在處理未知噪音時GANs被用于學習噪聲構建關鍵的訓練數據而CNNs則用于進行圖像去噪；

作者表示這是目前第一個利用GANs的為噪聲建模，GANs對于復雜分布的估計能力被用于學習隱含的噪聲分布，克服了對于未知噪聲利用顯示模型描述的固有缺陷。

二、相關工作

這里鄰域的相關工作主要分為基于圖像先驗的去噪方法、基于噪聲模型的盲去噪方法以及基于判別模型的方法。基于圖像先驗的方法（BM3D）通過噪音圖像直接為圖像先驗建模而實現未知噪音的去無需訓練數據噪，但圖像先驗建模依賴于人工經驗，并且只考慮了圖像的內部信息；基于噪聲模型的去噪方法通過結合噪聲模型與自適應去噪方法來實現去噪，但其只利用了單張輸入圖像的內部信息來建立噪聲模型，使得其去噪表現受到了限制。如果可以充分利用外部數據并建立更好的噪聲模型，將會得到更好的結果。

判別模型充分利用了深度網絡的能力和巨大數據集的外部信息取得了很好的效果，類似于DnCNN的方法通過訓練殘差來實現圖像去噪。這類方法表現良好但需要大量的訓練數據。

GANs被大量工作證明具有學習復雜分布的能力，但其訓練過程復雜和缺乏穩定性。隨著WGAN和DCGAN的提出這一情況正逐步得到改善。下面將具體闡述本文的方法。

三、基于GAN-CNN的盲去噪（GCBD）

本文的主要思路是通過噪聲圖像構建出訓練數據，隨后訓練深度去噪網絡來去除圖像中的噪聲。

在給定為配對的數據后，GAN從噪聲圖片中抽取出噪聲單元并對其進行大量采樣，隨后將生成噪音單元、抽取噪音單元與干凈圖像融合用于去噪卷積神經網絡的訓練。

首先需要對圖像中的噪聲進行建模，需要將圖像中的噪聲抽取出來，并利用這些噪聲單元訓練GAN來生成新的噪聲。噪聲單元的獲取主要利用通過平滑片元減去其均值得到（假設0均值）。由于圖像中的平滑區域如天空、墻面等很多，所以可以保證抽取足夠多的噪聲單元用于GANs的訓練。

在得到了噪音單元樣本后，研究人員基于WGAN改進得到了WGAN-GP用于學習噪聲分布，其損失函數如下：

網絡架構如下圖所示：

通過訓練好的GAN網絡可以得到新的訓練樣本yi=xj+v'k,其中xj為干凈的圖像單元，而v'k為生成的噪聲，合成為包含噪聲的訓練數據用于訓練去噪CNNs網絡，其損失函數如下：

這一網絡的輸出是圖像中包含的隱含噪聲R，將輸入yi減去R即可得到去噪后的圖像：

四、實驗結果

基于GAN-CNN的盲去噪方法取得了很好的去噪表現，并在BSD68，DND，NIGHT等數據集上與BM3D,EPLL,NCSR,WNNM,Multiscale和DnCNN等方法進行了比較：

最后研究人員分析了GANs生成多樣性的噪聲樣本，比單獨抽取圖像中的噪聲樣本在高斯噪聲和混合噪聲的情況下使得這一方法整體性能提高了0.34dB和0.91dB。同時也通過與DnCNN比較驗證了生成噪聲數據的有效性。作者表示這篇文了的不足在于將噪聲假設為了加性的零均值噪聲，這樣的噪聲在自然界中很普遍。如果對于未知的噪聲，還需要按照本文的流程進行處理，未來的工作將會克服這一假設帶來的局限。