筆者最近在集中時間學習對抗生成網絡（GAN），特別是深度生成先驗進行多用途圖像修復與處理，需要對圖像修復與處理經典論文進行回顧和精讀。

將從圖像修復與處理的經典之作DGP《Exploiting Deep Generative Prior for Versatile Image Restoration and Manipulation》開始，重啟精讀之路。

DGP提出了一種挖掘GAN中圖像先驗的方式，在多個任務上揭示了GAN作為一種通用圖像先驗的潛力。

論文提出了同時插值隱變量和生成器的漸變式圖像反演方法，可以應用于復雜圖片的對抗防御，在實驗中DGP所展現出的強大的像素間空間關系模擬能力也十分有趣。

Deep generative prior的圖像復原效果

01深度生成先驗

深度圖像先驗DIP僅依靠輸入圖像的統計信息，無法應用于需要更一般的圖像統計信息的任務，如圖像上色和圖像編輯。

我們更感興趣的是研究一種更通用的圖像先驗，即在大規模自然圖像上訓練的GAN生成器用于圖像合成。具體來說，是一個基于GAN-inversion的圖像重構過程。

在實踐中，僅僅通過優化隱向量z難以準確重建ImageNet這樣的復雜真實圖像。訓練GAN的數據集（ImageNet）本身是自然圖片中很少的一部分，GAN受限于有限的模型性能和mode collapse，其模擬的圖片分布與訓練集圖片分布也存在鴻溝。

即使存在以上限制，GAN仍然學習了豐富的圖片信息，為了利用這些信息并且實現精確重建，我們讓生成器online地適應于每張目標圖片，即聯合優化隱向量z和生成器參數。

我們將此新的目標稱為深度生成先驗（DGP），DGP顯著提高了圖像重構的效果。設計合適的距離度量和優化策略非常關鍵，在重建過程中，生成器原始的生成先驗被修改了，輸出真實自然圖像的能力可能會下降。

02判別器指引的漸進式重建

從 latent space Z 中隨機抽取幾百個候選的初始 latent code，并選擇在度量L下重構效果最好的一個。

在GAN重建中，傳統的距離度量方法是 MSE 或 Perceptual loss。優化生成器參數時，將這些傳統距離度量用在圖像恢復如上色任務中，常常無法準確恢復顏色，并且重建過程中圖像會變得模糊，需要設計更好的優化方式來保留生成器的原有信息。

我們在該工作中選擇使用與生成器對應的判別器來作為距離度量。與Perceptual loss所采用的VGGNet不同，判別器并非在一個第三方的任務上訓練，而是在預訓練時就與生成器高度耦合，它天然地適用于調整生成器的輸出分布。

使用這種基于判別器的距離度量時，重建的過程更加自然和真實，最終顏色恢復的效果也更好。

其中D（x， i）代表以x作為輸入時判別器第i個block輸出的特征

雖然改進的距離度量帶來了更好的效果，但是圖像復原的結果仍存在非自然痕跡，因為生成器在針對目標圖片優化時，淺層參數匹配好圖片整體布局之前，深層參數就開始匹配細節紋理了。

上面的蘋果圖是幾種訓練策略的對比，從三行效果可以看出，有的蘋果在訓練初期沒被染上色后期還是沒被染上色，我們把這種現象稱作“信息滯留”。

對策就是：使用漸進式重建的策略，即在微調生成器時，先優化淺層，再逐漸過渡到深層，讓重建過程“先整體后局部”。

與非漸進策略相比，這種漸進策略更好地保留了缺失語義和現有語義之間的一致性。

03重建結果

使用BigGAN模型，基于ImageNet進行訓練，使用ImageNet驗證集中的1000張圖像進行實驗，取每類的第一張，相比于其他方法，DGP取得了非常高的PSNR和SSIM，視覺上的重建誤差幾乎難以察覺。

04實驗

因為GAN刻畫了自然圖像的先驗，因此可以完成很多的任務：比如上色、補全、超分辨率等等，還能進行圖像處理。下面放一些效果圖。

圖像上色

使用ResNet50上的分類精度作為定量評估結果， 下列方法的精度分別為 51.5%， 56.2%， 56.0%， 62.8%。

圖像補全

超分辨率

靈活性

隨機擾動

總結

GAN作為圖像領域最強大的生成式模型之一，學習到了豐富的自然圖像流形，可以對自然圖像的恢復和編輯帶來巨大幫助。

利用好大規模預訓練模型的能力是深度學習目前各個領域的流行前沿，可以減少對訓練數據的需求，整合相近的研究領域。

未來更強大的生成式模型，將帶來更具實際應用價值的圖像恢復和編輯應用，有望在更廣泛的領域落地

原文標題：深度學習論文精讀［GAN］：利用深度生成先驗進行多用途圖像修復與處理

文章出處：【微信公眾號：深度學習自然語言處理】歡迎添加關注！文章轉載請注明出處。