本文重點介紹了圖像恢復(fù)這個任務(wù)，以及如何使用深度圖像先驗來解決此任務(wù)。

圖像恢復(fù)介紹

圖像恢復(fù)是指從其劣質(zhì)圖像中恢復(fù)未知真實圖像的任務(wù)。 圖像損耗可能在圖像形成，傳輸和存儲期間發(fā)生。 該任務(wù)廣泛的用于衛(wèi)星成像，低光攝影。由于數(shù)字技術(shù)的進步，計算和通信技術(shù)從退化圖像恢復(fù)清晰圖像非常重要。

圖像恢復(fù)主要有三個任務(wù)：

圖像去噪：

圖像去噪是指恢復(fù)受附加噪聲污染的圖像。 這是圖像恢復(fù)中最簡單的任務(wù)，因此已被多個技術(shù)社區(qū)廣泛研究。

超分辨率：

超分辨率是指從一組低分辨率圖像產(chǎn)生高分辨率圖像（或一系列高分辨率圖像）的過程。

圖像重建：

繪畫中的圖像是重建圖像劣化部分丟失的過程。 繪畫實際上是一種古老的藝術(shù)，需要人類繪制繪畫中和丟失的部分。 但在今天的世界研究中，已經(jīng)提出了許多方法來使用深度卷積網(wǎng)絡(luò)自動完成這項任務(wù)。

什么是Deep Image Prior？

隨著Alexnet在2012年圖像網(wǎng)絡(luò)競爭中的成功，卷積神經(jīng)網(wǎng)絡(luò)已經(jīng)變得非常流行并且已經(jīng)被用于每個計算機視覺和圖像處理任務(wù)中。

深度卷積網(wǎng)絡(luò)因其能夠從大量圖像數(shù)據(jù)集中學(xué)習(xí)而獲得成功。 Dmitry Ulyanov的論文“Deep Image Prior”表明，為了解決像圖像恢復(fù)這樣的逆問題，網(wǎng)絡(luò)的結(jié)構(gòu)已經(jīng)足夠，并且足以從劣質(zhì)圖像恢復(fù)原始圖像。本文強調(diào)，為了執(zhí)行這些任務(wù)，不需要預(yù)訓(xùn)練網(wǎng)絡(luò)或大圖像數(shù)據(jù)集，并且可以僅考慮劣質(zhì)圖像來執(zhí)行。

為了完成圖像恢復(fù)的任務(wù)，學(xué)習(xí)先驗和顯式先驗是兩種研究人員流行和主要使用的方法。

學(xué)習(xí)先驗是一種直接的方法，訓(xùn)練深度卷積網(wǎng)絡(luò)通過數(shù)據(jù)集了解世界，數(shù)據(jù)集將噪聲圖像作為輸入，清晰圖像作為所需輸出。

另一方面，顯式先驗或人為的先驗方法，其中我們嵌入硬約束并且從合成數(shù)據(jù)教導(dǎo)什么類型的圖像是自然的等。在數(shù)學(xué)上表達像自然這樣的約束是非常困難的。

在深度圖像先驗中，作者試圖通過構(gòu)造一個新的顯式先驗，使用卷積神經(jīng)網(wǎng)絡(luò)來彌合兩種流行方法之間的差距。

理論基礎(chǔ)

x→原始圖像

?→劣質(zhì)圖像

x *→恢復(fù)圖像

我們可以使用最大后驗分布來估計經(jīng)驗數(shù)據(jù)中的未觀察值

使用貝葉斯規(guī)則，我們可以將其表示為先驗。

我們可以將方程式表示為優(yōu)化問題，而不是單獨使用分布：

E（x;?）是數(shù)據(jù)項，它是似然的負(fù)對數(shù)，R（x）是圖像先前項，它是先驗的負(fù)對數(shù)。

現(xiàn)在的任務(wù)是最小化圖像x上的Eq（2）。 傳統(tǒng)方法是用隨機噪聲初始化x，然后計算函數(shù)相對于x的梯度并遍歷圖像空間直到我們收斂到某個點。

另一種方法是構(gòu)造函數(shù)g，其用隨機θ初始化，來自不同空間的輸出可以被映射到圖像x并使用梯度下降來更新θ，直到它在某個點收斂。 因此，我們可以優(yōu)化θ，而不是優(yōu)化圖像空間。

但是，為什么這種方法可行，我們?yōu)槭裁匆褂盟兀?這是可能的，因為從理論上講，如果g是滿射g：θ?x（如果至少一個θ映射到圖像x）那么這個優(yōu)化問題是等價的，即它們具有相同的解。 但實際上，g會極大地改變優(yōu)化方法搜索圖像空間的方式。 我們實際上可以將g視為超參數(shù)并對其進行調(diào)整。 如果我們觀察到，g（θ）作為一個先驗，它有助于選擇一個良好的映射，給出一個所需的輸出圖像，并防止使用得到錯誤的圖像。

現(xiàn)在，方程2可以表示為，

其中，z是隨機固定輸入圖像，θ是隨機初始化的權(quán)重，將使用梯度下降更新以獲得所需的輸出圖像。

但是，為什么我們應(yīng)該考慮這種參數(shù)化方法仍然不明顯。 理論上乍一看，它似乎會產(chǎn)生原始的嘈雜圖像。 在論文中，作者進行了一項實驗，該實驗表明，當(dāng)使用梯度下降來優(yōu)化網(wǎng)絡(luò)時，卷積神經(jīng)網(wǎng)絡(luò)不會產(chǎn)生噪聲圖像，并且更快速，更容易地下降到自然的圖像。

Deep Image Prior 步驟

? = corrupted image(observed)

1.初始化z。 ：用均勻噪聲或任何其他隨機圖像填充輸入z。

2.使用基于梯度的方法求解和優(yōu)化函數(shù)。

3.最后，當(dāng)我們找到最佳θ時，我們可以通過將固定輸入z向前傳遞到具有參數(shù)θ的網(wǎng)絡(luò)來獲得最佳圖像。

結(jié)論

本文試圖證明構(gòu)造具有隨機權(quán)重的隱式先驗內(nèi)部深度卷積神經(jīng)網(wǎng)絡(luò)體系結(jié)構(gòu)的方法非常適合于圖像恢復(fù)任務(wù)。 本文中顯示的結(jié)果主要表明，適當(dāng)?shù)?a target="_blank">手工制作的網(wǎng)絡(luò)架構(gòu)足以解決圖像恢復(fù)任務(wù)。