圖像修復(fù)技術(shù)對于眾多修圖軟件來說十分重要，在深度學(xué)習(xí)的幫助下圖像修復(fù)算法的功能越來越強(qiáng)大，甚至對于大幅度污損的照片也能輕松修復(fù)。但目前的很多算法在進(jìn)行圖像修復(fù)時(shí)卻面臨著結(jié)構(gòu)重建問題或細(xì)節(jié)問題修復(fù)問題的困難，修復(fù)結(jié)果不盡如人意。

為了解決這一問題，來自北大、鵬城實(shí)驗(yàn)室和騰訊的研究人員提出了一種新的算法StructureFlow，將圖像修復(fù)的過程分為邊緣保持的低頻結(jié)構(gòu)重建和基于結(jié)構(gòu)的高分辨率紋理重建，并利用流的方法充分利用未受損像素的信息實(shí)現(xiàn)有效的紋理補(bǔ)全和圖像修復(fù)。

圖像修復(fù)的主要目的在于為圖像中的有效區(qū)域和污損區(qū)域生成出視覺效果完整的結(jié)構(gòu)和細(xì)節(jié)，用戶不僅可以利用這一技術(shù)修復(fù)圖像的缺失，還可以將它用于圖像編輯和物體去除等任務(wù)。圖像修復(fù)最大的難點(diǎn)在于生成正確完整的結(jié)構(gòu)和視覺效果較為真實(shí)的細(xì)節(jié)紋理。

已有的圖像修復(fù)方法

現(xiàn)存的方法主要可以分為兩大類——基于擴(kuò)散的方法和基于圖像片的方法。

基于擴(kuò)散的方法主要通過將領(lǐng)域的信息傳播到缺失的位置來實(shí)現(xiàn)紋理合成，然而這種方法只能處理一些較小的孔洞，對于較大范圍的結(jié)構(gòu)缺失則無法有效處理。

而基于圖像片的方法則不僅僅只利用缺失位置附近的像素點(diǎn)，這種方法可以有效利用更遠(yuǎn)位置的信息來恢復(fù)缺失區(qū)域。基于圖像片的方法通過搜索與污損區(qū)域結(jié)構(gòu)相似的目標(biāo)區(qū)域，并復(fù)制圖像片來重建缺失區(qū)域，這種方法可以為較大的缺失區(qū)域生成視覺效果真實(shí)紋理。這種方法一般基于雙線性相似性的方法來搜索合適的圖像片。

但基于片元的方法主要假設(shè)非污損區(qū)域包含了與污損區(qū)域語義相似的內(nèi)容，但如人臉檢測等任務(wù)中這種假設(shè)并不成立。這種方法在某些有重復(fù)性結(jié)構(gòu)的圖像中表現(xiàn)良好，但對于具有特殊結(jié)構(gòu)的圖像則無法有效處理。

近年來隨著深度學(xué)習(xí)的發(fā)展，很多方法將圖像修復(fù)問題視為一個(gè)條件生成問題，將污損圖像作為網(wǎng)絡(luò)輸入得到修復(fù)后的圖像?；谏疃葘W(xué)習(xí)方法的優(yōu)勢在于可以將圖像中的有效語義信息進(jìn)行抽取，并生成新的圖像。

人們提出了包括基于自編碼器架構(gòu)、處理全局和局部內(nèi)容的判別器、構(gòu)建長程相關(guān)性、選擇性利用有效像素以及邊緣修復(fù)等方法來進(jìn)行圖像修復(fù)但都存在著諸如長程相關(guān)性無法有效表示、邊緣信息無法有效攜帶紋理等問題，使得這些方法得到的結(jié)果都有這樣或那樣的不足。

StructureFlow

為了解決先前模型存在的問題，研究人員們提出了一種新穎的兩階段網(wǎng)絡(luò)模型倆實(shí)現(xiàn)高質(zhì)量的圖像修復(fù)。這一模型包含了兩個(gè)部分，分別是結(jié)構(gòu)生成器和紋理細(xì)節(jié)生成器。

研究人員認(rèn)為圖像的修復(fù)過程是一個(gè)先生成有效結(jié)構(gòu)再補(bǔ)全真實(shí)細(xì)節(jié)的過程。所以網(wǎng)絡(luò)的第一部分用于生成有意義的結(jié)構(gòu)，研究人員采用了保邊平滑后的圖像來表示圖像場景的全局結(jié)構(gòu)。

保邊平滑方法的主要目標(biāo)在于移除圖像中的高頻紋理，同時(shí)保持銳利邊緣和低頻信息（這些信息是圖像結(jié)構(gòu)的主要組成部分）。利用保邊平滑后的圖像進(jìn)行訓(xùn)練，結(jié)構(gòu)重建器可以集中于恢復(fù)全局結(jié)構(gòu)而無需考慮細(xì)節(jié)和紋理的干擾。

在重建出缺失細(xì)節(jié)后，紋理生成器就可以基于重建出的結(jié)構(gòu)圖來合成高頻的細(xì)節(jié)了。由于圖像領(lǐng)域的相似結(jié)構(gòu)具有很強(qiáng)的相關(guān)性，所有未被污損的區(qū)域可以用于修復(fù)缺失區(qū)域的紋理。

雖然卷積網(wǎng)絡(luò)對于長程相關(guān)性建模比較困難，但研究人員提出了基于圖像外觀流（appearance flow，AF）的方法來從相似結(jié)構(gòu)區(qū)域采樣，為不同區(qū)域構(gòu)建清晰關(guān)系。此外研究人員還利用了高斯采樣代替了雙線性采樣來拓展了采樣操作的感受野，并引入了新的采樣正確性損失函數(shù)來訓(xùn)練采樣過程，以此得到了性能較高的圖像修復(fù)模型。

實(shí)現(xiàn)細(xì)節(jié)

在結(jié)構(gòu)重建器中，研究人員將最小化生成的低頻結(jié)構(gòu)圖像與平滑后原圖間的誤差。第一階段的監(jiān)督信號主要來自于GT圖的平滑結(jié)果，使用了保邊平滑算法RTV來得到保持圖像主要結(jié)構(gòu)的圖片作為標(biāo)簽。模型的主要結(jié)構(gòu)基于自編碼器架構(gòu)得到，添加了一系列殘差塊用于特征的優(yōu)化提取。Gs和Gt分別代表了第一階段的結(jié)構(gòu)生成器和第二階段的紋理生成器，而判別器則使用了類似于BicycleGAN的架構(gòu)，利用了兩個(gè)不同尺度的PatchGAN來預(yù)測不同尺度生成圖像的真?zhèn)巍?/p>

值得一提的是，這一模型中使用了流的概念來將未受損區(qū)域的紋理信息賦予需要修復(fù)區(qū)域。但原始的AF方法是以一種非監(jiān)督的方法，網(wǎng)絡(luò)無法處理較大的運(yùn)動(dòng)和較差的局域最小值。

為了解決這一問題，研究人員提出了利用高斯采樣的方法來代替原先的雙線性采樣方法以擴(kuò)展感受野，并提出了采樣正確性損失來約束可能的收斂結(jié)果。采樣過程通過輸入像素（特征）來計(jì)算梯度，如果感受野受限只能有少量像素參與計(jì)算。由于相鄰像素具有較強(qiáng)的相關(guān)性，所以較大的感受野有助于獲得較為正確和穩(wěn)定的梯度。雙線性采樣的感受野較小，不適合于長程相關(guān)性的采樣建模。而高斯相關(guān)性則可以在較大的感受野中進(jìn)行采樣。下式中的權(quán)重aij便是可調(diào)整方差的高斯核。

而新提出的采樣正確性損失則用于衡量模型的采樣是否良好，并約束AF場的信息流動(dòng)。在實(shí)際使用中，研究人員主要使用了VGG19層的特征來計(jì)基準(zhǔn)特征和采樣特征之間的余弦距離，以判斷這一采樣是否合適。

實(shí)驗(yàn)結(jié)果

研究人員分別在Place2，Celeba和Paris StreetView數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)，并利用Irregular Masks數(shù)據(jù)集生成缺失污損的圖像。

利用客觀的SSIM，PSNR和FID進(jìn)行客觀測評，同時(shí)也利用MTurk平臺進(jìn)行了主觀質(zhì)量測試。下圖顯示了研究人員提出的方法與Contextual Attention（CA），Partial Convolution（PConv）和EdgeConnect等方法的比較。

下表中可以看到在多個(gè)數(shù)據(jù)集上本方法都獲得了明顯的指標(biāo)提升。

研究人員還將這一算法用于圖像編輯任務(wù)中去，將圖中不希望出現(xiàn)的物體涂上掩膜，就可以修復(fù)出完整高質(zhì)量的清晰圖像。同時(shí)也可以在結(jié)構(gòu)圖上進(jìn)行編輯為生成的圖像增加新的物體或內(nèi)容。