NVIDIA研究團隊研發出了一種先進的深度學習方法，可用于對圖像進行編輯，或對有空白或像素缺失的受損圖像進行重建。

應用該方法，研究人員能夠通過先清除內容再填充所產生的空白這樣的操作，對圖像進行編輯。這個“圖像修復”的過程，可靈活應用于圖片編輯軟件中，用以移除不需要的內容，同時用計算機生成的逼真圖像進行填充。

“我們的模型能夠很好地處理任何形狀、大小、位置、或與圖像邊界的任意距離的空白，之前的深度學習方法主要集中于圖像中心的矩形區域，且通常依賴成本頗高的后期處理，”NVIDIA研究人員在其研究報告中指出。“此外，我們的模型能夠更好地處理更大的空白區域。”

為準備訓練其神經網絡，團隊首先生成了55116個任意形狀和大小的隨機條紋和空白。他們還生成了近25000個條紋和空白用于測試。根據其相對于輸入圖像的大小，這些均被進一步分為六類，以期提高圖像重建的準確性。

生成的用于訓練的蒙版示例

使用NVIDIA Tesla V100 GPU和cuDNN加速的PyTorch深度學習框架，團隊通過將生成的蒙版應用于來自ImageNet、Places2和CelebA-HQ數據集的圖像，對神經網絡進行訓練。

在訓練階段，將空白或缺失部分引入上述數據集的完整訓練圖像中，使網絡能夠學會重建缺失的像素。

在測試階段，將未應用于訓練期間的不同空白或缺失部分引入數據集中的測試圖像，以對圖像重建的準確性進行無偏驗證。

最新AI成像技術重建照片示例

研究人員表示，當前基于深度學習的圖像修復方法成效有限，因為針對丟失像素的輸出必然取決于為找出丟失像素而必須提供給神經網絡的輸入值。這就會導致圖像中出現諸如顏色差異和模糊等偽像。

為解決這一問題，NVIDIA團隊開發了一種方法，確保了丟失像素的輸出不再有賴于為這些像素提供的輸入值。此方法采用了“部分卷積”層，可根據其相應感受野（receptive field）的有效性，對每個輸出進行“重新規格化”，確保輸出值不依賴于每個感受野中缺失像素的值。該模型基于通過這些部分卷積實施的UNet架構而構建。使用一組能夠將特征損失、以及風格損失與VGG模型相匹配的損失函數，可對模型進行訓練，以生成逼真的輸出。

因此，“該模型勝過早前的方法，”NVIDIA研究團隊表示。

NVIDIA研究人員表示， “據我們所知，我們首次證實了針對不規則形狀空白進行深度學習圖像修復模型的有效性，”

研究人員還在其論文中（Image Inpainting for Irregular Holes Using Partial Convolutions，還提及了他們可應用相同的框架來處理圖像超分辨率任務。