自動地將人臉照片轉換為高質量的藝術肖像畫具有重要的藝術價值和實用價值。清華大學劉永進教授課題組對此提出APDrawingGAN，結果優于目前已有方法。該項工作被CVPR 2019錄取為oral paper。

肖像畫是一種獨特的藝術形式，通常使用一組稀疏的連續圖形元素如線條來捕捉一個人的外表特征。

肖像畫通常是在人物面前或基于人物照片進行創作的，其創作依賴于細致的觀察、分析和豐富的經驗。一幅好的肖像畫能很好地捕捉到人的個性和情感。

圖1. 一些人臉照片和對應的藝術家畫的肖像線條畫。

然而，即使是受過專業訓練的藝術家，完成一幅精致的肖像畫也需要很長時間。因此，自動地將人臉照片轉換為高質量的藝術肖像畫具有重要的藝術價值和實用價值。

清華劉永進組提出APDrawing GAN

隨著深度學習的發展，使用卷積神經網絡進行圖像風格轉換的神經風格轉換（NST）方法被提出。隨后，基于生成對抗網絡（GAN）的方法在圖像風格轉換上實現了很好的效果。

但是，這些已有方法多數針對于生成信息較為豐富的風格，如油畫，這些風格的圖像中包含很多零碎的圖形元素（如筆觸），而對單個元素的質量要求較低。也就是說，在這些風格的圖像中，一些細節上的瑕疵會被忽視。

藝術肖像線條畫(Artistic Portrait Drawings，簡稱APDrawings)和已有工作研究的油畫肖像的風格有很大的不同。它主要有5個特點：

首先它是高度抽象的，只由少數稀疏、連續的圖形元素組成，因此瑕疵會比油畫中更明顯。

其次是具有強限制性，由于包含面部特征，APDrawings相比一般的風格有更強的語義限制（因為我們對人臉很熟悉，會對人臉圖像中的瑕疵容忍度更低）。

具有多樣性，因為對于不同的面部特征，藝術家繪制的方式是不同的（如眼睛和頭發）。

藝術創作的模糊性，人工創作導致了一些面部特征的輪廓沒法被完全精準的定位，這對基于像素對應的方法是個很大的挑戰。

APDrawings的概念性，藝術家有時會在原圖沒有亮度變化的地方添加額外的概念性的線條，比如頭發區域中的白線和五官的輪廓線。因此，即使是頂尖的方法也難以產生好的藝術肖像畫結果。

APDrawingGAN和一般P圖、摳圖、濾鏡等工具的不同在于，一般的軟件對真實照片進行美化得到更美觀或具有某種特點的真實照片，而APDrawingGAN生成的是非真實感的抽象藝術肖像畫，既能捕捉到照片特征又和真實照片觀感完全不同。并且我們生成的線條風格的藝術肖像畫比一般的肖像畫（如卡通、鉛筆素描）具有更少的圖形元素，更抽象，因此也更有難度。下圖展示了我們方法和一般圖像處理工具的結果對比。

圖2. 我們的方法和一般圖像處理工具的處理結果的對比。人臉照片來源于免費版權圖片網站Pixabay。

在CVPR2019上，清華大學計算機系劉永進教授課題組提出了APDrawingGAN，為了更有效地學習不同面部區域的不同繪制風格，我們的GAN模型包括幾個專門針對不同面部特征區域的局部網絡，和一個用于捕捉整體特征的全局網絡。

論文地址：

https://cg.cs.tsinghua.edu.cn/papers/CVPR-2019-Drawing.pdf

APDrawingGAN的主要貢獻在于：

我們提出了一個層次化的GAN模型，可以有效地將人臉照片生成高質量、富有表現力的藝術肖像線條畫。不僅如此，我們的方法對黑白線條分明的復雜發型繪制有更好的效果。

為了學習不同面部區域的不同繪制風格，我們的模型將GAN的渲染輸出分為不同層次，每個層次被獨立的損失項控制。我們提出了一個針對藝術肖像畫的損失函數，它包含四個損失項：對抗損失、像素級損失、一種新的距離變換（DT）損失（用于學習藝術肖像畫中的線條筆畫）和一個局部變換損失（用于引導局部網絡保持面部特征）。

我們使用6655張人臉照片和非真實感渲染算法生成的結果進行了預訓練，構建了一個包含140對高質量正面人臉照片和對應藝術肖像畫的APDrawings數據集，用于正式的訓練和測試。

圖3. 我們提出的APDrawingGAN的結構圖。左側為層次化生成器網絡的結構，右側為層次化鑒別器網絡的結構。

在APDrawingGAN中，生成器網絡G和鑒別器網絡D都采用層次化的結構。生成器網絡G用于將輸入照片轉換為藝術肖像畫，它包含6個局部生成器（對應于左右眼、鼻子、嘴巴、頭發和背景），1個全局生成器和1個融合網絡。

局部生成器的作用是學習不同局部面部特征的繪制風格。我們將所有局部生成器的輸出混合到一個圖像Ilocal中。局部生成器和全局生成器都采用U-Net結構。

然后我們使用一個融合網絡將Ilocal和全局生成器的輸出Iglobal融合在一起，以獲得最終的生成圖。鑒別器網絡D用于判斷輸入圖像是否是真實的，即是否是藝術家畫的藝術肖像畫。

其中全局鑒別器對整個圖像進行檢查，以判斷肖像畫的整體特征。而局部鑒別器對不同的局部面部區域進行檢查，評估細節的質量。局部鑒別器和全局鑒別器都采用PatchGAN的形式。

為了進一步應對線條的風格和藝術家畫作中不完全精確定位的輪廓，我們提出了一個全新的距離變換(Distance transform，簡稱DT)損失來學習藝術肖像線條畫中的線條筆畫風格。

我們前面提到，在藝術家的肖像畫中，線條和原圖有時不是精確對應的，會有微小的錯位，主要的原因有兩個：

藝術家裸眼觀察，面部特征的輪廓有時無法被完全精準地定位；

藝術家添加的線條有時是概念性的，不與原圖完全對應（如頭發區域中的白線）。

因此僅使用L1損失是不足以應對這種情況的——L1損失會懲罰即使是很微小的錯位，但是對于較大的錯位并不會更敏感。

于是我們提出一種新的損失來容忍這種細微的錯位，而懲罰過大的錯位。我們提出的這個DT損失是基于距離的，它計算的是藝術家肖像畫（Groundtruth）中每個線條上的像素到生成肖像畫中相同類型（黑或白）的最近像素的距離之和，和生成肖像畫到藝術家肖像畫的距離之和的總和。

DT損失對于微小的錯位的懲罰是非常小的，但會真正懲罰那些過大的錯位。我們使用了距離變換和倒角匹配（chamfermatching）來計算這個損失，公式如下：

倒角匹配距離：

距離變換損失：

其中和表示兩幅肖像畫，和表示距離變換，和分別表示黑白線條檢測器，和分別表示人臉照片和對應的藝術家肖像畫。

APDrawingGAN結果對比

圖4. APDrawingGAN在沒有對應藝術家肖像畫的人臉照片上的測試結果。人臉照片來源于免費版權圖片網站Pixabay。

圖5. APDrawingGAN與Gatys，CycleGAN和Pix2Pix方法在藝術肖像風格化上的結果對比。其中紅色矩形標出了CycleGAN和Pix2Pix方法結果中的一些明顯瑕疵。

圖6. APDrawingGAN與CNNMRF，DeepImageAnalogy和HeadshotPortrait方法在藝術肖像風格化上的結果對比。

圖7. APDrawingGAN與現有風格轉換方法的結果對比。

第一列是人臉照片，第二列是藝術家畫的肖像畫，第三列是一些方法需要的風格參考圖，第四至九列是其他方法的結果，最后一列是我們方法的結果。

用戶研究（user study）結果統計。

73名參與者參與了用戶研究。用戶研究中，每位參與者每次從兩種算法生成的肖像畫中選擇一幅更接近藝術家肖像畫和圖像質量更好的肖像畫，并對三種方法（CycleGAN、Pix2Pix和我們的方法）兩兩進行了比較，由此我們得到了三種方法的排名。

表中給出了每種方法排名最好(1)、中間(2)和最差(3)的百分比。在71.39%的情況下我們的方法排名最好。