在拍照時候最大的困難之一就是無法控制環(huán)境光的影響。在逆光、測光、暗光的影響下無法拍出滿意的照片。很多時候不禁感嘆，和攝影大師也許就僅僅隔著一盞攝影燈的距離！如何讓手機(jī)也能拍出專業(yè)攝影工作室燈效下的人像呢？加州大學(xué)圣迭戈分校和谷歌的研究人員給出了他們的答案。

在最新提出的portrait relighting算法中，只需要單張RGB人像模型就可以重建出重新調(diào)整光照后的完美照片，畫質(zhì)不輸專業(yè)攝影裝備，而你需要的僅僅是一個可以拍照的智能手機(jī)，不用打光不用等候，輕輕一拍算法處理后就能拿到期待的光照效果。

上面的圖中最左側(cè)是輸入的照片，右邊三個是模型重建出在不同環(huán)境光照下的效果，照片的光照被完全修改為期待的樣子了。光照是肖像攝影最重要的部分之一，不同光照可以呈現(xiàn)出千差萬別的效果。所以攝影也被稱為光與影的藝術(shù)。專業(yè)的攝影工作室除了昂貴的相機(jī)外最引人矚目的就是那一排排炫目的燈光設(shè)備了。

但對于大多數(shù)使用手機(jī)的消費者來說并不具備控制環(huán)境光照的條件，用手機(jī)自拍的小伙伴們沒有濾鏡、沒有散射片、沒有反光板，手頭最多只有一個相機(jī)自帶的閃光燈，而且閃光燈的強(qiáng)度還極其有限。

如何打破硬件設(shè)備的限制為重新為照片進(jìn)行光照渲染一直是圖形學(xué)、手機(jī)廠商的研究熱點。使用后處理的方法改變照片的光照將會給手機(jī)攝影、特別是自拍照片的質(zhì)量帶來較大的提升。先前的方法主要基于特定的硬件或者多張圖像的HDR、或者需要已知環(huán)境光照，已知目標(biāo)對象精確的幾何形貌和反射率的方法來對照片的光照進(jìn)行調(diào)整。研究人員充分考慮了HDR方法、光度立體視覺、單圖像表面重建、人臉重建和重光照以及最近的深度學(xué)習(xí)方法，提出了一種基于自編碼器的新型架構(gòu)，在無需環(huán)境光照先驗和物體外形及反射率的情況下重建出調(diào)整光照后的圖像。模型主要結(jié)構(gòu)由編碼器-解碼器構(gòu)成，在使用時只需要輸入原圖像并在編碼空間中注入希望的環(huán)境光照，即可生成出期望的光照效果。

同時這一網(wǎng)絡(luò)也可以預(yù)測輸入圖像的環(huán)境光照，并可以在編碼空間（網(wǎng)絡(luò)圖中的瓶頸位置）進(jìn)行調(diào)整，隨后解碼成期待光照下的圖像。例如下圖中用戶對編碼器恢復(fù)的環(huán)境光進(jìn)行操作，解碼后得到了新光照條件下的圖像，隨著光源的右移照片中人臉的右側(cè)明顯變亮了。

和傳統(tǒng)方法或先前基于學(xué)習(xí)的方場景推斷、人臉重建法不同的是，這一方法并沒有任何顯式的步驟用于估計物體的幾何外形與反射率。像朗伯體反射和球均勻光照等模型限制方法的表達(dá)能力。而這篇文章中提出的方法直接利用單個網(wǎng)絡(luò)通過原始圖像和目標(biāo)光照恢復(fù)出重光照后的圖像，并將所有需要的幾何與反射等物理模型涵蓋到網(wǎng)絡(luò)內(nèi)部，通過充分的訓(xùn)練模型可以處理絕大多數(shù)的人臉表情和面部細(xì)節(jié)，陰暗、散射、高光和陰影都可以有效處理。這一網(wǎng)絡(luò)模型可以由下面的映射公式表示，通過輸入源圖像Is和目標(biāo)光照，估計出目標(biāo)圖像It和源光照Ls。

下面是網(wǎng)絡(luò)架構(gòu)的細(xì)節(jié)圖，輸入圖通過不斷的卷積進(jìn)行編碼，并利用加權(quán)平均預(yù)測出了輸入圖像的環(huán)境光。隨后目標(biāo)光照注入網(wǎng)絡(luò)并與編碼器各層的特征共同解碼最后得到期待光照下的圖像。模型的損失主要來自于目標(biāo)圖像與輸出圖像，預(yù)測光照與真實環(huán)境光照之間的損失。

為了訓(xùn)練這一網(wǎng)絡(luò)，研究人員們首先建立了(one-light-at-a-time,OLAT)數(shù)據(jù)集，首先構(gòu)建了一個由七個相機(jī)304個LED光源組成的圖像收集裝置，其中每個相機(jī)相隔中心相機(jī)20度，并與拍攝主題相隔1.7m進(jìn)行拍攝，隨后將這些圖像進(jìn)行線性加權(quán)并結(jié)合起來得到訓(xùn)練的基準(zhǔn)圖像。實驗中共邀請了22個人，每個人3-5個表情，共進(jìn)行了98次拍攝（每次拍攝304個燈以此亮起）。通過數(shù)據(jù)處理和渲染共得到了226800對肖像數(shù)據(jù)用于訓(xùn)練。

此外，為了在自然環(huán)境光下渲染圖像，研究人員利用了多個HDR數(shù)據(jù)集來得到環(huán)境光圖，主要包括了來自Laval Indoor HDR Dataset，室外Eisklotz, HDRI Haven, HDRI Skies, HDRLabs, HDRMAPS, NoEmotion HDRs, and Openfootage等多個數(shù)據(jù)集的共計3094張不同的環(huán)境光照。下圖中可以看到模型的效果，與先前方法相比，重光照圖像非常自然，不會出現(xiàn)各種奇怪的人工痕跡：

對于自然環(huán)境下的圖像，在估計出的光照圖上調(diào)整后重新渲染得到的效果也相當(dāng)不錯：

這種方法將有可能為手機(jī)照相軟件的后處理提供強(qiáng)大的光照后處理能力，用戶可以為照片像添加濾鏡一樣添加不同的環(huán)境光來實現(xiàn)豐富的照片效果，海灘、焰火、夕陽、雪山…你想要的都可以。也可以通過調(diào)整源圖像的環(huán)境光來修正圖像的光照，重新渲染出最靚的你！