大家好，今天要介紹的是AAAI 2024關于不良光照下NeRF新視角合成的工作Aleth-NeRF，目的在不良光照場景下（如低光照和過曝光）場景，能夠從NeRF無監督增強并且生成正常光照的連貫3D scene。我們提出的方法可以對現有NeRF進行簡單改進，通過引入一個Concealing Field的概念，僅用幾行代碼就可以使得現有的NeRF在低光照或者過曝光的情況下，進行Novel View Synthesis重建，并且實現無監督的低光增強和曝光糾正。

1. 方法概述：

本文提出了Aleth-NeRF模型來完成無監督低光照增強&過曝糾正和Novel View Synthesis。傳統NeRF [1]是以觀察者視角出發，通過設定當前位置光通量的多少來定義物體，缺乏對于光照和物體的結構，無法解釋光照變換對場景的影響 [2]，所以NeRF無法應用于低光照和過度曝光時候的重建。非常有趣的是古希臘人也秉持著與NeRF非常接近的世界觀，古希臘人認為人的眼睛有一道視線，人們看到物體是來源于視線的累積，看不見物體是因為空氣中存在遮擋。受到古希臘視覺觀點的啟發，我們認為在黑夜看不見物體是因為空氣中存在遮擋物隱蔽場(Concealing Field)，女神Aletheia象征著真實/不隱蔽，在希臘語里意為“真相”，這也是Aleth-NeRF名字的由來。因此我們通過對NeRF框架做最小改動，在NeRF模型中引入了隱蔽場的概念，可以用來有效的解釋光照變換，在實際實現中只需要加入幾行代碼，不需要復雜的光照解構，就可以使得各種NeRF框架擁有同時處理低光和過曝光的能力，分為兩組隱蔽場(voxel-wise的局部隱蔽場，以及global-wise的全局隱蔽場)。低光場景下的訓練如上圖(c)所示，訓練階段隱蔽場會加入到NeRF的volume rendering中參與訓練低光照場景，在測試階段隱蔽場將會被拿開rendering出正常光照場景。過曝光場景下的訓練如上圖(d)所示，訓練階段正常，然而測試階段隱蔽場將會被加上用來rendering出正常光照場景。對于以上兩種場景，我們都會在訓練階段給NeRF網絡以及隱蔽場加入無監督損失函數來控制隱蔽場的生成。

2. 模型架構：

模型的大概結構圖如下所示：

以最經典的原始NeRF為例，局部隱蔽場通過NeRF的MLP網絡產生，與原始NeRF的兩個輸出color和density相同，屬于voxel-wise，全局隱蔽場則是一組可學習的網絡參數，在每個場景下固定，屬于global-wise，兩組隱蔽場共同加入Volume Rendering中來衰退原有NeRF的Volume Rendering，通過Concealing Field的引入，Volume Rendering中的每個粒子受到前面粒子的遮蔽作用加強，我們通過Concealing Field這一假設來模擬黑暗的產生。與此同時，訓練階段我們也通過添加各種無監督損失函數來約束Concealing Field的生成，幫助我們更好的增強和修復不良光照場景。低光場景的訓練階段會采用引入Concealing Field的Volume Rendering公式，在測試階段采用去掉Concealing Field的原有Volume Rendering公式，過曝場景則與之相反。

經過我們的實驗發現， Concealing Field的生成范圍和Volume Rendering中粒子Density的范圍呈反比例關系，這意味著訓練過程中Concealing Field更傾向于出現在沒有物體的地方，與我們對Concealing Field存在空氣中的假想一致。

3. 損失函數

為了保障Aleth-NeRF的無監督增強/過曝糾正，我們額外引入了幾個損失函數來約束Concealing Fields的生成，首先我們把NeRF原有的MSE損失函數L_mse變換為L_it-mse，即在計算MSE損失之前先把圖像過一個反向Tone曲線，因為原始MSE損失中黑暗像素往往權重過小而過曝像素往往權重較大，因此先加一個反向Tone曲線可以某種程度上做一下平衡。剩余的是三個無監督損失函數，其中包括控制總體亮度范圍(Enhance Degree)的損失函數L_de和控制對比度(Contrast Degree)的損失函數L_co，以及一個Color Constancy損失函數L_cc。通過調整控制總體亮度損失函數L_de和控制對比度損失函數L_co的超參數，也可以實現不同程度的增強。

4. 數據集：

關于數據集方面，我們提出了一個成對的低光照/過曝光/正常光照的multi-view數據集(LOM數據集)，以便大家進行后續研究，低光照和過曝光的圖像用于訓練模型，正常光照的圖像用于Novel View Synthesis的驗證，相比于2D圖像增強以及視頻增強，這一任務更具挑戰性，因為需要在圖像增強的同時來確保生成圖像的multi-view一致性，數據集圖片如下，我們通過相機采集了五個真實世界的場景 (buu, chair, sofa, bike, shrub)，每個場景都包含有25～65張multi-view圖像，每個圖像都有三組不同曝光條件(低光照/過曝光/正常光照)。值得一提的是，此前谷歌的RAW-NeRF [3]也提供了一些真實世界的multi-view低光圖片，但是RAW-NeRF關注的更多是將ISP與NeRF渲染結合，利用RAW圖像的廣闊色域和比特數優勢來進行渲染，而并不是RGB圖像增強，因此RAW-NeRF也沒有對應正常光照RGB的ground truth。我們提供的LOM數據集可以從網站或Github上下載，概覽如下圖示：

5. 實驗結果

實驗方面，我們把原始的NeRF模型作為baseline，除此之外我們再與現有的2D圖像/視頻增強方法進行了對比，與增強方法進行對比時，我們設計了兩種方式，(1). 第一種是用先在低光/過曝圖像上訓練NeRF然后在novel view synthesis階段把2D增強方法用作后處理，(2). 第二種是先用2D圖像/視頻增強方法來預處理數據集，然后在這些增強后的數據上訓練NeRF。通過實驗我們發現，方式(1)的缺陷在于低質量圖像上訓練的NeRF本身不夠可靠，導致后處理增強后的結果也往往不盡如人意，容易出現低分辨率和模糊的情況，方式(2)的缺陷在于2D圖像/視頻增強方法往往不能保證3D multi-view的一致性，因此在不一致圖像上訓練的NeRF也會存在問題?？偟膩碚f，Aleth-NeRF這種end-to-end的方法能夠在最終的平均指標上取得最優效果，在3D的可視化中也能保持多視角的consistency，表格與實驗結果圖如下。：

6. 缺陷和展望：

雖然Aleth-NeRF在低光和過曝場景實現了較好的無監督恢復，但是只是這一任務的初步探索，比如NeRF本身自帶的缺陷如訓練慢和場景無法泛化等，以及Aleth-NeRF還是無法解決一些非均勻光照場景與陰影場景等，還有在一些場景中，Aleth-NeRF復原的圖像色彩存在偏差，有些過曝場景的恢復會丟失色彩等等。收到古希臘視覺理論，Aleth-NeRF提出了Concealing Fields概念，用一種簡單直觀的方式來建模黑暗，我們認為也許其他不同的黑暗建模方式也能夠取到很好的效果，更有效的低光照建模也許能夠克服Aleth-NeRF的不足。