攝像機姿態對于多視角三維建模是否必要？現有的方法主要假設可以獲得準確的攝像機姿態。雖然這個假設對于密集視圖可能成立，但對于稀疏視圖，準確估計攝像機姿態常常是困難的。作者的分析顯示，噪聲估計的姿態會導致現有稀疏視圖三維建模方法的性能下降。為了解決這個問題，作者提出了LEAP，一種新穎的無姿態方法，挑戰了攝像機姿態不可或缺的普遍觀念。LEAP舍棄了基于姿態的操作，從數據中學習幾何知識。LEAP配備了一個神經體積，該體積在場景之間共享，并且通過參數化編碼幾何和紋理先驗。對于每個輸入的場景，作者通過按特征相似性驅動的方式聚合2D圖像特征來更新神經體積。更新后的神經體積被解碼為輻射場，從而可以從任意視點合成新的視圖。通過對物體為中心和場景級別的數據集進行實驗，作者展示了LEAP在使用最先進的姿態估計器預測的姿態時顯著優于先前的方法。值得注意的是，LEAP的性能與使用真實姿態的先前方法相當，同時比PixelNeRF運行速度快400倍。作者還展示了LEAP泛化到新的物體類別和場景，并且學習的知識與極線幾何密切相關。

讀者理解：

LEAP方法：一種新的三維建模方法，可以從稀疏的視圖中重建高質量的三維模型，而不需要知道相機的姿態（位置和方向）。這種方法利用了深度神經網絡和幾何約束，可以處理任意數量和分布的視圖，甚至是單張圖片。

與現有的三維建模方法相比，LEAP有以下優勢：

不需要相機姿態信息，可以處理任意視角的圖片。

可以從極少量的視圖中重建出高質量的三維模型，甚至是單張圖片。

可以處理不同尺度、不同光照、不同背景的圖片，具有很強的泛化能力。

可以實現實時的三維建模，只需要幾秒鐘就可以生成三維模型。

LEAP實驗：作者在多個數據集上進行了實驗，包括ShapeNet、PASCAL3D+、Pix3D和自采集數據集。實驗結果表明，LEAP在三維重建質量、運行速度和泛化能力方面都優于現有的方法。作者還展示了一些LEAP生成的三維模型的可視化效果。

1 引言

本文介紹了一種基于神經輻射場的3D建模方法LEAP，其與傳統方法不同的是摒棄了使用攝像機姿態的操作，并通過學習數據中與姿態相關的幾何知識和表示來進行建模。LEAP使用神經音量來初始化輻射場，并通過聚合方式更新神經音量。而在聚合2D圖像特征時，LEAP采用注意力機制而非攝像機姿態來確定待聚合的像素。此外，LEAP還通過多視角編碼器來提高非規范視角圖像特征的一致性。訓練中，LEAP使用真實的攝像機姿態生成2D渲染圖像，并通過2D重建損失進行優化。實驗結果表明LEAP在多種數據集上表現出了優越的性能、快速的推理速度、強大的泛化能力以及易解釋的先驗知識。這里也推薦「3D視覺工坊」新課程徹底搞透視覺三維重建：原理剖析、代碼講解、及優化改進》。

2 相關工作

本文主要介紹了兩個與NeRF（Neural Radiance Fields）相關的工作，分別是針對稀疏視角輸入的NeRF變體和稀疏視角相機姿態估計。針對NeRF的稀疏視角輸入，有兩種不同的方法：一種是針對特定場景的NeRF，通過從頭開始優化輻射場來實現；另一種是通用的NeRF變體，通過預測2D圖像特征條件下的輻射場來實現。然而，這些方法在推理3D點之間關聯性和假設獲取地面真實相機姿態方面存在一些局限性。而LEAP方法具有3D推理能力，在沒有姿態的情況下可以處理圖像。稀疏視角相機姿態估計是一個具有挑戰性的問題，相比于密集視角，由于圖像之間的最小或缺失重疊，對于準確的相機姿態估計來說，跨視角對應線索的形成十分困難。除了傳統的基于密集視角的相機姿態估計技術的局限性外，還有一些方法通過引入能量模型、多視圖信息和預訓練模型等方法來提高姿態估計的準確性。然而，LEAP方法不需要專門的相機姿態估計模塊，不受相機姿態估計的影響，可以更接近使用地面真實姿態的結果。對于沒有準確或沒有相機姿態的NeRF建模，有一些方法通過將相機姿態作為可調參數，并與輻射場一起進行優化來解決該問題。而LEAP方法通過3D感知的設計和基于特征相似性的2D-3D信息映射來消除對相機姿態的依賴，從而得到與使用地面真實姿態更接近的結果。

3 方法

本文介紹了LEAP方法的任務形式化和概述。給定一組k個場景的2D圖像觀測值，表示為{ ｜i = 1，..., k}，LEAP預測了一個神經輻射場，可以從任意目標視點合成一張2D圖像。需要注意的是，在我們的稀疏源視圖設置中，由于寬基線相機拍攝的視圖數量通常小于5，并且這些視圖在推理過程中沒有任何相關的相機姿態信息。

3.1 模型架構

LEAP首先從所有視角提取2D圖像特征，使用一個DINOv2初始化的ViT作為特征提取器，以建模跨視角相關性。然后，LEAP引入了一個可學習的神經體積，對幾何和紋理先驗進行編碼，并在所有場景中充當初始的3D表示。對于每個場景，LEAP通過查詢多視圖特征，將2D信息映射到3D領域，更新了神經體積，并預測了輻射場。具體來說，LEAP通過多視圖圖像編碼器實現了對規范視圖選擇的感知，并通過捕捉交叉視角相關性來改善特征的一致性。接下來，LEAP引入了一個2D-3D信息映射模塊，使用Transformer層對特征進行更新和整合，并進行了多次的2D-3D信息映射，以粗到細的方式重建對象的潛在體積。最后，LEAP使用更新后的神經體積預測了基于體素的神經輻射場，然后利用體積渲染技術生成渲染圖像和對象掩碼?？傮w來說，LEAP的模型架構可以在沒有姿態信息的情況下，通過特征一致性和2D-3D信息映射來實現對場景的建模和圖像合成。

3.2 LEAP的訓練與推理

LEAP通過光度損失函數在沒有任何3D監督的情況下對渲染結果和輸入之間進行訓練。首先定義了應用于RGB圖像的損失函數LI，其中 = (?, ) + (?, )。其中L_{mse}I_{i}(?分別表示原始圖像和渲染后的圖像，λp是用于平衡損失函數的超參數，Lp是感知損失函數（Johnson等，2016）。然后定義了應用于密度掩模的損失函數LM，即 = (?, )，其中?和分別表示原始和渲染后的密度掩模。最終損失函數定義為L = + ?，其中是用于平衡權重的超參數。如果掩模不可用，則只使用 。推斷和評估。在推斷過程中，LEAP在不依賴于任何姿態的情況下預測輻射場。為了評估新視角合成的質量，作者使用測試相機姿態在特定視點下渲染輻射場。

4 實驗

本文介紹了LEAP方法在不同類型的數據集上進行的評估實驗，并給出了實現細節和數據集說明。在實驗中，LEAP表現出相對于其他基線模型的更好性能，包括更高的PSNR和更低的LPIPS值。此外，LEAP還展示了強大的泛化能力，能夠適應不同幾何和紋理特性的對象。LEAP還在場景級別數據集上取得了較好的結果，在性能上超過了PixelNeRF和與SPARF相媲美。該研究還進行了消融實驗，探索了LEAP模型中各個組成部分的影響，并對LEAP的解釋進行了可視化展示。結果表明，LEAP方法有效地利用多視角信息進行3D建模。這里也推薦「3D視覺工坊」新課程徹底搞透視覺三維重建：原理剖析、代碼講解、及優化改進》

5 總結

本文提出了一種名為LEAP的無姿勢方法，用于從一組非定姿稀疏視圖圖像進行三維建模。通過適當設置三維坐標并聚合二維圖像特征，LEAP展示了令人滿意的新視角合成質量。在我們的實驗中，LEAP在從物體居中到場景級別，從合成圖像到真實圖像，以及從小規模到大規模數據的范圍內，與使用估計姿勢或噪聲姿勢的先前基于姿勢的方法相比，始終表現出更好的性能。LEAP還與使用基準真實姿勢的先前方法的版本取得了可比較的結果。此外，LEAP展示了強大的泛化能力，快速推理速度和可解釋的學習知識。