Neural Radiance Fields (NeRF) 通過合成 3D 場景新視角圖像展現出驚人的能力。然而，它們依賴于基于光線行進的專門體積渲染算法，這些算法不符合廣泛部署的圖形硬件的能力。本文提出了一種基于紋理多邊形的新型 NeRF 表示法，它將 3D 場景轉化為一組多邊形。這種方法使用傳統的多邊形光柵化管道進行渲染，提供了大規模的像素級并行性，可以在廣泛的計算平臺上實現交互式幀率。

1 前言

NeRF 是表示 3D 場景的方法，通過估計從任何位置和方向發射的密度和輻射的隱式函數，用于體積渲染框架生成新視角圖像。然而，傳統的 NeRF 實現的渲染過程太慢以至于無法進行交互式可視化。本文提出了一個名為 MobileNeRF 的方法，將 NeRF 表示為一組紋理多邊形，利用現代圖形硬件的光柵化管道和 Z-buffer 實現像素級并行性，以實現交互式幀率渲染，并在 標準測試場景上優于 SNeRG 10 倍，適用于各種常見移動設備。

MobileNeRF 的貢獻如下：

在與最先進的方法（SNeRG）具有相同輸出質量的情況下，渲染速度提高了 10 倍；

通過存儲表面紋理而不是體積紋理，使用的內存較少，使本文的方法能夠在具有有限內存和功率的集成 GPU 上運行；

可以在 Web 瀏覽器上運行，并且與本文測試過的所有設備兼容，因為本文的查看器是一個 HTML 網頁；

允許對重建的對象/場景進行實時操作，因為它們是簡單的三角形網格。

2 相關背景

本文介紹了在視圖綜合方面的多種方法和技術，包括光場、幾何圖形、神經網絡等。不同的方法有不同的優勢和局限性，但是它們的共同目標是實現高質量的實時渲染。作者的方法通過緩存發射輻射來實現高質量的視圖綜合，并且適用于低功率硬件上的實時渲染。同時，它不需要輸入重構的3D幾何體。與現有的方法相比，作者的方法在低功率設備上具有更好的可用性。

3 方法

本文介紹了一種優化表示以實現高效新視圖綜合的方法。該表示包含一個多邊形網格和紋理映射，采用兩階段延遲渲染過程來繪制圖像。該方法需要初始三維幾何體，并通過迭代過程中修改網格來進行優化。本文提出了一種離散表示來實現高效的新視圖綜合的方法。該方法通過渲染階段1和渲染階段2實現。作者采用三個訓練階段來構建本方法的離散表示。在最后的訓練階段，作者提取了一個稀疏的多邊形網格，將不透明度和特征烘焙到紋理映射中，并存儲了神經延遲著色器的權重。同時，作者提出了一種基于超采樣的簡單且計算高效的抗鋸齒解決方案。由于采用標準的GPU光柵化管道，因此我們的實時渲染器只是一個HTML網頁。

3.1 Continuous training (Training Stage 1) - 連續訓練（訓練階段1

本文提出了一個新穎的渲染框架，構建了一個以多邊形網格為基礎的渲染器，其中使用透明合成和神經渲染器來產生高保真度的圖像。作者使用MLPs來表示網格中的顏色和不透明度，使用MLP的輸入來表示網格中的幾何完成，從而實現了從場景數據到圖像的連續訓練。作者使用了加速格子來限制每條光線上的積分點數量，從而減少了渲染時間。與現有的渲染框架相比，作者的方法可以更好地處理反射，折射，陰影和非連續性的材料，并且對于多個數據集進行了廣泛的實驗和評估，結果表明它可以生成具有可比性的視圖。

3.2 Binarized training (Training Stage 2) - 二值化訓練（訓練階段2）

本文介紹了如何使用離散/分類不透明度來避免處理半透明物體時需要排序的問題。作者使用一個直通估計器優化離散操作，并提出了一個聯合訓練策略來同時訓練連續模型和離散模型。離散模型的輸出輻射度由離散不透明度和顏色加權組成。最后，文章提到將進行微調來優化訓練結果。

3.3 Discretization (Training Stage 3) - 交叉注意力實現可微分渲染

本文介紹了如何將離散/分類不透明度的表示轉換為顯式的多邊形網格，并將其存儲為紋理圖像。作者實驗中使用的技術包括可見的四邊形的剪裁、尺寸調整和離散不透明度值和特征值的烘焙。值得注意的是，8位的量化精度在反向傳播中沒有被考慮到，但對渲染質量的影響不大。

3.4 Anti-aliasing - 訓練和損失函數

本文采用超采樣來實現抗鋸齒，并通過對特征進行平均來避免每幀多邊形排序。抗鋸齒的變化應用于訓練階段2中，最終作者平均子像素特征來獲得抗鋸齒表示并將其傳遞給神經推遲著色器。

3.5 Rendering - 渲染

本文使用優化的延遲渲染管線進行渲染，包含兩個步驟：光柵化多邊形以及渲染紋理矩形并將其與特征圖像疊加。采用二進制透明度的z-buffer使得多邊形不需要按照深度排序，且由于特征轉換的小型MLP可以在GLSL片元著色器中并行運行，所以能夠在GPU上高度優化，以實現在各種設備上以交互式幀速率運行。

4 實驗

MobileNeRF通過在三個數據集上進行測試，包括NeRF合成的場景，LLFF前向場景和Mip-NeRF 360的無界戶外場景，證明了在各種場景和設備上表現良好。與SNeRG進行比較顯示MobileNeRF可以在常見設備上實時運行。詳細的消融研究進一步研究了不同設計選擇的影響。

4.1 比較

本研究通過在各種設備上測試證明了MobileNeRF的出色性能和兼容性。在渲染質量方面，使用PSNR、SSIM和LPIPS等指標顯示本文的方法具有與SNeRG相近的圖像質量，且優于NeRF。此外，MobileNeRF需要的GPU內存比SNeRG少5倍。渲染質量在相機距離適當的情況下與SNeRG類似，但當相機縮放時，SNeRG容易渲染過度平滑的圖像。三角形面不與實際物體表面對齊，因此需要更好的正則化損失或訓練目標來改善表面質量。

4.2 消融研究

本文討論了在表中展示的消融研究，分析了在每個階段中各種修改對渲染效果的影響。在第一階段中，使用固定網格或不使用視角相關效果會顯著降低性能。在第二階段中，不進行微調或僅使用二進制不透明度會導致性能下降。在第三階段中，使用更大的紋理大小可以提高性能，但空間成本也會增加。超采樣步驟和小型MLP對性能影響最大。

5 總結

MobileNeRF介紹了一種可以在廣泛的計算平臺上進行高效渲染的神經場體系結構，可以比之前的最新技術更快地生成同等質量的圖像。然而，它存在一些限制，如估計的表面可能不準確，它無法處理半透明和高光表面等。擴展多邊形渲染管道可以解決這些問題，并將該架構擴展到快速訓練的體系結構這是未來工作的一個激動人心的方向。