本文提出了一種新方法，通過使用點到平面匹配將VIO/VSLAM系統生成的稀疏3D點云與數字孿生體進行對齊，從而實現精確且全球一致的定位，無需視覺數據關聯。所提方法為VIO/VSLAM系統提供了緊密集成的6自由度全局測量。在高保真GPS模擬器上進行的實驗以及從無人機收集的真實世界數據表明，我們的方法優于最先進的VIO-GPS系統，并且與最先進的視覺SLAM系統相比，在應對視點變化方面具有更出色的魯棒性。

01 本文核心內容

在復雜環境中實現精確且全球一致的位姿估計對于諸如自動駕駛車輛和無人機之類的自主系統，以及視障人士的輔助技術而言，是一項關鍵需求。相機和慣性測量單元（IMU）通常被用于解決位姿估計問題，這得益于它們成本低、設計輕巧以及具有互補的測量能力——相機能提供豐富但數據率低且依賴于環境的數據，而IMU可提供高數據率、低維度且不受環境影響的數據。視覺慣性里程計（VIO）和視覺SLAM算法融合相機和IMU的測量結果，并在局部坐標系中輸出位姿估計值。局部坐標系通常在算法初始化時被設定為單位位姿。由于相機和IMU提供的是局部測量，加之存在噪聲和建模簡化，這些算法會隨時間累積漂移。

為了在全局固定坐標系（例如，東-北-上（ENU）參考坐標系）中獲取位姿估計值并減少漂移，會在位姿估計過程中納入全局測量。最常使用的全局測量是GPS。然而，GPS測量在室內無法獲取，在城市峽谷等區域通常存在噪聲且不可靠，因為在這些地方信號反射和阻塞現象很常見。結果，GPS測量有時可能比VIO/VSLAM系統自身生成的位姿估計更不確定。

VSLAM系統通過使用視覺測量結果將自身定位到預先構建的地圖來補償漂移。定位問題通過匹配當前相機視圖和地圖之間的視覺特征來解決。標準技術會匹配特征描述符。而較新的研究工作則用神經網絡替代了特征描述符。無論采用何種匹配技術，所有基于視覺的定位方法都依賴于當前相機視圖與參考地圖中視圖的相似性，這在許多情況下限制了它們的有效性，例如將無人機拍攝的航拍圖像定位到白天和夜間由地面車輛記錄的地圖上，或者將基于其他光譜相機（例如紅外相機）的VIO/VSLAM系統定位到由標準相機記錄的地圖上。

盡管在VIO-GPS算法和視覺定位技術方面有了不少進展，但現有的方法仍難以完全應對在城市環境中實現全球一致、低漂移位姿估計的挑戰，這是由于它們所依賴的全局測量存在固有的噪聲、稀疏性或視點依賴性。

為應對這些挑戰，我們提議使用幾何信息（例如3D點云、網格）來定位數字孿生體。特別地，我們引入了一種新穎的方法，將VIO/VSLAM系統生成的局部地圖（稀疏3D點云）定位到幾何數字孿生體上。我們的方法使用局部VIO/VSLAM點云與數字孿生體的網格表示進行點到平面的匹配，提供了一個緊密融合到VIO/VSLAM系統中的新的全局測量。

我們的實驗在我們在該項目背景下開發的高保真GPS模擬器以及使用在城市中飛行的無人機進行的真實世界測試中，均證明了所提出方法優于當前最先進的VIO-GPS方法。結果表明，與基于特征描述符匹配的傳統視覺定位技術相比，我們的方法不僅能更有效地減少漂移，而且在視點變化時具有更強的魯棒性。

02 主要貢獻

本工作的主要貢獻為：

? 一種新穎的算法，其通過點到平面匹配將局部且稀疏的VSLAM3D點云定位到數字孿生體，因而獨立于視覺匹配。

? 在VSLAM系統中緊密融合此類定位測量，以在城市環境中達成全球一致、低漂移的位姿估計。

? 在使用新型高保真GPS模擬器和在城市中飛行的無人機所采集的真實世界數據的模擬實驗中，我們展示了我們的方法相對于最先進的VIO-GPS系統的優勢。

?我們表明，所提出的局部-全局地圖定位比基于圖像特征描述符匹配的最先進視覺定位技術更穩健。

03 方法架構

我們提出了一種VSLAM系統，其借助場景幾何結構將自身定位于數字孿生體，從而在城市環境中達成低漂移且全局一致的姿態估計。此定位問題被構建為點云配準問題，可通過點到平面的ICP算法高效解決。具體而言，我們通過將VSLAM系統生成的局部稀疏3D點云與城市數字孿生體進行配準，獲取全局測量值。接著，在VSLAM姿態估計過程中，此全局測量值與當前相機和IMU測量值緊密耦合。另外，我們提出一種算法，能自適應地找出用于在VSLAM中融合全局測量值的權重。這種自適應加權解決方案使我們能夠考慮到配準問題的不確定解，這些解源自退化情況且取決于場景幾何結構。

04 實驗

為了評估我們方法的有效性，我們在模擬環境和真實世界環境中均開展了實驗。我們將我們的方法與四個基準方法進行了對比。為了將我們的方法與整合GPS數據的VIO系統作比較，我們選取VINS-Fusion和SVO-GPS作為基準。VINS-Fusion將VIO與GPS測量值松散耦合。相反，SVO-GPS在VIO滑動窗口優化中緊密耦合GPS測量值。為了將我們的方法與基于視覺特征匹配來實現閉環的SLAM系統進行對比，我們選擇SVO-LoopClosure和ORB-SLAM3。SVO-LoopClosure與我們的系統采用相同的VIO管道。ORB-SLAM3是一個通過匹配ORB特征來執行閉環的視覺SLAM系統。

A.模擬結果

我們的系統SVO-DigitalTwin以及基線所實現的絕對軌跡誤差在表I中報告。估計的軌跡與真實軌跡一起繪制在圖4中。SVO-DigitalTwin在位置和旋轉方面實現了最佳的絕對軌跡誤差，優勢顯著。具體而言，相對于表現最佳的基線，ATEp和ATER分別提高了31%和27%。

我們在表II中納入了一項消融研究，以驗證我們的自適應加權策略。改進后的ATE誤差驗證了所提出的自適應加權策略的益處。

我們在表III中列出了主要系統組件的運行時間。我們為初始對齊步驟設定了一個時間長度。在這段時間過后，我們檢查是否滿足收斂標準（見第III-D節）。如果滿足，則認為對齊成功。如果不滿足，我們會積累更多的GPS測量值，直到滿足該標準。姿態估計的運行時間是從圖像捕獲到估計出該圖像的相機姿態所經過的時間。

B.真實世界實驗

我們的系統SVO-DigitalTwin以及基線所產生的絕對軌跡誤差在表IV中報告。估計軌跡與真實軌跡一同繪制在圖7中。SVO-DigitalTwin在位置和旋轉方面大幅實現了最佳的絕對軌跡誤差。具體而言，相對于表現最佳的基線，ATEp和ATER分別提高了32%和28%。由于SVO-GPS將GPS與視覺和慣性數據緊密耦合，GPS測量的高度不確定性，其性能有所下降。

此外，我們針對提出的幀對齊策略，評估了其與將VSLAM姿態估計與基于世界坐標系的參考地面真值姿態進行對齊的效果。我們的對齊策略實現了0.50米的平移誤差和0.79度的航向誤差。否則，在我們的對齊策略中僅使用GPS測量將導致8.11米的平移誤差和6.77度的航向誤差。

05 總結

綜上所述，本文提出了一種通過利用數字孿生體的幾何信息來降低VIO/VSLAM系統漂移的新方法。通過引入一種通過點到平面匹配將VIO/VSLAM生成的點云定位到城市數字孿生體的方法，我們解決了依賴GPS或視覺定位技術的方法所存在的局限性。我們在高保真GPS模擬器和真實世界的無人機飛行進行的實驗中，均展示了該方法相較于現有系統的優越性，特別是在減少漂移和處理視點變化方面。（想要了解更多文章細節的讀者，可以閱讀一下論文原文~）