如何讓多相機視覺SLAM系統更易于部署且對環境更具魯棒性？本文提出了一種適用于任意排列多相機的通用視覺里程計系統。在KITTI-360和MultiCamData數據集上驗證了該方法對于任意放置相機的魯棒性。與其他立體和多相機視覺SLAM系統相比，該方法獲得了更高的位姿估計精度，具有更好的泛化能力。

01 本文核心內容

視覺SLAM乃是機器人技術與自主導航領域的一項基礎性技術，能使系統借助視覺傳感器估算其相對于所處環境的運動情況。傳統的單目或立體SLAM系統往往需要嚴格的相機配置，并且在進行真實尺度姿態估計和地圖構建時嚴重依賴慣性測量單元（IMU）。然而，這些方法因視場角狹窄而受限，在相機布置靈活性至關重要的環境中表現欠佳，比如大多數配備6個不同相機的汽車。近來，多相機視覺SLAM在這類情形下展現出了更強的穩健性，能夠涵蓋更多的周邊視覺場景，為紋理欠佳的環境提供冗余信息。這為諸如無人機在雜亂環境中導航以及配備周邊多相機的自動駕駛等應用開辟了新的可能。

然而，當前的多相機視覺SLAM系統在實際應用中仍面臨諸多挑戰。其一，相機數量的增多雖提供了信息冗余，卻不可避免地致使數據處理壓力數倍增長。多數現有的方法采用諸如ORB等傳統的特征關聯方式，這導致中央處理器（CPU）的使用率大幅攀升，且難以平衡后端非線性優化的資源，進而需要高性能的CPU，否則無法達成實時性。其二，對于多相機視覺里程計（MCVO）系統而言，精確的尺度估計亦頗具挑戰。現有的方法大多通過多目設置或添加慣性測量單元（IMUs）來估計尺度，這就要求精心配置相機的視場（FOV）重疊或相機與IMU傳感器之間的外部校準，致使難以在系統配置的靈活性與尺度估計的準確性之間實現平衡。因此，本研究的主要目標是通過解決任意排列的多相機系統中的特征關聯計算壓力和尺度估計問題，實現穩健且通用的多相機視覺里程計。

為應對這些挑戰，我們提出了一種通用的多相機視覺里程計系統，即MCVO，其僅需處于任意方向和位置的多個剛性捆綁的相機。我們首先從精度-效率的視角對現有的先進特征關聯方法進行分析，并設計了一個基于學習的特征提取和跟蹤框架，以轉移多個視頻流的CPU處理計算壓力。接著，我們基于每個相機的對齊姿態間的剛性約束，利用運動恢復結構（SfM）來初始化SLAM系統，以獲取真實尺度的身體姿態。在后端，我們融合多相機特征以實現穩健的姿態估計和尺度優化。多相機特征在詞袋（BoW）中進一步串聯，用于閉環檢測。通過在KITTI-360和MultiCamData數據集上的嚴格測試和實際應用，我們旨在證明我們的系統在以空前的靈活性和通用性增強各領域自主代理能力方面的有效性。所提出系統的亮點在于：（i）僅需外部參數要求，即可使用任意朝向布置的多個相機。（ii）通過消除對慣性測量單元（IMU）的依賴，并提供處理任意配置相機（無論重疊與否）的靈活性，其僅專注于視覺信息，從而能夠實現真實尺度估計和在線優化，提高了準確性和魯棒性。（iii）此外，它能夠適應包括但不限于魚眼和標準針孔相機在內的多種相機類型，使其適用于廣泛的應用場景。

我們的代碼和在線演示可在https://github.com/JunhaoWang615/MCVO上獲取。

02 主要貢獻

我們為任意排列的多相機提出了一種通用的視覺SLAM系統框架，并對前端的多相機特征檢測和匹配、系統初始化、后端優化以及閉環進行了創新設計。

我們全面考慮現有的最先進（SOTA）特征關聯方法，并設計了基于SuperPoint的提取器和LK跟蹤前端，將CPU的計算壓力轉移，提高了特征匹配的穩定性，最終為多眼SLAM的穩定性和效率提供了保障。

我們提出了一種基于多相機軌跡一致性的SLAM尺度估計策略，該策略兼容不同的相機模型，無論相機視場（FoV）是否重疊，都展現出了強大的泛化性和穩定性。

03 方法架構

我們所提出的通用多相機視覺里程計框架如圖2所示。該框架的主要輸入為同步的多相機視頻序列。多個相機已提前進行剛性捆綁并校準，其內在參數和外在參數已知。輸出為現實環境中的度量尺度6自由度機器人位姿。

該流程包括四個部分：前端特征提取、位姿和度量尺度初始化、后端優化以及閉環檢測。為加速多相機特征關聯的前端處理，我們采用了GPU加速的特征提取和3優先級特征選擇。然后，我們利用多相機位姿和外在參數來初始化度量尺度的多相機系統。為確保運動尺度的真實性，我們在后端優化過程中對尺度偏差進行自適應關聯。鑒于多相機系統較大的視場角，我們設計了一種更穩健的多相機全方位閉環檢測算法。我們還利用位姿圖約束進一步優化閉環中的體位姿。

04 實驗

在本節中，我們將在兩個公開數據集上進行實驗，以評估我們提出的方法。

A.實驗設置

1）數據集：為評估我們的方法，所選用的數據集必須包含具有預先校準的內在和外在參數的多相機設置。我們選取了兩個公開可用的數據集，即KITTI360和MultiCamData，它們具有不同的相機類型、場景類型以及各種相機布局。KITTI360數據集是在戶外道路環境中通過兩個180°魚眼相機和兩個90°針孔相機采集所得，如圖1所示。這四個相機同步且已預先校準。與EuRoC等其他數據集相比，KITTI360具有更大的規模、更長的距離以及更具挑戰性的場景，例如橋下道路（光照變化）、荒野（紋理退化）和動態場景。我們對大多數序列進行了測試，并與真實軌跡進行了對比。MultiCamData是在室內環境中使用6個相機采集的。我們主要使用非重疊的相機（cam0、cam5和cam6）以考察其泛化能力。該數據集還涵蓋了具有挑戰性的場景，如狹窄走廊、大型白色墻壁（紋理退化）、突然轉彎和動態場景。

2)評估設置：我們選取VINS-Fusion、ORB-SLAM3以及MultiCamSLAM作為對比基準。為使VINS-Fusion和ORB-SLAM3獲得度量尺度狀態估計，針對每個數據集的前置立體相機對這兩種方法進行了設置。而對于MultiCamSLAM，我們采用了與方法[Designand evaluation of a generic visual slam framework for multi-camerasystems]一致的非重疊相機設置。在KITTI360數據集上，MCVO配置了兩個魚眼相機和一個前置針孔相機。在KITTI360上的評估指標涵蓋了絕對軌跡誤差（ATE）、相對位姿誤差（RPE）以及尺度誤差。鑒于MultiCamData缺少真實軌跡，我們按照[Designand evaluation of a generic visual slam framework for multi-camerasystems]中的方式，使用視覺目標來估計初始位姿和最終位姿之間的誤差，因為軌跡的起點和終點處于相同位置。所有實驗均在配備2.5GHzIntelCorei7-11700CPU和NVIDIARTX3060GPU的臺式機上開展。

B.實驗結果

ATE的定量結果在表I和圖5中呈現。與立體ORB-SLAM3和VINS-Fusion相比，MCVO在KITTI360的多數序列上達成了顯著更低的旋轉誤差，且平移誤差具有競爭力。這主要歸因于多相機設置所提供的寬視場，以及前端的高精度和強魯棒性。小尺度誤差進一步證明了我們的尺度估計策略的有效性。MultiCamSLAM方法無法完成KITTI360的多數序列。此問題源于KITTI360數據集是以高速采集的，導致了較大的幀間位移。MultiCamSLAM在處理顯著的幀間位移時存在困難，阻礙了三角測量和初始化。與MCVO在ORB特征方面的對比進一步表明了我們前端設計的魯棒性。此外，MCVO在MultiCamData上展現出了強勁的性能和魯棒性。其在精度上優于VINS-Fusion，與ORB-SLAM3相比僅有細微差距。這種精度上的輕微降低主要是由于室內走廊中存在眾多白色墻壁，引入了噪聲，從而影響了多相機視覺里程計（VO）。與同樣采用非重疊相機設置的MultiCamSLAM相比，MCVO在不同序列中實現了更優的精度和更好的泛化能力。

圖6展示了不同方法在KITTI360數據集00序列上的RPE結果。MCVO顯著優于其他方法，姿態漂移最小。這一改進在很大程度上得益于多相機設置中穩健且高效的前端，其場景覆蓋范圍廣泛。擴大的視場為狀態估計提供了更強的約束，從而導致更高的姿態估計精度。此外，穩健的前端即使在低質量場景中也能確保準確的特征跟蹤。這些結果驗證了MCVO在狀態估計上的有效性。

為了進一步對性能進行定性分析，我們在圖7中繪制了KITTI360數據集的00和05序列上不同方法的軌跡。ORB-SLAM3和VINS-Fusion在00序列中表現出較大的旋轉誤差。相比之下，MCVO在這種情況下顯示出更高的穩定性和準確性。此外，我們方法的整體軌跡更平滑，位置估計更穩定。

05 總結

在本文中，我們提出了一種通用的多相機視覺里程計系統，其在相機設置方面具有高度靈活性，可適應不同類型的相機，無論視場是否重疊。多相機的任意排列，不僅提高了SLAM系統的靈活性，還實現了僅基于相機的穩健真實比例姿態估計。所設計的基于學習的特征關聯前端利用GPU有效地減輕了CPU在多相機數據處理中的計算壓力，并提高了特征匹配的穩定性。在實驗過程中，多相機特征在尺度初始化、后端優化和閉環等系統功能得到了充分驗證。與最先進的技術進行比較，進一步證明了MCVO在狀態估計方面的有效性和魯棒性。未來的工作將側重于在更多平臺上部署MCVO。