在SLAM中評估大規模的點云地圖仍頗具挑戰，主要原因在于缺乏統一、穩健且高效的評估框架。本文提出了MapEval，這是一個用于點云地圖綜合評估的開源框架。在模擬數據集和真實世界數據集上開展的大量實驗表明，MapEval在保持評估完整性的同時，速度至少提高了100-500倍。MapEval庫將會開源，以推動機器人領域標準化的地圖評估實踐。

01 本文核心內容

A.動機與挑戰

SLAM已成為移動機器人領域的一項基礎性技術，能夠實現機器人在未知環境中的自主導航。盡管SLAM包含定位和建圖任務，但當前的評估方法主要側重于軌跡精度，這只是通過定位性能間接反映地圖質量。這種間接評估方式，再加上獲取高精度真實軌跡數據的固有困難，對現實世界中SLAM的部署構成了顯著限制，因為地圖質量直接影響諸如路徑規劃和避障等下游任務。直接的地圖質量評估提供了更全面、更可靠的評估范式。例如，如圖1所示，不同區域的地圖精度差異顯著，這凸顯了評估全局幾何精度和局部一致性的必要性。這些互補的方面能夠捕捉到不同的誤差來源和尺度，然而現有的評估方法通常只關注其中一個方面，導致對SLAM性能的評估不完整。缺乏一個能同時兼顧這兩個方面的統一評估框架，已成為推進SLAM技術以及確保其在現實應用中的可靠性的關鍵瓶頸。盡管其重要性毋庸置疑，但以下三個基本挑戰阻礙了穩健的地圖評估框架的發展：

1)缺乏統一的評估標準：軌跡評估得益于諸如EVO等標準化工具，但地圖質量評估卻呈現碎片化。現有的方法聚焦于孤立的方面，如全局精度或局部一致性，缺乏一個能整合這些互補指標的統一框架。這種碎片化阻礙了不同SLAM系統之間的公平和全面比較。

2)傳統指標的固有局限性：SLAM地圖具有大規模、環境噪聲以及稀疏的真實基準等獨特特征，這給現有指標帶來了獨特的挑戰。當前的指標難以在噪聲敏感度、完整性(COM)以及同時捕捉全局和局部屬性的能力之間取得平衡，往往導致對SLAM性能的誤導性評估。

3)可擴展性和計算效率：傳統指標，如倒角距離(ChamferDistance，CD)和瓦瑟斯坦距離(地球搬運工距離，WassersteinDistance，EMD)，在應用于包含數百萬個點的SLAM地圖時，計算成本變得過高。這種可擴展性的限制嚴重制約了它們在現實世界場景中的實際應用，在系統部署中，高效評估至關重要。

02 主要貢獻

我們構建了MapEval，這是一個用于全面點云地圖評估的開源框架，對現有評估指標進行了系統性分析，并為一致性的質量評估確立了清晰的指導準則。

我們借助體素化高斯近似對瓦瑟斯坦距離加以改進，提出了新穎的評估指標，在相同的誤差標準下達成了高效且穩健的性能表現。

我們在各類SLAM系統中開展了大量實驗來驗證我們的框架，與傳統方法相比，實現了100-500倍的提速。

03 方法架構

MapEval評估流程概述。該框架首先從真實傳感器和SLAM算法獲取稠密點云地圖（左側），接著利用初始姿態估計進行稠密地圖對齊（中間），最后進行映射評估。

04 實驗

A.實驗設置

1)數據集與基準真值：我們在四個不同的數據集上對MapEval進行評估，分別是：FusionPortable（FP）、NewerCollege（NC）、GEODE（GE）以及我們自行收集的MS數據集。這些數據集涵蓋了多樣的環境條件和掃描模式，基準真值地圖是通過高精度掃描儀以毫米級精度獲取的。MS數據集是通過我們的多傳感器平臺（見圖3）收集的，采用精度為6毫米的LeicaRTC360掃描儀。表II總結了每個序列的關鍵特征。

2)基準方法：我們將MapEval與兩個先進的SLAM系統進行基準比較：FAST-LIO2（FL2）和PALoc。這些系統代表了不同的地圖構建方式，PALoc結合了閉環優化和先驗地圖約束，以減少在大規模環境中的全局漂移誤差。

3)實現細節：我們的評估實驗整合了軌跡和地圖質量評估。對于軌跡評估，我們采用了絕對軌跡誤差（ATE）。在地圖質量評估中，對于AWD和SCS指標，使用了對應閾值τ=0.2米和體素大小為3.0米。MME計算在所有序列中均采用一致的0.1米搜索半徑。我們使用Open3D和PCL庫來實現該框架，實驗在配備了英特爾i7-12700kCPU和96GBRAM的臺式計算機上進行。

B.模擬實驗

我們利用序列S2的基準真值地圖（28,633,510個點，覆蓋30m×7m×4m區域）進行模擬實驗，以驗證我們所提出的MapEval框架的穩健性和有效性。

1)噪聲敏感性分析：為評估度量對噪聲的穩健性，我們有系統地向基準真值地圖引入隨機采樣的對稱高斯噪聲（1厘米-50厘米）。表III中的實驗結果呈現了幾個驗證我們所提框架的關鍵發現。首先，AC隨著噪聲水平從20厘米增加到50厘米，呈現出與直覺相悖的行為，其值降低，而CD和AWD則表現出一致的誤差增長。這種差異是因為AC僅考慮距離閾值τ（方程2）內的內點。相比之下，AWD通過基于體素的高斯近似（方程4）納入完整的點分布，從而保持穩健性。對均值差異和協方差結構的Wasserstein距離（方程5）的考量使得AWD能夠捕捉全局變形，同時對局部變化保持穩健。其次，在存在小尺度噪聲（1厘米-10厘米）時，SCS對局部幾何變化表現出預期的敏感性，同時保持穩健性。隨著噪聲水平進一步增加（10厘米-50厘米），由于直接依賴于點級統計數據，傳統度量指標（如MME）變得不穩定。然而，SCS通過利用Wasserstein距離的空間分布，在表征局部一致性方面保持穩定行為。這種穩健性源于我們基于體素的方法，其通過統計聚合有效地過濾了點級噪聲。

2)異常值穩健性分析：我們進一步通過向基準真值地圖引入不同的異常值比率（0.01%-10%）和高斯異常值距離（10厘米-100,000厘米）來評估我們所提出的度量指標。表IV揭示了我們所提出度量指標的卓越穩健性。對于極小的異常值污染（0.1%）和大的噪聲范圍（10厘米-100,000厘米），傳統度量指標表現出極大的敏感性，AC由于其點級閾值機制趨近于零，而CD由于直接依賴點到點距離（方程3），如圖4所示表現出不穩定的增長。相比之下，AWD通過利用Wasserstein距離的統計特性保持了穩健的性能。基于體素的高斯近似通過考慮異常值對整體分布而非單個點的影響，有效地處理了異常值。在中等噪聲尺度（1000厘米-10,000厘米）下，CD由于局部結構愈發扭曲而無法提供有意義的評估。AWD通過在Wasserstein距離計算中考慮位置和結構差異，成功捕捉到噪聲增加的趨勢。對于更高的異常值比率（10%），SCS保持了對局部一致性的穩健表征，而MME由于對點級熵變化的敏感性而表現出反直覺的行為。這一全面的驗證表明，我們所提出的度量指標顯著提高了點云地圖評估的穩健性，特別是在存在大量噪聲和異常值的挑戰性場景中。

C.真實世界實驗

1)基于定位精度的地圖評估：我們首先分析了室內（S5-S10）和室外環境（S14）中地圖質量與定位精度之間的關聯。此實驗將定位精度作為驗證我們所提出度量標準的參考。表V中的結果在不同場景下呈現出顯著的模式。在有限的室內環境（S5-S10）中，FL2覆蓋的局部地圖自然限制了閉環的優勢，兩種算法實現了可比擬的全局精度。然而，傳統度量呈現出不一致的表現：在序列S5中，盡管PALoc在定位精度上更優，反映在更好的CD、COM和AWD值上，但其AC得分較低。同樣，在序列S7、S9和S10中，FL2實現了更好的定位精度，AWD得分更優，但CD表現較差。這種差異突顯了CD在表征局部地圖質量方面的局限性，同時驗證了AWD在捕捉有意義的幾何差異方面的穩健性。室外場景（S14）為我們的度量標準的有效性提供了極具說服力的證據。由于PALoc采用了閉環優化，其在定位精度上顯著優于FL2。雖然CD在兩種方法之間顯示出極小的差異，但我們的AWD成功捕捉到了這種全局精度的提升，與第II-C節中描述的Wasserstein距離的理論優勢相符。圖5提供了S14的詳細可視化，通過誤差圖、體素誤差分布和一致性度量對FL2和PALoc進行了比較。結果表明，PALoc通過更好的AC、AWD和CDF度量實現了更卓越的全局精度。然而，PALoc的SCS性能相較于FL2略有下降，這與MME評估結果一致。此觀察揭示了一個重要的權衡：盡管閉環優化減少了全局漂移，但可能會引入影響地圖一致性的局部幾何變形。

2)多樣化環境中的地圖評估：我們進一步在具有挑戰性的場景中驗證了我們的度量標準，包括走廊（S0）、自動扶梯（S4）、樓梯（S12）和植被密集區域（S13），如表V所示。在這些更廣闊的環境中，PALoc相較于FL2展現出顯著提升的全局精度，這被AWD準確捕獲。然而，我們的SCS度量表明這種全局優化偶爾會損害局部一致性。傳統度量未能察覺這種全局精度與局部一致性之間的權衡，這體現了AWD和SCS在地圖評估中的互補性質。圖6中的自動扶梯場景（S3）尤其突出了我們方法的優勢。盡管視覺檢查和AC值證實了PALoc具有更優的局部精度，但CD由于對噪聲的敏感性給出了矛盾的結果。我們的AWD通過基于體素的高斯近似，在準確反映真實質量差異的同時保持了穩健性。這些真實世界的實驗驗證了我們所提出度量標準的兩個關鍵優勢。其一，AWD相較于CD在大規模環境中（特別是存在顯著漂移時）對全局精度的評估更可靠。其二，AWD和SCS的結合使得能夠對全局精度和局部一致性進行全面評估，揭示了傳統度量所遺漏的重要權衡。

D.計算效率

我們對表II中所有數據集上MapEval的計算效率進行了剖析，將傳統度量（AC/CD+MME）與我們所提出的方法（Voxel.+AWD+SCS）加以對比。鑒于龐大的點云數量，我們甚至為快速計算MME采用了多線程技術。表VII給出了不同地圖規模下的處理時長。對于密集場景（約10^9個點，S1、S3、S4、S11、S13、S14），傳統度量需要數百至數千秒，而我們的單線程實現僅需數十秒即可完成。在中等密度環境（10^6-10^7個點，S5-S10）中，我們的方法實現了亞秒級的處理時間，在保持評估質量的同時，相比傳統方法實現了100-500倍的提速。

E.參數敏感性分析

我們針對序列S1開展了參數敏感性分析，旨在探究體素大小對度量性能的影響。圖7闡釋了體素大小與三個關鍵指標：AWD、SCS以及計算時間之間的關系。AWD隨著體素大小呈現近乎線性的增長，從5厘米體素時的4.90厘米增至70厘米體素時的135.66厘米。這一趨勢反映出在較大體素的Wasserstein距離計算中，均值差異占據主導地位。相比之下，SCS在不同體素大小下保持穩定，展現出其在捕捉局部一致性模式方面不依賴于空間分辨率的穩健性。計算時間隨著體素大小的增加顯著降低，直至在約15厘米處達到拐點，從5厘米時的162.10秒降至60厘米以上時的約5秒。基于計算效率和度量穩定性之間的平衡，我們建議在實際應用中采用2.0米至4.0米的體素大小。

05 總結

我們提出了MapEval，這是一個用于SLAM中點云地圖綜合評估的開源框架。該框架引入了兩個互補的度量指標：AWD和SCS，分別用于全局精度和局部一致性的評估。通過廣泛的實驗，我們表明，與傳統方法相比，我們的方法實現了100-500倍的提速，同時在各種不同的場景中保持了強勁的性能。MapEval將會發布，以促進機器人領域標準化的地圖質量評估，推動可靠的SLAM系統的發展。