1. 寫在前面

今天筆者為大家推薦一篇最新的開源工作SuperCluster，實現(xiàn)了大型三維點(diǎn)云的全景分割，可以在一次推理中處理包含數(shù)百萬個點(diǎn)和數(shù)千個對象的場景。在僅有209k個參數(shù)的情況下，SuperCluster比SOTA方法小30多倍，訓(xùn)練速度快15倍。

下面一起來閱讀一下這項工作

2. 摘要

通過將該任務(wù)重新定義為可擴(kuò)展的圖聚類問題，我們介紹了一種高效的方法用于大型三維點(diǎn)云的全景分割。該方法可以僅使用局部輔助任務(wù)進(jìn)行訓(xùn)練，從而省去了訓(xùn)練過程中資源密集型的實例匹配步驟。此外，我們的公式可以很容易地適應(yīng)超點(diǎn)范式，從而進(jìn)一步提高其效率。這使得我們的模型可以在一次推理中處理包含數(shù)百萬個點(diǎn)和數(shù)千個對象的場景。我們的方法，稱為SuperCluster，在兩個室內(nèi)掃描數(shù)據(jù)集上取得了最新的全景分割性能：S3DIS Area 5為50.1 PQ ( + 7.8 )，ScanNetV2為58.7 PQ ( + 25.2 )。我們還為兩個大規(guī)模移動建圖基準(zhǔn)：KITTI - 360和DALES設(shè)置了第一個最先進(jìn)的基準(zhǔn)。在僅有209k個參數(shù)的情況下，我們的模型比最好的競爭方法小30多倍，訓(xùn)練速度快15倍。

3. 效果展示

S3DIS Area 5的大規(guī)模全景分割結(jié)果，共有9.2 M個點(diǎn)( 78M預(yù)采樣)和1863個真實"物"對象。SuperCluster可以在3.3秒內(nèi)在單塊V100 - 32GB GPU上一次推理處理如此大的掃描，并達(dá)到50.1的PQ值。

四個數(shù)據(jù)集的全景預(yù)測結(jié)果。

4. 具體原理是什么？

SuperCluster對一個包含兩個物體（椅子和沙發(fā)）的簡化場景的操作順序：子圖( a )展示了第一階段，其中點(diǎn)云被分割成具有簡單幾何形狀的連通超點(diǎn)。在子圖( b )中，預(yù)測每個超點(diǎn)的語義類分布。在子圖( c )中，預(yù)測每一對相鄰超點(diǎn)的對象一致性，表明它們屬于同一個對象的可能性。子圖( d )展示了一個圖聚類問題的輸出，該問題在對象之間的轉(zhuǎn)換處切割邊的同時，合并了具有兼容類分布和對象一致性的超點(diǎn)。由此產(chǎn)生的超點(diǎn)簇定義了全景3D分割的實例。

超點(diǎn)對象Agreement：對每一對相鄰的超點(diǎn)( s , t)計算一個對象一致性分?jǐn)?shù)。這個值是由s和t以及它們的多數(shù)對象obj ( t )和obj ( s )之間的平均重疊率定義。

5. 和其他SOTA方法的對比

S3DIS Area 5上SOTA語義分割方法的語義( SS )和全景分割結(jié)果，提供了兩個全景度量，將所有類別視為"事物" ( PS -- no "stuff")，將墻壁、天花板和地板視為"物品" ( PS )。

6. 總結(jié)

這篇文章引入了SuperCluster，一種用于大規(guī)模點(diǎn)云的三維全景分割的新方法。作者將這個任務(wù)設(shè)計為可擴(kuò)展的圖聚類問題，繞過了當(dāng)前全景分割方法中的一些計算密集型步驟。SuperCluster在S3DIS，ScanNet，KITTI - 360和DALES在內(nèi)的多個基準(zhǔn)測試集上達(dá)到了最先進(jìn)的性能，同時顯著地更小，可擴(kuò)展，更容易訓(xùn)練。

審核編輯：黃飛