全球計算機視覺三大頂會之一 CVPR 2019 （IEEE Conference on Computer Vision and Pattern Recognition）將于 6 月 16-20 在美國洛杉磯如期而至。屆時，曠視首席科學家、研究院院長孫劍博士將帶領團隊遠赴盛會，助力計算機視覺技術的交流與落地。在此之前，曠視每周會推出一篇 CVPR'19 接收論文解讀文章。本文是第 2 篇解讀，曠視 CVPR'19 Oral 論文提出一種基于測地距離的點云分析深度網絡——GeoNet。

論文名稱：GeoNet: Deep Geodesic Networks for Point Cloud Analysis

論文鏈接：https://arxiv.org/pdf/1901.00680.pdf

導語

簡介

GeoNet方法

問題陳述

方法

測地鄰域估計

特征提取

測地匹配

測地融合

PU-Net

PointNet++

GeoNet實驗

測地鄰域估計

點云上采樣

法向量估計及網格重建

非剛性形狀分類

結論

參考文獻

往期解讀

基于網格曲面的幾何拓撲信息可以為物體語義分析和幾何建模提供較強的線索，但是，如此重要的連接性信息在點云中是缺失的。為此，曠視西雅圖研究院首次提出一種全新的深度學習網絡，稱之為 GeoNet，可建模點云所潛在表征的網格曲面特征。

為證明這種學習型的測地表示的有效性，曠視西雅圖研究院提出一種融合方案，即把 GeoNet 與其他 baseline 和 backbone 相結合，比如 PU-Net、PointNet++，用于若干對潛在網格曲面特征理解有較高要求的點云分析任務。

得益于對潛在曲面拓撲結構的理解，這一方法在點云上采樣、法向量估計、網格重建及非剛性形狀分類等多項經典任務上取得了新的當前最優結果。該項工作已收錄為 CVPR 2019 Oral 論文。

簡介

拓撲估計，即確定點云之中不同點的鄰域關系，是一個很重要的問題，因為它指示著可進一步揭示點云語意和功能信息的潛在的點云結構。

圖 1：GeoNet 方法示意圖，其輸入是一個點云，然后輸出相應的表示用于多項點云分析任務。

如圖 1 左邊紅色插框所示：這兩個點集，盡管看起來不相連，但實際上應該相連為一個椅腿，作為整個椅子的一部分。另一方面，位于椅子上、下表面的點集，盡管空間上非常聚集，但卻不該相連，以避免混淆可坐的上表面和不可坐的下表面。確定這樣的拓撲學信息似乎是一個低階問題，而實際上這是一項充滿挑戰的任務，需要全局、高階的知識。

再次回到圖 1 中的紅色插框，本文由此得出結論，兩個點集只有從大量點云學習到統計規則之后才相連，并觀察這一類型的諸多物體，伴隨著從椅子延伸到地面的相連、垂直的元素。這啟發本文采取一種學習的方法來捕捉點云的拓撲學結構。

本文旨在開發一種針對潛在曲面拓撲學和物體幾何學的點云數據的表示，進而提出一種利用已學習的拓撲學特征分析測地性點云的方法。

這一表示可捕捉一個點云的不同拓撲學模式，并且這一方法不會改變數據流，因此本文的表示可實現聯合學習，與當前最優的 baseline 或 backbone 相結合，比如 PU-Net，PointNet++。

對于第一個目標，本文提出一種測地性鄰域估計網絡（Geodesic Neighborhood Estimation Network），稱之為 GeoNet，通過使用groundtruth測地距離作為監督信號來學習深度測地表示。

如圖 2 所示，GeoNet 包含兩個模塊：1）自動編碼器，提取每一個點的特征向量；2）測量匹配層（GM），使用潛在特征充當一個已學習的核函數估計測地鄰域點。

圖 2：GeoNet：測地鄰域估計網絡。

借助于監督式的測地訓練過程，GM 層的中間特征包含豐富的點云拓撲學信息以及固有的曲面屬性。本文注意到，盡管表示在測地距離上訓練，但由于沒有施加對稱性、三角不等式等基于距離的約束，所學得的表示暫時并不適合作為標準測地距離。表示的目標是為整體幾何學和拓撲學的后續處理過程提供點云潛在的網格曲面特征信息，而不是直接進行指標計算。

對于第二個任務，如圖 3 所示，本文提出測地融合方案，從而把 GeoNet 整合進當前最優的架構之中，完成不同的任務。

圖 3：PU-Net（上）和 PointNet++（下）測地融合方案。

具體而言，本文通過 PU-Net fusion（PUF）進行點云上采樣，通過 PointNet++ fusion（POF）進行法向量估計、網格重建以及非剛性形狀分類。

實驗表明，這種來自 GeoNet 的已學習的測地表示同時有助于幾何學和語義點云分析。

GeoNet方法

問題陳述

本文用表示一個點云，其中，其中

的系數是 K，x_i 的相應測地距離集合表示為代表測地距離。本文的目標是學習函數（的近似集合）。

方法

本文通過訓練 GeoNet 學習上述定義的函數 f。它包含一個帶有跳躍式連接（skip connections）的自動編碼器層，以及一個多尺度的測地匹配層（GM），起到利用點集潛在的空間特征的作用。

GeoNet 借助集合 X 不同點之間的 groundtruth 測地距離實現監督式訓練。為證明 GeoNet 表示的可用性，本文在一些需要理解潛在的表面拓撲學的經典任務上測試了該方法，具體包括點云上采樣、法向量估計、網格重建以及非剛性形狀分類。

為此，本文還結合了專為上述問題而設計的當前最優的架構。比如，使用 PU-Net 作為 baseline 用于點云上采樣，把 PointNet++ 用于其他任務，這兩種測地融合方法分別稱之為 PU-Net fusion (PUF) 和 PointNet++ fusion (POF)，通過與 GeoNet 的整合，解決測地相關的點云分析問題。

測地領域估計

如圖 2 所示，GeoNet 包含兩個模塊：自編碼器提取每個點

特征提取。本文使用 PointNet++ 變體提取特征，它把一個輸入點集映射到特征集。為恢復點云的特征，本文還使用了帶有跳躍連接的編碼器。該編碼器包含遞歸應用的三線性特征轉換器，并共享全連接層、ReLU 和批歸一化。所得到的（N，3+C）張量接著被饋送至 GM 層用于測地鄰域估計。

測地匹配。本文把不同半徑下的潛在特征歸組為鄰域特征集合。針對每個半徑設置一個最大數量的鄰域點，從而得到一個維的向量。歸組的特征，連同潛在的特征，輸入到一個測地匹配模塊，所得特征成為一組帶有 ReLU、批歸一化和 Dropout 的共享 FC 層的輸入。最后，GM 層為輸入點云的每個點反饋一個測地核函數評估。

本文使用一個多尺度的對比 groundtruth 測地距離及其評估：

測地融合

為證明這一學習的測地表示可用于點云分析，本文結合針對不同任務的當前最優（SOTA）架構給出了新的融合方法。主要是基于 PU-Net 提出 PU-Net fusion (PUF)，基于 PointNet++ 提出 PointNet++ fusion (POF)。

PU-Net 測地融合。如圖 3 上半部分所示，輸入點集（N，d）并將其饋送至兩個分支：Multi-scale Grouping 和 GeoNet。

接著，向量。剩余的層則來自 PU-Net。如圖 3 紅框所示，這個損失函數有兩個權重項：

其中，L_geo 用于 GeoNet 訓練，L_task 是本文當前目標任務的損失函數。在這種情況下，目標是點云上采樣：：

其中第一個項是上采樣點集和 groundtruth 密集點云之間的地球移動距離 EMD（Earth Mover Distance）：

（3）中第二項是一個排斥損失函數，通過懲罰相近的點對來提升統一的空間分布：

PointNet++ 測地融合。圖 3 下半部分給出了基于 PointNet++ 的融合方法的 pipeline。由于 PU-Net 和 PointNet++ 所面向的任務以及架構的不同，本文對 PUF 做了以下改變以設計一種使用 PointNet++ 的適宜的融合策略。

首先，對于 multi-scale grouping，本文使用學習的測地鄰域融合進 backbone，在 GeoNet 中 POF 層依然使用提取自倒數第二個全連接層的潛在測地特征。第三，在 PointNet++ 融合中，借助最遠點采樣，本文以分層方式應用 POF 層。

因此，已學習的特征同時編碼點集的局部和全局的結構化信息。本文借助 L_1 誤差估計點云法向量：

接著，本文使用所估計的法向量通過泊松曲面重建（Poisson surface reconstruction）生成網格。為分類非網格物體的點云，本文使用交叉熵損失函數：

GeoNet實驗

本文通過評估點云測地鄰域對 GeoNet 進行性能測試。為證明已學習的深度測地表示的可用性，本文在一系列對潛在曲面網格特征理解有所要求的點云任務上進行了實驗，比如點云上采樣、法向量估計、網格重建、非剛性形狀分類。

測地鄰域估計

通過使用具有 512 個均布點的點云，表 1 展示了 ShapeNet 數據集上的測地距離集合、

表 1

GeoNet 在 baselines 上有持續提升，代表性結果如圖 4 所示。本文方法捕捉到不同的拓撲學模式，比如彎曲面，分層結構，外部/內部部分等等。

圖4：測地鄰域估計的表示結果。

點云上采樣

本文在點云上采樣任務重測試 PUF，結果如表 3 所示。本文在 3 個指標上與當前最優的點云上采樣方法 PU-Net 進行了對比：MSE、EMD 以及倒角距離 CD（Chamfer Distance）。

表 3

由于測地鄰域較于歐氏鄰域具有更豐富的潛在點集拓撲學信息，PUF 上采樣產生更少的異常值，并復原更多的細節，比如曲線及尖銳結構，如圖 5 所示。

圖 5：PUF 與 PU-Net 的點云上采樣結果對比。

法向量估計及網格重建

本文將 PointNet++ 測地融合方法 POF 應用于法向量估計，接著借已完成的法向量估計做泊松曲面重建。Shrec15 和 ShapeNet 數據集上的法向量估計量化結果如表 4 和表 5 所示。通過對比傳統的 PCA 算法和當前最優的深度學習方法 PointNet++，POF 有 10% 左右的相對提升。

表 4

表 5

非剛性形狀分類

非剛性形狀分類的實驗結果如表 6 所示。盡管 POF 和 PointNet++ 只把歐式坐標系的點云作為輸入，DeepGM 需要在 groudtruth 測地度量空間中利用精確網格數據獲取線下計算的固有特征。盡管所用數據信息量更少，但 POF 相較其他方法精度更高。

表 6

這進一步證明，POF 更適合解決需要理解潛在點云曲面屬性的任務。

結論

本文提出 GeoNet，一種全新的深度學習架構，可學習點云基于測地空間的拓撲學結構。其訓練過程在 groundtruth 測地距離的監督之下進行，因此已學習的表示可反映出點云所潛在表征的網格曲面特征。

為證明這一拓撲學結構的有效性，本文借助融合方法把 GeoNet 與當前最優的點云分析 baseline 或 backbone 整合為一種計算方案，在點云上采樣、法向量估計、網格重建及非剛性形狀分類等幾何學及語義任務上的實驗結果表明，GeoNet 性能優于當前最佳同類方法。