1 前言

點云作為一種重要的數據表示,廣泛應用于自動駕駛、增強現實和機器人技術等領域。由于點云數據量通常很大,對其進行采樣以獲得一個具有代表性的點集子集是三維計算機視覺中的一個基礎和重要的任務。除了隨機采樣和最遠點采樣之外,大多數傳統的點云采樣方法都是基于數學統計的,例如均勻采樣、網格采樣和幾何采樣等，這些方法對于點云密度和分布比較敏感。最近,一些基于神經網絡的方法開始通過端到端的任務驅動學習方式進行更好的任務定向采樣,例如S-Net、SampleNet、DA-Net等。

但是這些方法大多是基于生成模型的,而不是直接選擇點。另一方面，為點云設計基于神經網絡的局部特征聚合算子的工作越來越多。雖然其中一些（例如 PointCNN 、PointASNL 、GSS ）在學習潛在特征時減少了點數，但由于處理過程中不存在真正的空間點，它們很難被認為是真實意義上的采樣方法。此外，上述方法都沒有將形狀輪廓視為特殊特征。受 Canny 邊緣檢測算法和注意力機制的啟發，本文提出了一種基于非生成注意力的點云邊緣采樣方法 (APES)，結合了基于神經網絡的學習和基于數學統計的直接點選擇。

APES使用注意力機制來計算相關圖和樣本邊緣點，這些邊緣點的屬性反映在這些相關圖中。提出了兩種具有不同注意力模式的 APES。此外，我們的方法可以將輸入點云下采樣到任何所需的大小。基于鄰居到點(N2P)注意，計算每個點與其相鄰點之間的相關映射，提出了基于局部的APES基于點對點 (P2P) 注意力，它計算所有點之間的相關性圖，提出了基于全局的 APES本文的貢獻如下：

1）一種點云邊緣采樣方法，稱為 APES，它結合了基于神經網絡的學習和基于數學統計的直接點選擇2）通過使用兩種不同的注意力模式，基于局部的 APES 和基于全局的 APES 的兩種變體3）公共點云基準上的良好定性和定量結果，證明了所提出的采樣方法的有效性。這里也推薦「3D視覺工坊」新課程三維點云處理：算法與實戰匯總2 相關背景

傳統點云采樣方法

隨機采樣(RS):簡單高效,但無法控制采樣點分布。

最遠點采樣(FPS):迭代選擇點云中最遠點,目前最廣泛使用。

均勻采樣:選擇點云中均勻分布的點。

網格采樣:使用規則網格采樣點,無法精確控制點數。

幾何采樣:基于局部幾何信息采樣,例如曲率。

逆密度采樣(IDIS):采樣距離和值較小的點。

深度學習點云采樣方法

S-Net:直接從全局特征生成新點坐標。

SampleNet:在S-Net基礎上引入軟投影操作。

DA-Net:考慮點云密度進行自適應采樣。

MOPS-Net:學習采樣變換矩陣與原點云相乘生成新點云。

PST-NET:使用self-attention層替代S-Net中的MLP層。

但是現有的深度學習采樣方法大多基于生成模型,不能直接選擇點，也沒有考慮形狀邊緣作為特殊特征。

3 方法

3.1 圖像中的Canny邊緣檢測

Canny圖像邊緣檢測流程：

(i）應用高斯濾波器平滑圖像；

(ii) 找到圖像的強度梯度；

(iii) 應用梯度幅度閾值或下限截止抑制；

(iv) 應用雙閾值來確定潛在邊；

(v) 通過抑制所有其他弱且不連接到強邊的邊來最終檢測邊緣。

替換的邊緣檢測

核心思想是計算每個像素的梯度強度。可以更通用地考慮:

定義像素與鄰域像素之間的相關特性

計算歸一化的相關性映射，是像素的鄰域；

計算的標準差，大的像素點為邊緣點

使用標準差代替了梯度計算，該方法相比原本的圖像的Canny邊緣檢測器計算成本更高，但卻可以將其應用于點云邊緣采樣。相比圖像規整的排列，點云通常是不規則的，無序的，甚至是稀疏的，因此基于體素的3D卷積不適用。與圖像具有多種屬性（如RGB或灰度值）相比，對于許多點云來說，點坐標可能是唯一可用的特征。

圖1 使用標準偏差來選擇邊緣像素/點的圖示。在中心像素/點與其相鄰像素之間計算歸一化相關圖。中心像素/點作為鄰居自包含。歸一化相關圖中的較大標準偏差意味著它是邊緣像素/點的可能性更高。

3.2 基于局部的點云邊緣采樣

對于點云，我們定義近鄰定義每個點的局部鄰域點云，然后延續剛剛的替換Canny邊緣檢測算法的思路。

定義點與鄰域點的基于局部的相關特性

計算歸一化的基于局部的相關性映射

計算的標準差，大的像素點為邊緣點

其中，與原始的Transformer的模型相比，和 分別表示應用于查詢輸入和關鍵輸入的線性層，即為，特征維度計數平方根用作比例因子稱之為鄰域-點(N2P)注意力,它捕獲局部信息。

3.3 基于全局的點云邊緣采樣

對于采樣問題，全局信息也是至關重要的。考慮k = N的情況，利用線性層Q和K共享所有點，將其稱為點對點 (P2P) 注意力，基于全局的相關特性與相關性映射如下：得到全相關性圖本文改為按列計算和（而不是行），計算得到，較大的點作為邊緣點采樣。主要考慮到，如果點鄰近邊緣點,那么應較大，如果在中對應的列元素的值也較大，那么也可能是邊緣點。

圖2 所提出方法的關鍵思想。N 表示點的總數，而 k 表示用于基于局部采樣方法的鄰居數量。

3.4 網絡框架

基于上述兩種模塊，本文構建了分類網絡和分割網絡，如下圖所示

圖3 用于分類的網絡架構（左上）和分割（右上）。還給出了 N2P 注意力特征學習層（左下）、兩個替代下采樣層（左下）和上采樣層（右下）的結構。這兩種下采樣層將點云從 N 個點下采樣到 M 個點，而上采樣層將其從 M 個點上采樣到 N 個點。

主要組成部分：

編碼層:提取點云特征。

采樣層:應用提出的基于局部或全局的邊緣點采樣方法進行下采樣。

解碼層:使用注意力機制進行上采樣。

4 實驗

4.1 分類網絡

數據集：ModelNet40定量比較：分類精度與SOTA方法處于同水平

表1 ModelNet40 上的分類結果。與其他僅使用原始點云作為輸入的 SOTA 方法相比。請注意，我們報告的結果沒有考慮投票策略。

定性結果

圖5 基于局部的APES和基于全局的APES在不同形狀上的可視化采樣結果。所有形狀都來自測試集。

4.2 分割網絡

數據集：ShapeNetPart定量分析：分割精度略差于SOTA，但對下采樣點云的中間結果優于SOTA，說明下采樣的邊緣點對于算法的性能貢獻較大，而由于邊緣下采樣改變了點云的分布，導致插值上采樣無法重構。這里也推薦「3D視覺工坊」新課程三維點云處理：算法與實戰匯總定性結果

圖6 將可視化分割結果作為形狀點云進行下采樣。所有形狀都來自測試集。

4.3 消融實驗

數據集：ModelNet40Feature Learning Layer

Embedding Dimension

Choice of k in local-based APES

Successive sampling vs. Direct sampling

Additional edge point supervision

4.4 對比實驗

數據集：ModelNet40定量分析：

定性分析：

計算復雜度比較

5 總結

本文提出了一種基于注意力的點云邊緣采樣（APES）方法。它使用注意力機制相應地計算相關圖并采樣邊緣點。基于不同的注意力模式，提出了基于局部 APES 和基于全局的 APES 的兩種變體。定性和定量結果表明，我們的方法在常見的點云基準任務上取得了良好的性能。在未來的工作中，可以為訓練設計其他補充損失。此外，我們注意到邊緣點采樣的不同點分布阻礙了后期上采樣操作和分割性能。設計能夠更好地應對邊緣點采樣的上采樣方法會很有趣。