本文介紹激光雷達和相機融合的兩種方法：

前融合：融合原始數據（點云和像素/目標框）。

后融合：融合目標框。

1. 前融合

前融合一般指融合原始數據，最容易、最普遍的方式是將點云投影到圖像。然后檢查點云是否屬于圖像中檢測的2D目標框。流程如下：

1.1 點云投影

三步：

將3D激光雷達點轉換為齊次坐標

將點云變換到圖像坐標系（LiDAR-Camera外參）

透視投影到圖像平面 （相機內參）

1.2 圖像目標檢測

一般使用YOLO系列算法。可以參考：https://www.thinkautonomous.ai/blog/?p=introduction-to-yolov4-research-review

1.3 ROI匹配

ROI （Region Of Interest）匹配即融合目標邊界框內的數據。這一步的輸出：

對于每個2D邊界框，圖像檢測提供類別。

對于每個LiDAR投影點，我們有準確的距離。

因此，融合目標語義類別和空間位置就完善了。這一步的重點是如何融合目標邊界框內的投影點，作為目標位置：求平均，中值，中心點，最近點？

另外，圖像目標框往往比真實目標大一些，目標邊界框內投影點云可能不屬于真實目標（比如可能屬于背景，或附近目標）。針對這個問題，采用圖像分割，可以更準確地匹配投影點和像素。

下圖箭頭處顯示了投影點在目標框內，但不屬于目標框對應的車輛，而是前方車輛的點云。

2. 后融合

后融合是融合各個傳感器獨立的檢測結果，有兩種融合思路：

2D融合：圖像2D檢測，點云3D檢測投影到圖像生成的2D檢測。如下圖：

3D融合：圖像3D檢測，點云3D檢測。流程如下：

下文詳細介紹下3D融合的思路。

2.1 點云3D目標檢測

傳統方法：聚類，L-shape fitting等

深度學習方法：centerpoint等

2.2 圖像3D目標檢測

單目3D目標檢測，需要知道投影參數（相機內參，標定外參），并使用深度學習。知道目標的真實大小和朝向也有助于得到目標的準確邊界框。

分享一篇單目3D檢測論文：https://arxiv.org/pdf/1612.00496.pdf

2.3 IOU匹配

IOU即Intersection Over Union， 描述兩個邊界框的重合程度。

2.3.1 空域上的IOU匹配

匹配就是看圖像3D邊界框和點云3D邊界框是否重合（用IOU衡量），重合度高則是同一個目標。3D Iou--Net (2020)中的示例圖像：

因此，我們可以在空域上將不同傳感器的檢測目標進行關聯。

這個過程在9 Types of Sensor Fusion Algorithms（https://www.thinkautonomous.ai/blog/?p=9-types-of-sensor-fusion-algorithms）中，被定義為中級（middle-level）傳感器融合。中級傳感器融合和高級傳感器融合的區別是，高級傳感器融合包括跟蹤。

而為了時間跟蹤，則需要時域上的數據關聯。

2.3.2 時域上的IOU匹配

目標跟蹤一般用卡爾曼濾波和匈牙利算法來關聯時域上的目標，從而跨幀跟蹤目標，甚至預測目標位置。

跟蹤3D邊界框位置時，一般用IOU作為度量進行數據關聯。當然也可以使用深度卷積特征來確保目標一致。我們稱該過程為SORT (Simple Online Realtime Tracking), 或Deep SORT，如果使用深度卷積特征。

時域上IOU匹配的原理與空域上類似：如果第一幀和第二幀的邊界框重合，則說明兩個目標是相同的。

既然我們可以在空域和時域上跟蹤目標，那么也可以利用類似方法進行高級的傳感器融合。

2.4 后融合總結

融合檢測目標是中級的融合，需要空域上的IOU匹配；融合跟蹤軌跡是高級的融合，需要時域上的IOU匹配（匹配度量），卡爾曼濾波（狀態估計），匈牙利算法（數據關聯）。

審核編輯 ：李倩