1 傳感器分類

配備高級駕駛輔助系統（ADAS）和自動駕駛汽車（AV）的車輛使用不同的傳感器，如攝像頭、雷達、激光雷達和超聲波傳感器，它們充當自動駕駛汽車（AV）的眼睛，幫助車輛感知周圍環境，即人、物體、交通、道路幾何形狀、天氣等。這種感知至關重要，它確保AV可以做出正確的決定，即停止，加速，轉彎等。

隨著自動駕駛達到更高的自主性水平，復雜性也大大增加。這里需要多個傳感器來正確理解環境。但是每個傳感器都是不同的，并且有其局限性，例如，相機可以很好地用于車道檢測或物體分類。相比之下，雷達可以為遠程檢測或不同光線條件下提供良好的數據。如下表為不同傳感器的檢測能力的區分表：

2 傳感器融合技術

使用傳感器融合技術，來自多個傳感器的數據被融合到自動駕駛汽車中，以提供最佳輸入，以便自動駕駛汽車做出正確的決定（制動、加速轉彎等）。

傳感器融合提高了自動駕駛汽車的整體性能，并且有多種融合技術，使用哪一種取決于功能的操作設計域（ODD）。

ADAS利用環境感知技術將不同傳感器采集到的外部環境數據進行融合處理，實現目標識別、軌跡預測和目標選擇等功能。這些目標信息可以直接通過汽車總線發送給其它控制系統(助力轉向系統、防抱死制動系統、車身控制系統等)，由這些控制系統決定當前汽車狀態；也可以交由ADAS控制器內的策略模塊，這些策略模塊結合目前的車輛運行狀態，計算出減速、加速、增扭、減扭之類的控制命令，最后通過整車通信總線發送給不同的控制系統。基于開發成本的原因，第二種架構被廣泛應用與整車控制系統中。

根據傳感器在數據融合中扮演的角色。融合分為數據級融合、特征級融合和決策級融合。在數據級融合中，傳感器將采集的原始數據直接發送給控制器，控制器對這些數據進行同步、篩選、特征提取、數據聚類、目標軌跡預測、目標識別。其運算量大、實時性差、在硬件上需要更大的數據帶寬才能應付多個傳感器發送的數據。在特征級融合中，傳感器數據處理器將傳感器采集到的數據進行特征提取，之后將特征信息 (目標的橫縱向加速度、間距等)發送給控制器，控制器再將這些特征信息進行融合。其優點在于降低了數據的發送量，減輕了控制器的處理負荷，提高了融合算法的實時性。但是仍然需要控制器內融合算法將目標最終識別。在決策級信息融合中，每個傳感器通過數據處理器獨立完成目標特征提取和目標識別。傳感器數據處理器將識別出的目標信息發送給控制器，控制器根據不同的融合策略對傳感器發送的目標進行篩選和最終歸類。三種融合策略各有優缺點。數據級運算量大、實時性差，對于芯片的計算能力和數據傳輸帶寬要求高，但所獲得的傳感器數據最完整；特征級能夠有效提高數據融合的效率；決策級信息融合容錯性好，實現難度低，但是信息損失大，而且對于傳感器的依賴程度高。基于硬件資源和開發成本的考慮，基于特征級數據融合的架構被廣泛使用于目前的ADAS中。具體如下圖所示：

以下是不同類型的融合技術的幾個示例，根據AV的自主級別，將使用一種或多種傳感器融合技術，例如：對于2級的ADAS，需要對象檢測，車道融合，交通標志融合，但對于3級及以上的ADAS，可能需要更多的融合技術。

環境和功能規范的復雜性決定了需要制定什么樣的融合策略和什么樣的融合需求。下圖為雷達和相機融合的一些數據流程處理：

3 傳感器融合面臨的挑戰

執行傳感器融合是一項復雜的活動，應該考慮許多挑戰：

不同的傳感器以不同的采樣率（50毫秒、60毫秒等）提供輸出數據

傳感器可能會從同一物體進行多次檢測（例如：大型卡車可能會從雷達發出多次反射）

傳感器還可以檢測錯誤或遺漏檢測（相機可能會錯過夜間、黃昏時間等檢測物體/車道）

物體可能在傳感器的盲區停留一段時間，或者物體可能在盲區動態移動

不同FOV區域的不同傳感器的輸出精度也不同

傳感器安裝在車輛的不同位置

傳感器性能在不同的環境條件下也有所不同

傳感器的檢測置信度可能較低隨著高階智駕的要求，可能需要多個傳感器來嘗試接近 360 度覆蓋并避免盲點。傳感器的放置對于減少盲區以在不影響安全要求的情況下實現最佳性能也至關重要，此外，每個傳感器的精度水平都不同，管理每個傳感器的數據精度對于最終輸出至關重要。

為了確保傳感器融合的高精度，必須確保正確的KPI和穩健的設計：確保所有高級別的關鍵績效指標都到位，即

每個對象的單個軌道

無錯誤或遺漏對象檢測

整體精度得到提高

為每個輸出提供置信水平

估計傳感器盲區的輸出

通過設計實現更高的精度：

4 傳感器融使用的關鍵技術

下面是一個傳感器融合架構示例，可用于確保最高水平的對象檢測精度。

數據同步：- 不同的傳感器提供不同的輸出，例如，相機在 50 毫秒時提供輸出，雷達可以在 60 毫秒時提供輸出。數據同步技術在執行傳感器融合之前同步此數據。

坐標變換：- 這是一種基于傳感器幾何形狀和放置的技術，可將安裝在不同位置的傳感器的數據轉換到一個全局坐標系中。例如，如果我們考慮一輛長 5 米、寬 2 米的汽車與一輛長 18 米、寬 4 米的卡車，我們需要將數據帶到后軸或前軸的中心點的全局坐標系中。

數據關聯：這是一種技術，用于確保從車輛上的每個傳感器接收的多個數據是針對同一物體的，例如，前方的汽車

狀態估計和預測：估計狀態。

軌道管理：軌道管理技術確保傳感器融合的最終輸出，它根據軌道歷史初始化、維護和刪除軌道，并計算軌道置信度。

自車運動估計：它考慮了車輛的運動。例如，以 T+100 毫秒和 T+200 毫秒接收數據，但在此期間車輛已經移動。該技術解釋了車輛位置或運動的這種變化。

因此，為了實現傳感器融合的高質量性能，必須考慮設計的一些關鍵方面：

數據關聯和估計技術的算法選擇

有許多算法可用于數據關聯，流行的算法是最近鄰、概率和聯合概率數據關聯技術。

運用各種技術，如線性卡爾曼濾波器，擴展卡爾曼濾波器，粒子濾波器等。

融合戰略

數據關聯算法和估計技術應根據用于融合的傳感器類型、狀態估計要求（動態/靜態目標估計）和傳感器輸出來確定。

軌跡管理：為了減少錯誤輸出，融合軌跡管理需要在初始化軌跡之前建立置信度，但是如果花費更多時間，則會導致延遲，這將延遲AD系統的操作，這對AD系統性能不利。軌道初始化策略應考慮操作環境、功能ODD等。曲目刪除也是如此

濾波器調整濾波器調諧對濾波器性能非常關鍵。濾波器調整需要考慮實際方面，這可以通過使用真實世界數據的傳感器表征來完成。

驗證融合以確保軟件質量和方案覆蓋也很重要。但是，驗證可能會導致數百萬個場景，因此使用正確的驗證策略來測試與模擬數據、真實世界數據或車輛測試中的融合始終很重要。以下是融合驗證的關鍵方面

邊緣情況場景選擇：由于融合改善感知通過融合各種傳感器噪聲數據來提高性能，因此應仔細選擇涵蓋所有邊緣情況的場景。該場景還應提及在模擬、真實世界或車輛中都需要哪個級別的驗證。目標應該是在模擬級別上實現最大覆蓋率，以減少成本和時間，同時測試質量不應有任何影響。

傳感器建模：為了驗證仿真中的融合與環境噪聲效應，需要高保真傳感器模型來模擬環境對傳感器性能的影響。高保真傳感器建模是研究課題，并且提出了各種技術，例如數據驅動模型或基于物理的建模。正確的傳感器模型對于仿真至關重要。

使用真實世界數據進行驗證：高保真傳感器模型可以模擬精度高達90%至95%的環境條件，因此仿真中不可能涵蓋所有場景，并且需要使用真實世界的數據進行融合驗證。

車輛測試：融合的最終驗證應在車輛上進行，以確保在考慮實際情況、傳感器延遲和驅動延遲的情況下進行功能級別的端到端測試

因此，融合是AD性能非常關鍵的感知組件，必須考慮關鍵的實際方面，并為設計和驗證定義正確的策略，以實現AD軟件的最高成熟度。

審核編輯 ：李倩