編輯注：NVIDIA 自動駕駛實驗室系列視頻，將以工程技術為重點的視角關注實現自動駕駛汽車的各個挑戰以及 NVIDIA DRIVE AV 軟件團隊如何應對這些問題。

自動泊車輔助系統在感知障礙物時必須克服一些獨特的挑戰。目標車輛包含感知車輛周圍環境的傳感器。在泊車過程中，目標車輛必須靠近動態障礙物，如行人和其他車輛，以及靜態障礙物，如柱子和電線桿等。為了適應泊車位，還可能需要穿過較低的障礙物，如車輪護欄和路緣石。

觀看NVIDIA DRIVE Labs視頻，可以深入了解自動駕駛汽車面臨的挑戰以及 NVIDIA DRIVE 團隊如何應對這些挑戰。視頻中介紹了早期網格融合（early grid fusion，簡稱 EGF），這是一種在自動泊車輔助中增強近距離避障的新技術。

NVIDIA DRIVE Labs 第 29 期：增強自動泊車在狹小空間中的避障能力

0000

在狹小空間停車的難題

0035

什么是 Early Grid Fusion（EGF）泊車?

0000

360 度環視檢測

0042

4 厘米網格的精確定位

0000

停車地鎖等情況下的高度估算

0027

NVIDIA 的自動泊車輔助功能

現有的停車障礙感知解決方案依賴于超聲波傳感器或魚眼攝像頭。超聲波傳感器安裝在前后保險杠上，通常不能覆蓋車輛側面。因此，該系統無法感知目標車輛的側面，尤其是對于動態障礙物。

另一方面，魚眼相機在低能見度、弱光和惡劣天氣條件下性能下降。

NVIDIA DRIVE 平臺配備了一套攝像頭、雷達和超聲波傳感器，可最大限度地減少盲區，并在所有操作條件下最大化感知冗余。EGF 使用機器學習的多個傳感器輸入的早期融合來提供準確、高效和穩健的近距離 3D 障礙物感知。

圖 1. EGF 使用 NVIDIA 自動泊車輔助系統進行泊車時檢測停放的汽車是否為障礙物

早期網格融合概述

為了更好地理解 EGF 背后的創新技術，可以看一下它的 DNN 架構和輸出/輸入表示。

輸出：高度圖表示

EGF 輸出一個網格分辨率為 4cm 的高度圖。高度圖中的每個像素都有一個浮點值，表示相對于本地地面的高度。

在圖 2 中，綠色高亮面板是 EGF DNN 的輸出。淺藍色代表地面。黃色代表較低的障礙物，例如后面的路緣石。亮紅色表示高障礙物的輪廓，例如，停放汽車的圓弧 L 形輪廓和目標車輛后面的樹的點。亮紅色輪廓后面的暗紅色區域表示高障礙物后面的潛在遮擋區域。

圖 2. EGF 輸入和輸出可視化

這種表示方式使 EGF 能夠捕捉到周圍世界的豐富信息。高分辨率網格可以表示目標車輛左后和右后的圓角。捕捉圓角對于泊車規劃器有足夠的空間來在狹小空間中停放的兩輛車之間執行泊車操作是至關重要的。

通過每個像素的不同高度值，可以區分車輛有足夠間隙通過的路緣和汽車必須避讓的路緣桿。

輸入：超聲波和攝像頭

大多數多傳感器融合感知解決方案都是在檢測層面上運行的后期融合系統。在后期融合階段，傳統的通過三角定位法獲得的超聲波檢測數據和來自攝像頭的多邊形檢測數據相融合，通常使用手工制定的融合規則來進行。

相比之下， EGF 使用早期融合方法。來自傳感器的低電平信號直接輸入到 DNN 中，通過數據驅動的方法學習傳感器融合。

對于超聲波傳感器， EGF 進入原始包絡界面，提供亞厘米精度的反射強度。使用超聲波傳感器的外部位置和內部波束特性，將這些包絡信號投影到平面圖中（圖 3 左下角）。如圖 2 中粉色高粱米面板所示，這些超聲波圖捕捉了比三角定位檢測更多的信息。這使得 EGF 能夠進行高度檢測。

圖 3. EGF-DNN 架構圖

對于攝像頭傳感器，EGF 與 MLMCF 共享圖像編碼器主干——用于高速駕駛的 NVIDIA 多任務多攝像頭感知主干。首先，我們通過 CNN 層處理圖像特征。然后，我們使用每個攝像頭的學習轉換將特征從圖像空間提升到鳥瞰圖空間（圖 3 右上角框）。

然后在編碼器網絡中融合超聲波和攝像頭特征圖，并從組合特征中解碼高度圖（圖 3 右側）。

結論

EGF 是一種基于機器學習的創新感知組件，可增加自動泊車的安全性。通過使用多模態原始傳感器信號的早期融合，EGF 為近距離避障建立了高度信任。

了解更多有關 NVIDIA 正在構建的軟件功能，點擊“閱讀原文”查看NVIDIA DRIVE Labs視頻系列。

掃描下方海報二維碼，在 8 月 8日聆聽NVIDIA 創始人兼 CEO 黃仁勛在 SIGGRAPH 現場發表的 NVIDIA 主題演講，了解 NVIDIA 的新技術，包括屢獲殊榮的研究，OpenUSD 開發，以及最新的 AI 內容創作解決方案。