端到端自動駕駛是自動駕駛技術的重要發展方向之一。而要實現端到端自動駕駛,離不開高精度3D信息輸入,因此如何實現高精度的3D感知尤為關鍵。
從3D感知的實現技術路徑來看,主要包括稠密算法和稀疏算法兩個范疇。
在稠密算法范疇,主要通過點云轉換、多視圖立體視覺等方法,來獲取場景中每一個點的深度信息,從而更準確地描述場景中的物體。其中最具代表性的就是近兩年非常火熱的BEV感知,其多傳感器數據從圖像空間到BEV空間的轉換過程,就是典型的稠密特征到稠密特征的重新排列組合過程。目前,BEV已在業界得到廣泛關注以及應用部署。
稠密算法也面臨著一些挑戰,比如巨大的數據量,需要高效的數據處理和存儲方法來提高計算效率,減少內存占用。此外,考慮到多傳感器數據結構的復雜性,需要高效的計算方法和計算平臺來提升處理速度,并滿足實時性要求。而在大多數實際應用場景中,自動駕駛系統需要計算的目標在空間中通常呈稀疏狀態分布,這也就意味著在稠密算法范疇中,大量的計算是被浪費了的。
稀疏感知算法通過減少Query數量以及降低特征交互量來加快計算速度并降低存儲需求,大大提高感知模型的計算效率和系統性能。基于稀疏算法的感知方案在2D到3D的轉換效率和長距離感知方面具有一定優勢,也是目前業界正在積極探索的方向。
近期,地平線發表了關于稀疏感知方案的系列工作:Sparse4D v1 & v2,從Query構建方式、特征采樣方式、特征融合方式、時序融合方式等多個方面提升模型感知效果。Sparse4D在nuScenes檢測任務上達到了SOTA的效果,超過了VideoBEV、SOLOFusion和StreamPETR等算法的指標。
為了讓大家進一步了解Sparse4D,10月18日19點,地平線聯合智猩猩策劃推出新一期地平線「你好,開發者」自動駕駛技術專場,主題為《面向端到端自動駕駛的稀疏感知通用架構探索》,由地平線感知算法工程師林天威主講。
林天威首先會介紹3D感知的研究背景和發展現狀,并對稀疏通用感知架構進行解析。之后,林天威將重點介紹和講解長時序稀疏化3D目標檢測算法Sparse4D v1 & v2相關工作。最后他會分享稀疏感知新范式的未來探索方向。
審核編輯:彭菁
-
存儲
+關注
關注
13文章
4442瀏覽量
86708 -
自動駕駛
+關注
關注
788文章
14067瀏覽量
168326 -
3D感知
+關注
關注
0文章
20瀏覽量
3777
原文標題:面向端到端自動駕駛的稀疏感知通用架構探索 | 地平線「你好,開發者」直播預告
文章出處:【微信號:horizonrobotics,微信公眾號:地平線HorizonRobotics】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
一種以圖像為中心的3D感知模型BIP3D

國產昆泰芯KTH5701 系列低功耗、高精度 3D 霍爾傳感器
? SLA立體光固化成型:一項實現3D打印領域高精度數字模型實體化的先鋒技術
光學3D表面輪廓儀:滿足多元超精密微觀尺寸測量需求

榮獲2024德國紅點獎!積木易搭第四代高精度消費級手持3D掃描儀Moose來襲
TMAG5170 具有 SPI 接口的高精度 3D 線性霍爾效應傳感器數據表

TMAG5170-Q1 具有 SPI 接口的高精度3D線性霍爾效應傳感器數據表

TMAG5173-Q1具有I2C接口的高精度3D霍爾效應傳感器數據表

TMAG5170D-Q1具有SPI接口的雙芯片高精度3D線性霍爾效應傳感器數據表

先臨三維李仁舉:自主研發引領驅動, 高投入推進本土高精度3D視覺創新

解決方案|基于3D視覺技術的鋁合金板件刷油烘干自動化上下料

評論