感知周圍環境是自動駕駛開展一切工作的前提,在相對靜止的各式場景中,不同類型的障礙物以多種多樣的運動方式參與到交通之中,于是形成了千變萬化的交通情形。
因此障礙物的檢測,一直都是自動駕駛感知的核心任務。系統需要通過傳感器數據,識別出周圍存在的障礙物并計算各自的位置、速度等信息,然后轉換為BEV視角的感知結果輸出給下游,用來規劃軌跡、避免碰撞。
所以在近年,一步到位的BEV障礙物檢測成為了自動駕駛的研究熱點。尤其在多相機感知系統中,BEV能夠有效融合不同視角的空間信息,為目標檢測與跟蹤、車道線檢測等任務帶來全方位提升。
作為自動駕駛量產應用的引領企業,Nullmax從2020年開始了BEV早期研發,并在去年率先幫助客戶落地了BEV障礙物檢測的量產應用,提升車輛的全方位感知能力。當前,這項感知功能正作為Nullmax BEV-AI整體技術架構的一部分,應用到更多量產項目之中。
障礙物檢測需要BEV
對于自動駕駛量產來說,由于傳統基于圖像視角的障礙物檢測算法所依賴的感知后處理和跨相機融合等方面存在的一些不足,障礙物檢測的效果不盡理想。
一方面,傳統算法普遍首先基于深度學習在圖像視角完成目標檢測,然后通過復雜的后處理將其轉換至三維BEV視角。這不僅讓整個流程變得復雜,消耗更多算力,而且對場景的應對能力也存在不足。
所以,直接在BEV視角下輸出三維目標檢測結果的算法受到了廣泛歡迎。比如Nullmax的BEV 3D目標檢測算法,通過輸入的2D圖像直接端到端輸出BEV視角的3D目標信息,不僅檢測性能進一步提高,而且由于不需要額外的后處理步驟,整個算法的開發和升級維護也變得更加高效簡潔。
BEV 3D目標檢測輸出更精準的三維尺寸
另一方面,在傳統多相機感知系統中,因為通常是每個相機先單獨進行檢測,然后再融合各相機結果,所以系統的工作量較大。此外,跨相機融合的時候也可能出現問題。典型的例子,就是車輛從一個相機視野駛入另一個相機視野的過程中,可能被識別為兩個目標。
BEV多相機的障礙物ReID效果更佳
但是在BEV視角下,隱式跨相機的融合就可以變得更加簡潔和高效。比如Nullmax采取的多相機聯合方案,所有相機的圖像輸入到一個神經網絡中,然后生成全局BEV視角的特征圖,并直接輸出統一的感知結果,從而減少了額外的跨相機障礙物ReID(重識別)步驟。
因此在高階智駕不斷上車的今天,BEV目標檢測已經被看作是車輛實現障礙物檢測的首選方法,BEV感知算法的研發和應用也成為了新的行業浪潮。
與眾不同的BEV 3D目標檢測
作為最早開始BEV系統性研發的自動駕駛公司之一,Nullmax積累了大量的BEV感知技術,包括靜態場景理解以及動態障礙物的檢測及預測,并且將技術向下游延伸,構建了平臺化的BEV-AI自動駕駛整體技術架構。
BEV 3D障礙物檢測算法正是這套架構的核心組成,其不僅具備非常出色的性能表現,而且在落地方面也尤為高效。
Nullmax BEV障礙物檢測相比于常規的障礙物檢測,最大的特點是「顧大局,識大體」。常規檢測方式由于各相機單獨工作的原因,對視野截斷車輛、大型障礙物目標的檢測效果欠佳。但是Nullmax的檢測是在BEV視角下進行統一的計算,跨視野的目標不會被識別成多個目標,占滿單個相機視野的大型障礙物也能在范圍更大的全局視野中得到更好觀測。
并且由于BEV在空間、時序信息融合方面更具優勢,Nullmax的BEV障礙物檢測方案可以將3D目標檢測升維成4D目標檢測,實現更穩定的檢測、跟蹤與預測。這種時序信息帶來的短時記憶力,能讓障礙物檢測具備更強的處理遮擋能力。
相比于其他的BEV障礙物檢測方案,Nullmax方案還具有可進行超遠距離感知的特點。由于算法設計和車載平臺算力有限等方面的原因,常規BEV方案有效感知的距離通常為數十米遠,但是Nullmax的BEV方案可高效突破100米,甚至可有效檢測200米遠的障礙物目標,在各種量產配置下都能達到頂尖的性能指標。
同時,因為車載平臺部署的需要,Nullmax的BEV障礙物檢測算法可以支持高、中、低不同算力的平臺。從數百T算力到2T算力,Nullmax的BEV目標檢測算法都能靈活部署,既可以實現最極致的任務性能,也能在有限計算資源下提供最均衡的結果輸出。比如,基于8T算力和4顆側視相機的BEV 3D障礙物檢測應用。
除此之外,Nullmax的BEV目標檢測算法還能支持任意的傳感器配置,對相機的數量、安裝位置、內部參數等情況自動適配。換言之,無論是前視、側視、后視、環視組成的多相機系統,還是單個相機,這套算法能夠快速地部署。
目前,Nullmax的BEV 3D障礙物檢測算法已經在量產車型實現了大規模的上路應用,而且今年還將完成更多項目的交付,為更多量產車型帶來開掛一般的全局視野感知能力。
結語
BEV的「俯瞰全場」屬性,可以為自動駕駛障礙物檢測帶來質的提升,Nullmax將繼續通過領先的BEV障礙物檢測算法,幫助車輛實現復雜環境下的精準感知,并基于平臺化的BEV-AI技術架構,為客戶的量產應用帶來更大價值。
審核編輯 :李倩
-
算法
+關注
關注
23文章
4619瀏覽量
93038 -
目標檢測
+關注
關注
0文章
209瀏覽量
15631 -
深度學習
+關注
關注
73文章
5507瀏覽量
121265 -
LLM
+關注
關注
0文章
292瀏覽量
351
原文標題:「顧大局,識大體」,Nullmax BEV障礙物檢測的超級視野 | Nullmax進化學
文章出處:【微信號:Nullmax,微信公眾號:Nullmax紐勱】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
評論