自動駕駛是集感知、決策、交互于一體的技術

環境感知能力作為自動駕駛的第一個環節，是車輛與環境交互的紐帶

通過“攝像頭、毫米波雷達、超聲波雷達、激光雷達”等各類傳感器設備，感知環境的手段日趨多元化

同時，在平臺層面感知決策處理能力的提升，平臺算力和感知算法的效率提升和創新，也成為了車企發展智能駕駛能力的關鍵。

NuScenes挑戰賽，作為檢驗感知算法在自動駕駛領域相關任務性能的試金石，自數據集公開以來，吸引了來自全球各地的研究團隊的結果提交。在最新一期所公布的競賽測評榜單中，浪潮信息憑借Inspur-DABNeT4D登頂自動駕駛數據集NuScenes 純視覺3D目標檢測任務榜單，并將關鍵性指標NuScenes Detection Score（NDS）提高至62.4% 。那么，未來自動駕駛感知技術究邁向如何的路徑發展, 逐步實現大規模的量產落地？

本文將從浪潮信息本次所登頂NuScenes榜首的感知模型出發，一窺自動駕駛的感知技術發展。

從自動駕駛的分級來看，當前的自動駕駛技術，隱隱可以看出2個流派，一個是以直接實現L4級自動駕駛為目標的激進派，一個是從L2級輔助駕駛開始，逐步提升自動駕駛等級的漸進派。但無論是L2級的輔助駕駛還是L4級的自動駕駛，從整體架構上看，都可以大致分為感知、決策和控制3部分。感知是自動駕駛汽車的眼睛，和人類的眼睛為大腦提供了70%以上的信息類似，感知系統也為自動駕駛車輛提供了車輛外部環境信息輸入。自動駕駛的感知依賴于各種車載傳感器的信息輸入，包括攝像頭、超聲波雷達、毫米波雷達和激光雷達等。其中最核心的就是攝像頭和激光雷達。

自動駕駛面對的是一個3維的環境空間，甚至于我們可以說，因為自動駕駛車輛要在環境空間中移動，且環境空間中其他的行人、車輛等也會移動，則可以看作自動駕駛面對的是一個3維空間+1維時間的4維時空體系。自動駕駛車輛需要在三維空間中判斷周圍的人、車、物的距離遠近，在此基礎上還要判斷他們是靜態或者動態的，以及移動的方向和速度等信息，我們一般稱之為3D目標檢測任務。3D目標檢測任務可以看作是自動駕駛中最核心的感知任務。當然，除此之外，其他的感知任務還包括識別紅綠燈、交通標識、車道線、斑馬線等道路信息。

圖 1：3D目標檢測示意圖， 3D目標被定義為一個長方體，(x,y,z)是長方體的中心坐標，（l,w,h）是長寬高信息，θ是航向角，比如長方體在地平面的偏航角，class是3D目標的類別。vx、vy描述3D目標在地面上沿x軸和y軸方向的速度。

長期以來，激光雷達一直被認為是自動駕駛車輛不可或缺的零部件之一，因為激光雷達能提供對車輛周圍環境最精確的三維感知。激光雷達采集的點云信息天然就存儲了三維空間信息，因此基于激光點云信息的3D目標檢測來說，算法設計就簡單了許多，也誕生了一系列的經典模型，比如PointPillar、SECOND、SASSD等等。但是激光雷達的成本問題也成為了自動駕駛落地最大的瓶頸。早期的激光雷達價格，比如激光雷達鼻祖Velodyne推出的高精度激光雷達的價格達到了8萬美元。雷達比車貴的現實問題成為了激光雷達上車和量產的最大阻礙。雖然今年隨著技術的進步，激光雷達的價格下降明顯，但是能滿足L4級自動駕駛需求的激光雷達的價格依然偏高。

攝像頭是自動駕駛車輛的另外一個非常重要的傳感器，因為激光雷達采集的點云信息沒有色彩和紋理，因此無法識別對于人類來說可以輕松辨別的紅綠燈、交通標識、車道線、斑馬線等道路信息。因此還是需要攝像頭作為補充。而這又會帶來額外的多個模態的信息融合難題。簡單來說，激光雷達主要擅長三維空間中的車輛、行人等的三維時空信息感知，而攝像頭主要擅長除此之外的紅綠燈、車道線等視覺紋理特征比較豐富的信息感知。另外，在量產成本和價格上，攝像頭也有無可比擬的優勢。比如Tesla搭載的單顆單目攝像頭的成本僅為25美元，整車8個攝像頭的價格也才200美元。相比于整車價格來說，幾乎可以忽略不計。如果僅使用攝像頭，在強大AI算法的加持下，就能實現精確的3D目標檢測任務，那意味著不使用激光雷達的自動駕駛也不無可能。

在計算機視覺領域，近年誕生了大量的分類、檢測、分割模型，比如ResNet、YOLO、Mask RCNN等，這些AI模型已經廣泛的應用于安防、交通、以及自動駕駛領域。但有一個核心的問題是，這些模型都是針對2D圖像設計的，無法直接適用于3D目標檢測任務?；趫D像進行3D目標檢測的核心問題就是如何精確的估計圖像中物體的深度。因為攝像頭拍攝的照片和視頻是把3D空間投射到了2D平面中，丟失了深度信息，如何對這些深度信息進行還原就是一個機器學習領域所謂的“病態問題”。即，問題的解可能不是唯一的。因此長期以來，基于圖像的3D目標檢測算法性能一直遠低于基于激光雷達的3D目標檢測性能。

自從Tesla使用純攝像頭方案的輔助駕駛系統取得一定的成功之后，基于純視覺的自動駕駛感知方案受到了業界越來越多的關注。同時隨著數據、算法、算力等多個方面的進步，純視覺的自動駕駛感知方案在3D目標檢測任務上的性能在最近一年和激光雷達的差距有了明顯的改觀。

在數據方面，出現了搭載傳感器更多，采集時間更長的自動駕駛道路數據集。比如2019年由Motional（由現代汽車集團和Aptiv資成立的一家無人駕駛公司）的團隊開發和開源的NuScenes數據集采集于波士頓和新加坡兩個城市的實際道路。收集了大約15小時的駕駛數據，精心選擇駕駛路線以捕捉具有挑戰性的場景數據。數據場景覆蓋了城市、住宅區、郊區、工業區各個場景，也涵蓋了白天、黑夜、晴天、雨天、多云等不同時段不同天氣狀況。采集車上配備了完善的傳感器，包括了6個相機、1個激光雷達、5個毫米波雷達、以及GPS和IMU，具備360°的視野感知能力。NuScenes數據集是第一個提供自動汽車全套傳感器數據的大型數據集。不同傳感器在車輛上放置如下圖所示。

圖 2：NuScenes數據集的采集車安裝的傳感器位置示意圖。搭載了6個相機，1個激光雷達和5個毫米波雷達。

除了NuScenes之外，業界還有Waymo、ONCE等開源數據集。但目前NuScenes是被使用最多的數據集。自公開以來，NuScenes數據集已經被論文引用超2000次。NuScenes挑戰賽也成為了檢驗感知算法在自動駕駛相關任務性能的試金石。吸引了來自全球各地的研究團隊的220余次結果提交，涵蓋了卡內基梅隆大學、加利福尼亞大學伯克利分校、MIT、清華大學、香港科技大學、上海交通大學、中國科學技術大學等國內外重點高校。

NuScenes數據集提供了包括 3D 目標檢測、3D 目標跟蹤、預測軌跡 、激光雷達分割、全景分割和跟蹤在內的多個評測任務。其中3D目標檢測任務的目標是檢測NuScenes數據集上的10種不同類別的檢測對象，包括標出3D目標框，并且估計相應類別的屬性信息和當前的速度信息等。這10種檢測對象具體包括汽車、卡車、公交車、行人、摩托車、自行車、錐桶、路障等，檢測的信息包括物體的三維位置、大小、方向、速度等。NuScenes 提出了一個綜合指標NDS，即NuScenes 檢測分數（NuScenes Detection Score, NDS）,這個指標由平均精度（mAP）、平均平移誤差（ATE）、平均尺度誤差（ASE）、平均方向誤差（AOE）、平均速度誤差（AVE）和平均屬性誤差（AAE）綜合計算得到。

圖 3：NuScenes數據集中車身6個攝像頭采集畫面示意圖。

NuScenes提供了一個常年更新的榜單，在純視覺 3D目標檢測任務榜單上，目前一共有50次提交，其中大多數的提交發生在2022年。目前排名第一的是浪潮信息的AI團隊在22年10月提交的DABNet4D算法，實現了綜合檢測精度NDS 0.624的檢測效果。而在2022年初排名第一的BEV3D算法的NDS精度是0.474。也就是說在不到一年的時間內，NuScenes 純視覺3D目標檢測的NDS指標提升了15個點。相比之下，基于激光雷達的3D目標檢測精度，僅從年初的0.685提升到0.728，提升約4個點。而基于純視覺算法和激光雷達算法的精度差距也從年初的45%縮小到17%。這主要得益于純視覺3D檢測算法優化帶來的性能提升。

圖 4：NuScenes評測榜單截圖。

浪潮此次所提交的算法DABNet4D是Depth-awared BEVNet 4D的縮寫，即深度感知的四維鳥瞰圖（bird’s eye view, BEV）神經網絡。其核心思想就是構建了鳥瞰圖（BEV）神經網絡，并使用了時空融合的4D感知和深度預測優化。由于單個攝像頭的視角有限，僅使用單個攝像頭很難實現對車身周圍360度的感知。前期自動駕駛算法模型一般是基于車身不同位置的攝像頭分別進行環境感知，然后進行融合。但是這一方案存在一些潛在的問題，比如對于像大卡車這類比較大的車輛挨著自動駕駛車輛時，會在自動駕駛車輛的多個攝像頭中出現卡車的不同部位，會導致算法出現錯誤檢測和漏檢的情況。最近融合模型架構，通過先對不同攝像頭或其他傳感器的信息進行融合，然后在一個統一的融合的空間進行3D目標感知和檢測，能夠有效的解決這些問題，是目前感知技術發展的一大趨勢。

圖 5：把不同視角的圖像轉換到統一的鳥瞰圖（BEV）視角空間。

所謂鳥瞰圖，就是從天空俯視自動駕駛車輛及其周圍環境，也就是所謂的上帝視角。自動駕駛車輛的攝像頭都是水平視角，如果把不同水平視角的圖像融合成一個統一的以自動駕駛車輛為中心的俯視視角的特征圖，那么就可以提供最清晰和完整的自動駕駛車輛周圍環境空間的視覺表征，從而也就方便從這統一的視覺表征中進行3D目標檢測以及其他的檢測、分類、分割等視覺感知任務。但是，如何基于AI算法構建這統一鳥瞰圖視覺表征是一個很大的挑戰。

圖 6：多相機融合算法架構圖。先使用特征提取神經網絡對不同視角的圖像進行特征提取，并融合到統一的BEV空間，并基于統一BEV空間進行障礙物檢測、車道線檢測和道路檢測等檢測任務。

在2022年初，浪潮團隊構建了一個基于Transformer架構的多視角特征融合模型CBTR。CBTR以經過卷積神經網絡提取的圖像特征作為輸入，并經過標準Transformer架構的特征融合和特征變換，實現了高效穩定的BEV特征輸出。以CBTR構建的BEV特征為基礎，團隊在NuScenes數據集上實現了在精度和速度上都最優的車道線檢測算法。相關成果發表在CVPR 2022 WAD上。在DABNet4D中，團隊進一步優化了BEV特征的提取網絡，以實現更好的特征提取效果。

圖 7：浪潮團隊研發的基于Transformer架構的多視角特征融合模型CBTR的架構圖。

考慮到車輛所處的環境是一個動態變化的三維空間，引入歷史空間數據對于目標的速度和方向的預測將會有比較大的幫助。為了進一步引入車輛所處的動態環境中的歷史信息，浪潮團隊基于NuScenes中的多幀數據，分別進行BEV特征提取，并使用專門的特征融合模塊對時序的特征進行融合，構建了MASTER（Multi-camerA Spatial and Temporal feature ExtractoR，多相機時空特征提取器）算法。2022年7月，團隊在NuScenes榜單提交了MASTERv2版本的3D目標檢測結果，實現了NDS 0.576的檢測精度。位列當前同類型算法第一。

在此基礎上，如何進一步提高純視覺3D目標檢測的精度，其核心還是進一步優化模型的深度估計性能。在MASTER算法的基礎上，團隊進一步引入了深度估計網絡，來強化模型的深度感知性能。最終的完整網絡架構如下圖所示。

圖 8：浪潮團隊研發的DABNet4D模型架構圖。

除此之外，多種數據增強算法的應用，也對DABNet4D的性能提升有比較大的幫助，這主要是因為雖然NuScenes數據集在目前開源的自動駕駛測評數據集中，已經算是比較大的規模，但是其相對于真實的自動駕駛場景來說，數據集的規模還是比較有限，比如有的目標檢測類別，在整個數據集中，只出現了很少的次數。這種不同類別目標在數據集中的不均衡性，對于模型整體檢測效果的提升，有較大的不利影響。因此DABNet4D使用了圖像數據增強、BEV特征增強和樣本貼圖增強等多尺度的數據增強技術，來提升模型的檢測效果。

在此基礎上，使用性能更優的特征提取網絡對于整體的性能提升也有一定的幫助。團隊測試了EfficientNet系列、Swin Transformer系列、ConvNeXt系列等多個典型的視覺特征提取網絡，并最終選用了ConvNeXt網絡架構以期獲得最佳的特征提取性能。

在集合了上述算法和工程化方法上的創新之后，DABNet4D最終實現了NuScenes評測榜單上當前業界最佳的純視覺3D目標檢測精度。

需要提到的是，完善的算力基礎設施也在這一工作過程中起到了舉足輕重的作用。和訓練2D目標檢測模型比如YOLO系列相比，DABNet4D的訓練需要更多的算力以及更好的算力平臺支撐。

本次構建的DABNet4D-tiny和DABNet4D-base兩個模型，其參數量分別是59.1M和166.6M。雖然參數量不是特別大，但是由于使用的輸入數據分辨率達到了1600x900，遠大于ImageNet、COCO等數據集訓練2D目標檢測網絡的圖片尺寸，這意味著模型訓練過程中的特征圖輸出也會大很多，從而需要更多的顯存空間來存儲。與此同時，多相機視角的引入以及時序數據的引入，意味著模型訓練需要更大的批尺寸。舉例來說，NuScenes數據集有6個相機，如果僅使用連續3幀的時序數據，也意味著模型的輸入批尺寸是18。這進一步增大了對訓練設備的顯存需求。實際上，浪潮團隊訓練模型使用的是搭載了NVIDIA Ampere 架構40GB和80GB顯存的多臺5488A5 GPU服務器平臺。其中GPU之間使用了NV-Switch全互聯架構，來滿足模型訓練的高顯存需求，以及模型并行訓練的高通信帶寬需求。除此之外，服務器上部署的AISTATION資源管理系統，對于整個任務中的資源管理和分布式訓練優化，對于整個模型訓練的效率提升，也起到了很大的幫助。

另外，數據的豐富程度對于純視覺3D目標檢測模型的感知性能提升作用明顯。這也是為什么在DABNet4D的優化過程中，團隊使用了較多的數據增強算法。因為相對于真實的自動駕駛場景和數據集來說，NuScenes數據集的規模還是太小了。比如公開資料表明，Tesla 訓練其FSD自動駕駛系統使用了 100萬的 8-camera 36fps 10-second videos作為訓練數據，其規模遠大于NuScenes數據集。DABNet4D使用了大約2000 GPU hours。做同比換算的話，Tesla的FSD的訓練需求大約是316 臺5488A5服務器訓練約1周的時間。其計算需求之大，可見一斑。

在自動駕駛落地的產業化進程中，感知技術作為自動駕駛的核心技術模塊，既是起點也是基石。而未來，面向自動駕駛感知算法的研發，也將會投入更為強大的人工智能計算平臺予以支撐。作為全球領先的算力提供商，浪潮信息始終踐行多角度切入，發揮融合算力、算法等全棧解決方案能力優勢，推動自動駕駛領域的技術創新型發展。從NuScenes榜單技術的快速迭代來看，我們有理由相信，隨著算力、算法的持續型突破，自動駕駛產業化落地進程也將多一層“騰飛動力之源”。

編輯：黃飛

?