01??BEV感知算法概念？

Bird’s-Eye-View，鳥瞰圖（俯視圖）。BEV感知算法存在許多的優勢。

首先，BEV視圖存在遮擋小的優點，由于視覺的透視效應，現實世界的物體在2D圖像中很容易受到其他物體的遮擋，因此，傳統的基于2D的感知方式只能感知可見的目標，對于被遮擋的部分算法將無能為力。

而在BEV空間內，時序信息可以很容易地被融合，算法可以基于先驗知識，對被遮擋的區域進行預測，“腦補”出被遮擋的區域是否有物體。雖然“腦補”出來的物體固然有“想象”的成分，但對后續的控制模塊來說，還是有不少益處。

此外，BEV感知算法的尺度變化小，將尺度相對一致的數據輸入到網絡中，可以得到更好的感知結果。

02??BEV感知算法數據集介紹

2.1 kitti-360數據集

kitti-360是一個包含豐富感官信息和完整注釋的大規模數據集。我們記錄了德國卡爾斯魯厄的幾個郊區，在73.7公里的駕駛距離內，對應超過32萬張圖像和10萬個激光掃描。我們用粗糙的邊界基元對靜態和動態的三維場景元素進行注釋，并將這些信息轉移到圖像領域，從而為三維點云和二維圖像提供了密集的語義和實例注釋。

為了收集數據，旅行車兩邊各配備了一個180°的魚眼相機，前面一個90°的透視立體相機（基線60厘米）。此外，在車頂上安裝了一個Velodyne HDL-64E和一個SICK LMS 200激光掃描裝置，采用推桿式配置。這個裝置與KITTI使用的裝置類似，只是由于額外的魚眼相機和推帚式激光掃描儀，獲得了一個完整的360°視野，而KITTI只提供透視圖像和Velodyne激光掃描，垂直視野為26.8°。此外，系統還配備了一個IMU/GPS定位系統。采集車的傳感器布置如圖所示。

圖1 Kitti-360數據集采集車

2.2 nuScenes數據集

nuScenes是第一個提供 自動汽車 全套傳感器數據的大型數據集，包括了6個相機、1個激光雷達、5個毫米波雷達、以及GPS和IMU。與kitti數據集相比，其包含的對象注釋多了7倍多。采集車的傳感器布置如圖所示。

圖2 nuScenes數據集采集車模型

03??BEV感知算法分類

基于輸入數據，將BEV感知研究主要分為三個部分——BEV Camera、BEV LiDAR和BEV Fusion。下圖描述了BEV 感知家族的概況。具體來說，BEV Camera表示僅有視覺或以視覺為中心的算法，用于從多個周圍攝像機進行三維目標檢測或分割；BEV LiDAR描述了點云輸入的檢測或分割任務；BEV Fusion描述了來自多個傳感器輸入的融合機制，例如攝像頭、激光雷達、全球導航衛星系統、里程計、高清地圖、CAN總線等。

圖3 自動駕駛的基本感知算法

如圖所示，將自主駕駛的基本感知算法（分類、檢測、分割、跟蹤等）分為三個級別，其中BEV感知的概念位于在中間。基于傳感器輸入層、基本任務和產品場景的不同組合，某種BEV感知算法可以相應表明。例如，M2BEV和BEVFormer屬于視覺BEV方向，用于執行包括3D目標檢測和BEV地圖分割在內的多項任務。BEVFusion在BEV空間設計了一種融合策略，同時從攝像機和激光雷達輸入執行3D檢測和跟蹤。

BEV Camrea中的代表之作是BEVFormer。BEVFormer 通過提取環視相機采集到的圖像特征，并將提取的環視特征通過模型學習的方式轉換到 BEV 空間（模型去學習如何將特征從圖像坐標系轉換到 BEV 坐標系），從而實現 3D 目標檢測和地圖分割任務，并取得了 SOTA 的效果。

3.1 BEVFormer 的 Pipeline：

1）Backbone + Neck （ResNet-101-DCN + FPN）提取環視圖像的多尺度特征；

2）論文提出的 Encoder 模塊（包括 Temporal Self-Attention 模塊和Spatial Cross-Attention 模塊）完成環視圖像特征向 BEV 特征的建模；

3）類似 Deformable DETR 的 Decoder 模塊完成 3D 目標檢測的分類和定位任務；

4）正負樣本的定義（采用 Transformer 中常用的匈牙利匹配算法，Focal Loss + L1 Loss 的總損失和最小）；

5）損失的計算（Focal Loss 分類損失 + L1 Loss 回歸損失）；

6）反向傳播，更新網絡模型參數；

圖4 BEVFormer框架圖

BEVFusion算法離不開BEV LiDAR和BEV Camera算法，通常使用一個fusion模塊進行點云和圖像特征的融合。其中BEV Fusion是其中的代表之作。

3.2 BEVFusion的 Pipeline：

1）給定不同的感知輸入，首先應用特定于模態的編碼器來提取其特征；

2）將多模態特征轉換為一個統一的BEV表征，其同時保留幾何和語義信息；

3）存在的視圖轉換效率瓶頸，可以通過預計算和間歇降低來加速BEV池化過程；

4）然后，將基于卷積的BEV編碼器應用到統一的BEV特征中，以緩解不同特征之間的局部偏準；

5）最后，添加一些特定任務頭支持不同的3D場景理解工作。

圖5 BEV Fusion框架圖

04??BEV感知算法的優劣

目前業界基于純視覺的感知、預測算法研究通常僅針對上述流程中的單個子問題的image-view方案，如3D目標檢測、語義地圖識別或物體運動預測，通過前融合或后融合的方式將不同網絡的感知結果進行融合。這導致了在搭建整體系統時只能以線性結構堆疊多個子模塊。盡管上述方式能夠實現問題分解、便于獨立的學術研究，但這種串行架構具有幾個重要的缺陷：

1）上游模塊的模型誤差會不斷向下游傳遞，然而在子問題的獨立研究中通常以真值作為輸入，這使得累積誤差會顯著影響下游任務的性能表現。

2）不同子模塊中存在重復的特征提取、維度轉換等運算過程，但是串行架構無法實現這些冗余計算的共享，不利于提升系統的整體效率。

3）無法充分利用時序信息，一方面，時序信息可以作為空間信息的補充，更好地檢測當前時刻被遮擋的物體，為定位物體的位置提供更多參考信息。另一方面，時序信息能夠幫助判斷物體的運動狀態，在缺少時序信息的條件下，基于純視覺的方法幾乎無法有效判斷物體的運動速度。

區別于image-view方案，BEV方案通過多攝像頭或雷達將視覺信息轉換至鳥瞰視角進行相關感知任務，這樣的方案能夠為自動駕駛感知提供更大的視野并且能夠并行地完成多項感知任務。同時，BEV感知算法是要將信息融合到BEV空間中來，所以這有利于探索2D到3D的轉換過程。

與此同時，BEV感知算法當前在3D檢測任務上，與現有的點云方案有有差距。探索視覺BEV感知算法有利于降低成本。一套LiDAR設備的成本往往是視覺設備的10倍，所以視覺BEV是未來的真理，但同時帶來的巨大數據量需要巨大的計算資源。

審核編輯：黃飛

?