摘要： 鳥瞰圖（Bird’s Eye View, BEV）表示可以隱式而優雅地將多視圖信息進行統一表示，避免了耗時的多視圖融合后處理操作，其對于自動駕駛中的環境感知具有很大的實用價值。在CoRL2022上，地平線-天津大學-華中科技大學聯合發表了研究成果PolarBEV：基于極坐標劃分和表面高度估計的純視覺非均勻BEV表示學習。不同于基于矩形表示和深度估計的方案，PolarBEV提出將BEV空間沿著角度和半徑進行柵格化，并結合迭代的高度估計來確定2D到3D的對應關系，極大地提升了BEV分割的精度和推理速度。

簡介

本文提出了一個基于極坐標劃分和表面高度估計的純視覺非均勻BEV表示學習方法PolarBEV。相比于之前基于矩形表示和深度估計的方法[1]，PolarBEV通過將BEV空間沿著角度和半徑進行柵格化來得到非均勻劃分的網格點，之后通過將每個網格點的向量映射分解為角度向量映射和半徑向量映射來增強每個網格點的表征能力，最后通過迭代的高度估計來確定2D到3D的對應關系。在這一范式下，PolarBEV在Nuscenes[2]數據集語義分割和實例分割任務上的性能都超越了之前的方法，并且在2080Ti GPU上取得了實時的推理速度。

動機

非均勻表示相比均勻表示更有優勢

對于自動駕駛來說，自車周圍的感知結果相比于遠處來說更重要，因此自車周圍區域應該需要更高的分辨率。我們通過將BEV空間沿著角度和半徑進行劃分，從而得到一個距離相關的非均勻的網格分布-密集分布于自車周圍，稀疏分布于遠處。

對于均勻表示來說，大范圍的BEV空間通常需要較多的網格點和更大的計算量。通過在半徑上進行長尾不均勻的劃分，可以實現以較小的計算成本覆蓋較大的BEV空間。

因為相機近大遠小的成像特點，相同角度不同距離的同一個物體在成像上應該具有相似外形、尺度不一的特點，而相同距離不同角度的同一物體在成像上應該具有相似尺度、不同外形的特點。通過將BEV空間沿著角度和半徑進行劃分，可以使得BEV表示和相機的這一成像特點相適應。此外，可以通過將每個網格點的向量映射分解為角度向量映射和半徑向量映射來建模圓形BEV表示下每個網格點之間的關系，從而增強每個網格點的特征表示。

高度估計相比于深度估計更有優勢

深度估計方法通常需要為每個像素點估計一個深度分布，而這通常限制了該類方法的推理速度。此外，深度的真實范圍通常是[0,+∝)，網絡很難在如此大的解空間中估計出準確的深度。高度估計方法只需要為每個網格點隱式地估計一個高度，這可以極大地加速網絡的推理速度，而且高度的估計也比深度的估計要簡單的多。

方法

整體框架

PolarBEV的整體框架如圖1所示，其總共包含三個部分：1）圖像特征抽取部分 2）BEV空間柵格化和重組 3）迭代的表面高度估計和2D到3D的特征變換。

圖1PolarBEV整體框架示意圖

極坐標柵格化和重組

本工作首先將BEV空間沿著角度和半徑分別進行柵格化，得到個半徑劃分和個角度劃分。為了便于后續的處理，該工作將柵格化后的網格點重組成大小的矩形。如圖一所示，因為在角度這一維上，和?雖然表示相同角度，但是卻被分割在矩形的兩端，所以需要對重組后的矩形網格點做相應處理才能滿足一般的卷積操作。這里，通過在角度這一維上使用循環填充來彌補該缺陷。?

極坐標向量映射分解

對于每個角度為,半徑為的極坐標點，本工作將其對應的查詢向量映射分解為半徑相關的和角度相關的??，這一過程形式化表示為：

本工作通過該分解來建模圓形BEV表示下每個網格點之間的關系，從而增強每個網格點的特征表示。

迭代的表面高度估計和2D到3D的特征變換

為了確定圖像和BEV之間的對應關系，本工作首先設置一個初始高度為的假設表平面，然后根據每個查詢向量映射??來迭代更新每個網格點??的對應高度：

隨后，本工作將歸一化到[0,1]范圍，再縮放至目標高度范圍：

然后，本工作根據每個網格點對應的極坐標，構造出該網格點的三維齊次坐標??：

最后，本工作根據相機內參矩陣和外參矩陣將投影到圖像平面：

再根據投影點從圖像特征中采樣得到最終的BEV特征：

其中表示從位置采樣出的特征，是一個用于掩碼超出圖像邊緣的投影點的二值掩膜。

實驗結果

語義分割結果

表1和表2分別展示了在不掩碼不可見車輛和掩碼不可見車輛兩種情況下，PolarBEV和其他方法的結果對比。可以看出PolarBEV在使用相同輸入分辨率的設置下，不僅在精度上超過了FIERY Static[1]，而且取得了實時的推理速度(25FPS,2080Ti)。

表1 不掩碼不可見車輛的BEV語義分割結果

表2 掩碼不可見車輛的BEV語義分割結果

實例分割結果

表3展示了PolarBEV相比于FIERY Static[1]在實例分割上的優勢，可以看出PolarBEV主要在RQ指標上比FIERYStatic高，說明PolarBEV能夠更加準確的分類出不同實例。

表3 掩碼不可見車輛的實力分割結果

消融實驗

表4和表5分別驗證了PolarBEV提出的圓形表示相比于矩形表示的優勢、基于高度的特征變換相比于基于深度的特征變換的優勢。

表4 矩形表示和圓形表示對比結果

表5 基于深度和基于高度的對比結果

表6驗證了PolarBEV提出的各個模塊的有效性。在添加環卷積之后，模型在IoU和PQ指標上分別提升了0.33和1.03個點。在環卷積之后，添加向量映射分解(PED)可以使得模型在IoU和PQ指標上進一步提升0.55和0.36個點。

表6 各個模塊的消融實驗結果

表7驗證了圓形BEV表示在分辨率上的消融實驗。從該表可以看出無論是增大角度分辨率或是增大半徑分辨率，模型的精度都有提升。

表7 圓形BEV表示在分辨率上的消融實驗

表8驗證了迭代次數對模型精度的影響。從該表可以看出，隨著迭代次數的增多，模型的精度越來越高。當迭代次數到達3或者6時，模型精度趨向飽和，但是FPS下降明顯。

表8 迭代次數的消融實驗

可視化結果

圖2展示了PolarBEV在不同場景下的分割質量，可以看出PolarBEV即使在復雜環境中依然可以得到準確的分割結果。

圖2 PolarBEV在不同場景下分割質量的可視化圖