摘要：鳥(niǎo)瞰圖（Bird’s Eye View, BEV）表示可以隱式而優(yōu)雅地將多視圖信息進(jìn)行統(tǒng)一表示，避免了耗時(shí)的多視圖融合后處理操作，其對(duì)于自動(dòng)駕駛中的環(huán)境感知具有很大的實(shí)用價(jià)值。在CoRL2022上，地平線(xiàn)-天津大學(xué)-華中科技大學(xué)聯(lián)合發(fā)表了研究成果PolarBEV：基于極坐標(biāo)劃分和表面高度估計(jì)的純視覺(jué)非均勻BEV表示學(xué)習(xí)。不同于基于矩形表示和深度估計(jì)的方案，PolarBEV提出將BEV空間沿著角度和半徑進(jìn)行柵格化，并結(jié)合迭代的高度估計(jì)來(lái)確定2D到3D的對(duì)應(yīng)關(guān)系，極大地提升了BEV分割的精度和推理速度。

論文鏈接：https://arxiv.org/pdf/2207.01878.pdf

代碼鏈接：https://github.com/SuperZ-Liu/PolarBEV

簡(jiǎn)介

本文提出了一個(gè)基于極坐標(biāo)劃分和表面高度估計(jì)的純視覺(jué)非均勻BEV表示學(xué)習(xí)方法PolarBEV。相比于之前基于矩形表示和深度估計(jì)的方法[1]，PolarBEV通過(guò)將BEV空間沿著角度和半徑進(jìn)行柵格化來(lái)得到非均勻劃分的網(wǎng)格點(diǎn)，之后通過(guò)將每個(gè)網(wǎng)格點(diǎn)的向量映射分解為角度向量映射和半徑向量映射來(lái)增強(qiáng)每個(gè)網(wǎng)格點(diǎn)的表征能力，最后通過(guò)迭代的高度估計(jì)來(lái)確定2D到3D的對(duì)應(yīng)關(guān)系。在這一范式下，PolarBEV在Nuscenes[2]數(shù)據(jù)集語(yǔ)義分割和實(shí)例分割任務(wù)上的性能都超越了之前的方法，并且在2080Ti GPU上取得了實(shí)時(shí)的推理速度。

動(dòng)機(jī)

非均勻表示相比均勻表示更有優(yōu)勢(shì)

對(duì)于自動(dòng)駕駛來(lái)說(shuō)，自車(chē)周?chē)母兄Y(jié)果相比于遠(yuǎn)處來(lái)說(shuō)更重要，因此自車(chē)周?chē)鷧^(qū)域應(yīng)該需要更高的分辨率。我們通過(guò)將BEV空間沿著角度和半徑進(jìn)行劃分，從而得到一個(gè)距離相關(guān)的非均勻的網(wǎng)格分布-密集分布于自車(chē)周?chē)?，稀疏分布于遠(yuǎn)處。

對(duì)于均勻表示來(lái)說(shuō)，大范圍的BEV空間通常需要較多的網(wǎng)格點(diǎn)和更大的計(jì)算量。通過(guò)在半徑上進(jìn)行長(zhǎng)尾不均勻的劃分，可以實(shí)現(xiàn)以較小的計(jì)算成本覆蓋較大的BEV空間。

因?yàn)橄鄼C(jī)近大遠(yuǎn)小的成像特點(diǎn)，相同角度不同距離的同一個(gè)物體在成像上應(yīng)該具有相似外形、尺度不一的特點(diǎn)，而相同距離不同角度的同一物體在成像上應(yīng)該具有相似尺度、不同外形的特點(diǎn)。通過(guò)將BEV空間沿著角度和半徑進(jìn)行劃分，可以使得BEV表示和相機(jī)的這一成像特點(diǎn)相適應(yīng)。此外，可以通過(guò)將每個(gè)網(wǎng)格點(diǎn)的向量映射分解為角度向量映射和半徑向量映射來(lái)建模圓形BEV表示下每個(gè)網(wǎng)格點(diǎn)之間的關(guān)系，從而增強(qiáng)每個(gè)網(wǎng)格點(diǎn)的特征表示。

高度估計(jì)相比于深度估計(jì)更有優(yōu)勢(shì)

深度估計(jì)方法通常需要為每個(gè)像素點(diǎn)估計(jì)一個(gè)深度分布，而這通常限制了該類(lèi)方法的推理速度。此外，深度的真實(shí)范圍通常是[0,+∝)，網(wǎng)絡(luò)很難在如此大的解空間中估計(jì)出準(zhǔn)確的深度。高度估計(jì)方法只需要為每個(gè)網(wǎng)格點(diǎn)隱式地估計(jì)一個(gè)高度，這可以極大地加速網(wǎng)絡(luò)的推理速度，而且高度的估計(jì)也比深度的估計(jì)要簡(jiǎn)單的多。

方法

整體框架

PolarBEV的整體框架如圖1所示，其總共包含三個(gè)部分：1）圖像特征抽取部分 2）BEV空間柵格化和重組 3）迭代的表面高度估計(jì)和2D到3D的特征變換。

圖1 PolarBEV整體框架示意圖

極坐標(biāo)柵格化和重組

本工作首先將BEV空間沿著角度和半徑分別進(jìn)行柵格化，得到

個(gè)半徑劃分和

個(gè)角度劃分。為了便于后續(xù)的處理，該工作將柵格化后的網(wǎng)格點(diǎn)重組成

大小的矩形。如圖一所示，因?yàn)樵诮嵌冗@一維上，

和 

雖然表示相同角度，但是卻被分割在矩形的兩端，所以需要對(duì)重組后的矩形網(wǎng)格點(diǎn)做相應(yīng)處理才能滿(mǎn)足一般的卷積操作。這里，通過(guò)在角度這一維上使用循環(huán)填充來(lái)彌補(bǔ)該缺陷。 

極坐標(biāo)向量映射分解

對(duì)于每個(gè)角度為θ,半徑為  的極坐標(biāo)點(diǎn)，本工作將其對(duì)應(yīng)的查詢(xún)向量映射  分解為半徑相關(guān)的

和角度相關(guān)的 

 ，這一過(guò)程形式化表示為：

本工作通過(guò)該分解來(lái)建模圓形BEV表示下每個(gè)網(wǎng)格點(diǎn)之間的關(guān)系，從而增強(qiáng)每個(gè)網(wǎng)格點(diǎn)的特征表示。

迭代的表面高度估計(jì)和2D到3D的特征變換

為了確定圖像和BEV之間的對(duì)應(yīng)關(guān)系，本工作首先設(shè)置一個(gè)初始高度為

的假設(shè)表平面，然后根據(jù)每個(gè)查詢(xún)向量映射  來(lái)迭代更新每個(gè)網(wǎng)格點(diǎn)  的對(duì)應(yīng)高度：

隨后，本工作將  歸一化到[0,1]范圍，再縮放至目標(biāo)高度范圍

：

然后，本工作根據(jù)每個(gè)網(wǎng)格點(diǎn)  對(duì)應(yīng)的極坐標(biāo)

，構(gòu)造出該網(wǎng)格點(diǎn)的三維齊次坐標(biāo)  ：

最后，本工作根據(jù)相機(jī)內(nèi)參矩陣  和外參矩陣  將  投影到圖像平面：

再根據(jù)投影點(diǎn)從圖像特征中采樣得到最終的BEV特征  ：

其中

表示從

位置采樣出的特征，

是一個(gè)用于掩碼超出圖像邊緣的投影點(diǎn)的二值掩膜。

實(shí)驗(yàn)結(jié)果

語(yǔ)義分割結(jié)果

表1和表2分別展示了在不掩碼不可見(jiàn)車(chē)輛和掩碼不可見(jiàn)車(chē)輛兩種情況下，PolarBEV和其他方法的結(jié)果對(duì)比?？梢钥闯鯬olarBEV在使用相同輸入分辨率  的設(shè)置下，不僅在精度上超過(guò)了FIERY Static[1]，而且取得了實(shí)時(shí)的推理速度(25FPS,2080Ti)。

表1 不掩碼不可見(jiàn)車(chē)輛的BEV語(yǔ)義分割結(jié)果

表2 掩碼不可見(jiàn)車(chē)輛的BEV語(yǔ)義分割結(jié)果

實(shí)例分割結(jié)果

表3展示了PolarBEV相比于FIERY Static[1]在實(shí)例分割上的優(yōu)勢(shì)，可以看出PolarBEV主要在RQ指標(biāo)上比FIERY Static高，說(shuō)明PolarBEV能夠更加準(zhǔn)確的分類(lèi)出不同實(shí)例。

表3 掩碼不可見(jiàn)車(chē)輛的實(shí)力分割結(jié)果

消融實(shí)驗(yàn)

表4和表5分別驗(yàn)證了PolarBEV提出的圓形表示相比于矩形表示的優(yōu)勢(shì)、基于高度的特征變換相比于基于深度的特征變換的優(yōu)勢(shì)。

表4 矩形表示和圓形表示對(duì)比結(jié)果

表5 基于深度和基于高度的對(duì)比結(jié)果

表6驗(yàn)證了PolarBEV提出的各個(gè)模塊的有效性。在添加環(huán)卷積之后，模型在IoU和PQ指標(biāo)上分別提升了0.33和1.03個(gè)點(diǎn)。在環(huán)卷積之后，添加向量映射分解(PED)可以使得模型在IoU和PQ指標(biāo)上進(jìn)一步提升0.55和0.36個(gè)點(diǎn)。

表6 各個(gè)模塊的消融實(shí)驗(yàn)結(jié)果

表7驗(yàn)證了圓形BEV表示在分辨率上的消融實(shí)驗(yàn)。從該表可以看出無(wú)論是增大角度分辨率或是增大半徑分辨率，模型的精度都有提升。

表7 圓形BEV表示在分辨率上的消融實(shí)驗(yàn)

表8驗(yàn)證了迭代次數(shù)對(duì)模型精度的影響。從該表可以看出，隨著迭代次數(shù)的增多，模型的精度越來(lái)越高。當(dāng)?shù)螖?shù)到達(dá)3或者6時(shí)，模型精度趨向飽和，但是FPS下降明顯。

表8 迭代次數(shù)的消融實(shí)驗(yàn)

可視化結(jié)果

圖2展示了PolarBEV在不同場(chǎng)景下的分割質(zhì)量，可以看出PolarBEV即使在復(fù)雜環(huán)境中依然可以得到準(zhǔn)確的分割結(jié)果。

圖2 PolarBEV在不同場(chǎng)景下分割質(zhì)量的可視化圖

參考文獻(xiàn)：

[1] Hu et al. FIERY: Future Instance Prediction in Bird's-Eye View From Surround Monocular Cameras. ICCV 2021.

[2] Caesar et al. nuscenes: A multimodal dataset for autonomous driving. CVPR 2020.

關(guān)于CoRL

CoRL的全稱(chēng)為Conference on Robot Learning，是一個(gè)以機(jī)器人技術(shù)和機(jī)器學(xué)習(xí)為主題的年度學(xué)術(shù)國(guó)際會(huì)議。自 2017 年首次舉辦以來(lái)，CoRL 已經(jīng)成為機(jī)器人技術(shù)與機(jī)器學(xué)習(xí)交叉領(lǐng)域的全球頂級(jí)學(xué)術(shù)會(huì)議之一。大會(huì)針對(duì)機(jī)器人學(xué)習(xí)研究，涵蓋了機(jī)器人技術(shù)、機(jī)器學(xué)習(xí)和控制等廣泛主題，包括理論和應(yīng)用各方面。