arXiv論文“RadSegNet: A Reliable Approach to Radar Camera Fusion“，22年8月8日，來(lái)自UCSD的工作。

用于自動(dòng)駕駛的感知系統(tǒng)在極端天氣條件下難以表現(xiàn)出魯棒性，因?yàn)橹饕獋鞲衅鞯募す饫走_(dá)和攝像機(jī)等性能會(huì)下降。為了解決這個(gè)問(wèn)題，攝像機(jī)-雷達(dá)融合系統(tǒng)為全天候可靠的高質(zhì)量感知提供了機(jī)會(huì)。攝像機(jī)提供豐富的語(yǔ)義信息，而雷達(dá)可以在所有天氣條件下克服遮擋工作。

當(dāng)攝像機(jī)輸入退化時(shí)，最先進(jìn)的融合方法表現(xiàn)不佳，本質(zhì)上導(dǎo)致失去全天候的可靠性。與這些方法相反，RadSegNet，用獨(dú)立信息提取的設(shè)計(jì)理念，真正實(shí)現(xiàn)在所有條件下的感知可靠性，包括遮擋和惡劣天氣。在基準(zhǔn)Astyx數(shù)據(jù)集上開(kāi)發(fā)并驗(yàn)證了提出的系統(tǒng)，并在RADIATE數(shù)據(jù)集上進(jìn)一步驗(yàn)證。與最先進(jìn)的方法相比，RadSegNet在Astyx數(shù)據(jù)集，平均精度得分提高27%，在RADIATE數(shù)據(jù)集，提高41.46%。

在良好的條件下，系統(tǒng)應(yīng)能夠使用來(lái)自攝像機(jī)的豐富紋理和語(yǔ)義信息，以及來(lái)自雷達(dá)的所有目標(biāo)的深度和大小等有用信息，而在良好天氣出現(xiàn)遮擋或遠(yuǎn)處目標(biāo)或惡劣天氣下的圖像退化而導(dǎo)致攝像機(jī)不可靠的情況下，系統(tǒng)仍應(yīng)能夠可靠地使用雷達(dá)數(shù)據(jù)。

RadSegNet，主要通過(guò)兩個(gè)設(shè)計(jì)原則來(lái)實(shí)現(xiàn)所需的功能。第一個(gè)原則是基于這樣一種認(rèn)識(shí)，即對(duì)于雷達(dá)，BEV表示法比透視圖具有多個(gè)優(yōu)勢(shì)，尤其是在遮擋的情況下。因此，作為其核心，RadSegNet用雷達(dá)BEV表示進(jìn)行檢測(cè)，對(duì)雷達(dá)中存在的所有信息進(jìn)行編碼。接下來(lái)，注意到攝像頭中豐富的紋理和語(yǔ)義信息主要用于清晰地識(shí)別場(chǎng)景中的目標(biāo)。因此，從攝像機(jī)RGB圖像中獨(dú)立提取語(yǔ)義特征。

然而，將從攝像機(jī)提取的語(yǔ)義信息傳播到雷達(dá)數(shù)據(jù)仍然是一項(xiàng)具有挑戰(zhàn)性的任務(wù)，因?yàn)閿z像機(jī)沒(méi)有深度信息。為了克服這一挑戰(zhàn)，RadSegNet創(chuàng)建一種語(yǔ)義點(diǎn)網(wǎng)格（SPG，semantic-point-grid）表示，將攝像機(jī)圖像中的語(yǔ)義信息編碼到雷達(dá)點(diǎn)云中。為了將語(yǔ)義與雷達(dá)點(diǎn)相關(guān)聯(lián)，SPG查找每個(gè)雷達(dá)點(diǎn)的攝像頭像素對(duì)應(yīng)關(guān)系，而不是將攝像頭圖像投影到雷達(dá)BEV。因此，SPG編碼從攝像機(jī)中提取信息，添加到雷達(dá)中，并在此增強(qiáng)的雷達(dá)表示上檢測(cè)，這樣提取所需的獨(dú)立信息。

即使在攝像機(jī)輸入不可靠的情況下，RadSegNet仍然可以用雷達(dá)數(shù)據(jù)可靠地工作。請(qǐng)注意，這些條件包括惡劣天氣以及晴朗天氣下的遮擋和遠(yuǎn)距離，在這種情況下，攝像機(jī)數(shù)據(jù)可能變得不可靠。

如圖所示是攝像機(jī)輸入增加人工霧時(shí)雷達(dá)攝像機(jī)融合架構(gòu)的性能。AVOD融合作為基準(zhǔn)方法（“Low-level sensor fusion network for 3d vehicle detection using radar range-azimuth heatmap and monocular image“. ACCV‘2020）顯著惡化，而RadSegNet方法即使在霧中也能繼續(xù)提供魯棒的結(jié)果。藍(lán)色盒是真值和紅色盒是預(yù)測(cè)結(jié)果。

如圖所示是RadSegNet一覽：利用來(lái)自SPG模塊的編碼來(lái)檢測(cè)目標(biāo)，編碼由來(lái)自語(yǔ)義分割網(wǎng)絡(luò)的語(yǔ)義特征以及基于雷達(dá)點(diǎn)的特征和占用網(wǎng)格生成。這些編碼圖被連接并通過(guò)邊框檢測(cè)網(wǎng)絡(luò)。

雷達(dá)用與激光雷達(dá)相同的反射飛行時(shí)間（ToF）分析來(lái)生成點(diǎn)，但工作波長(zhǎng)不同。雖然激光雷達(dá)用納米波長(zhǎng)信號(hào)，由于表面散射，其分辨率非常高，但雷達(dá)用毫米波，其中反射功率分為鏡面反射和漫射散射。原始雷達(dá)數(shù)據(jù)雖然密集，但包含背景熱噪聲或多徑噪聲。

雷達(dá)數(shù)據(jù)通常也會(huì)受到恒虛警率（CFAR）濾波的影響，從而產(chǎn)生輕量稀疏的點(diǎn)云輸出。因此，雷達(dá)點(diǎn)云中的目標(biāo)邊緣定義不如激光雷達(dá)點(diǎn)云清晰。例如，在雷達(dá)點(diǎn)云中，源自墻壁的點(diǎn)群可能具有與源自汽車的點(diǎn)群相似的空間擴(kuò)展。直接從雷達(dá)點(diǎn)云中學(xué)習(xí)任何基于形狀的特征，想?yún)^(qū)分感興趣的目標(biāo)（汽車、行人等）和背景目標(biāo)，這種效應(yīng)使其具有挑戰(zhàn)性。

然而，與此同時(shí)，由于毫米波段傳輸?shù)囊蛩?，雷達(dá)還提供了以下獨(dú)特的優(yōu)勢(shì)：a）比激光雷達(dá)提供更長(zhǎng)的感知距離，因?yàn)椴ㄩL(zhǎng)更高的信號(hào)具有更低的自由空間功率衰減。這允許雷達(dá)波傳播更長(zhǎng)的距離。b） 能夠看穿遮擋的車輛，因?yàn)槠湫盘?hào)會(huì)從地面反彈，能夠感知完全遮擋的車輛。c） 全天候傳感器，因?yàn)楹撩撞ǖ牟ㄩL(zhǎng)更大，能夠在霧、雪和雨等不利條件下不受影響地穿透。

用于表示輸入數(shù)據(jù)的視圖對(duì)目標(biāo)檢測(cè)任務(wù)的深度學(xué)習(xí)體系結(jié)構(gòu)的性能有重大影響。研究表明，只需將數(shù)據(jù)從透視攝像機(jī)視圖轉(zhuǎn)換為3D/BEV視圖，即可獲得性能提升。

這背后的原因是，在透視圖中，存在深度的尺度多義以及遮擋造成的目標(biāo)重疊。在2D透視圖圖像上進(jìn)行2D卷積等局部計(jì)算，可以用同一內(nèi)核處理不同深度的目標(biāo)。這使目標(biāo)檢測(cè)任務(wù)更難學(xué)習(xí)。另一方面，BEV表示法能夠在不同深度清晰地分離目標(biāo)，在部分和完全遮擋目標(biāo)的情況下具有明顯優(yōu)勢(shì)。

BEV占用網(wǎng)格為了生成BEV表示，通過(guò)折疊高度維將雷達(dá)點(diǎn)投影到2-D平面上。然后將該平面離散為占用網(wǎng)格。每個(gè)網(wǎng)格元素是一個(gè)指示變量，如果它包含雷達(dá)點(diǎn)，則其值為1，否則表示為0。該BEV占用網(wǎng)格還保留無(wú)序點(diǎn)云點(diǎn)之間的空間關(guān)系，并以更結(jié)構(gòu)化的格式存儲(chǔ)雷達(dá)數(shù)據(jù)。

BEV占用網(wǎng)格為雷達(dá)提供了最佳表示，并為未排序的雷達(dá)點(diǎn)云提供了次序。然而，BEV網(wǎng)格也將傳感空間離散為網(wǎng)格，從而消化細(xì)化邊框所需的有用信息。為了保留這些信息，將基于點(diǎn)的特征作為附加通道添加到BEV網(wǎng)格中。具體來(lái)說(shuō)，添加笛卡爾坐標(biāo)、多普勒信息和強(qiáng)度信息作為附加特征。

為了對(duì)高度信息進(jìn)行編碼，將高度維度（y）分為7個(gè)不同的級(jí)別，并創(chuàng)建7個(gè)通道，每個(gè)高度bin一個(gè)通道，從而生成高度直方圖。笛卡爾坐標(biāo)（x，y，z）有助于細(xì)化預(yù)測(cè)的邊框。n通道包含該網(wǎng)格元素中存在的點(diǎn)數(shù)。n的數(shù)值通常與表面積和反射功率成比例，這有助于細(xì)化邊框。

先說(shuō)攝像頭語(yǔ)義特征。

攝像頭圖像中豐富的紋理和語(yǔ)義信息對(duì)于理解場(chǎng)景和識(shí)別場(chǎng)景中的目標(biāo)非常有用。這一信息與雷達(dá)很好地互補(bǔ)，在雷達(dá)中，點(diǎn)云的不均勻性使得學(xué)習(xí)識(shí)別目標(biāo)特征更加困難。在惡劣條件下保持可靠性的同時(shí)，用這種互補(bǔ)性質(zhì)的關(guān)鍵點(diǎn)是，首先以場(chǎng)景語(yǔ)義的形式從攝像頭圖像中提取有用信息，然后用來(lái)增強(qiáng)從雷達(dá)獲得的BEV表示。

與每個(gè)目標(biāo)集的特征融合相比，該方法在兩種模式的信息提取之間保持了清晰的分離，因此即使一個(gè)輸入退化，也能可靠地執(zhí)行。用魯棒的預(yù)訓(xùn)練語(yǔ)義分割網(wǎng)絡(luò)從場(chǎng)景中存在目標(biāo)的攝像頭圖像中獲得語(yǔ)義掩碼。然而，仍然需要在不存在攝像頭圖像深度信息的情況下將該信息添加到雷達(dá)BEV表征中。

如何將語(yǔ)義添加到SPG呢？

將基于攝像頭的語(yǔ)義與雷達(dá)點(diǎn)相關(guān)聯(lián)，需要為語(yǔ)義分割網(wǎng)絡(luò)的每個(gè)輸出目標(biāo)類創(chuàng)建單獨(dú)圖。這些圖的大小與BEV占用網(wǎng)格相同，并做為語(yǔ)義特征通道。為了獲得每個(gè)網(wǎng)格元素的語(yǔ)義特征通道值，首先將雷達(dá)點(diǎn)變換為攝像機(jī)坐標(biāo)。接下來(lái)，在攝像頭圖像中找到距離該變換點(diǎn)最近的像素，并用該像素的語(yǔ)義分割輸出作為SPG語(yǔ)義特征通道值。

如果多個(gè)雷達(dá)點(diǎn)屬于同一網(wǎng)格元素，則對(duì)所有生成的語(yǔ)義通道值進(jìn)行平均。這些特征通道包含從攝像機(jī)中提取的語(yǔ)義信息，有助于從雷達(dá)BEV占用網(wǎng)格中檢測(cè)目標(biāo)。它們有效地減少了雷達(dá)可能產(chǎn)生的誤報(bào)預(yù)測(cè)，因?yàn)橛捎谠诶走_(dá)數(shù)據(jù)中固有的不均勻性，雷達(dá)在識(shí)別目標(biāo)時(shí)可能會(huì)糊涂。

如圖顯示如何用雷達(dá)BEV網(wǎng)格對(duì)汽車類的語(yǔ)義特征進(jìn)行編碼的示例。

請(qǐng)注意，RadSegNet中用的攝像頭融合形式?jīng)]有過(guò)濾掉任何雷達(dá)點(diǎn)，同時(shí)更好地利用了兩種模式帶來(lái)的優(yōu)勢(shì)。這意味著，在基于攝像機(jī)的特征信息較少的情況下，場(chǎng)景中的所有目標(biāo)對(duì)雷達(dá)仍然可見(jiàn)，從而防止性能大幅下降。來(lái)自攝像機(jī)的紋理和高分辨率信息被濃縮成語(yǔ)義特征，這有助于雷達(dá)的全天候、遠(yuǎn)距離和遮擋的魯棒感知。

通過(guò)SPG編碼生成的每個(gè)BEV圖都被傳遞到深度神經(jīng)網(wǎng)絡(luò)中，用于特征提取和邊框預(yù)測(cè)。對(duì)于主干特征提取，用帶跳連接的編碼器-解碼器網(wǎng)絡(luò)。在編碼階段用4級(jí)下采樣層，每個(gè)階段用3個(gè)卷積層來(lái)提取不同尺度的特征，然后在上采樣階段通過(guò)跳連接來(lái)組合所有中間特征生成最終的特征集。用基于錨點(diǎn)框（SSD）的檢測(cè)架構(gòu)，分類和回歸頭生成預(yù)測(cè)。分類頭預(yù)測(cè)輸出邊框的置信度得分，回歸頭學(xué)習(xí)如何細(xì)化其維度。

圖像分割網(wǎng)絡(luò)用來(lái)自DeeplabV3+實(shí)現(xiàn)提供的預(yù)訓(xùn)練語(yǔ)義分割模型。在Cityscapes數(shù)據(jù)集上訓(xùn)練的ResNet-101模型進(jìn)行語(yǔ)義分割任務(wù)。選擇CenterFusion作為基線之一，一種基于透視圖的攝像頭-雷達(dá)融合方法。在這種方法中，創(chuàng)建雷達(dá)點(diǎn)云的特征圖，并將其與相應(yīng)的基于圖像的特征圖一起處理執(zhí)行檢測(cè)。另外一個(gè)是CenterNet，純攝像機(jī)方法。CenterNet本質(zhì)上是CenterFusion，沒(méi)有相應(yīng)的雷達(dá)數(shù)據(jù)。預(yù)訓(xùn)練的網(wǎng)絡(luò)比在Astyx數(shù)據(jù)集上從頭訓(xùn)練網(wǎng)絡(luò)表現(xiàn)更好。

基于多視圖聚合的基線方法是一個(gè)雷達(dá)R-A熱圖和攝像頭融合的方法，用AVOD架構(gòu)執(zhí)行雷達(dá)-攝像頭融合。稱為AVOD融合，這也是傳感器融合的SOTA方法。

實(shí)驗(yàn)結(jié)果如下：