3.1 多模態(tài)融合的map分割

• 題目：A Simple baseline for BEV Perception Without LiDAR（2022， MIT）

作者的出發(fā)點： 在BEV上通過BEVFORMER的方式"無參數(shù)化"地完成Lift操作(將圖像特征轉(zhuǎn)換到BEV空間)，融合雷達(dá)點云特征圖，用于分割任務(wù)，性能超越了之前的分割模型。

1. 網(wǎng)絡(luò)結(jié)構(gòu)：

• 論文如其名，網(wǎng)絡(luò)結(jié)構(gòu)比較簡單，可以看出很多論文的影子(例如BEVFORMER)，作者就是通過顯式的BEV-Queries采樣圖像特征，并且concate雷達(dá)特征并通過卷積進(jìn)行模態(tài)對齊與融合，后面用于分割任務(wù)。

1. 總結(jié)分析：

• 雷達(dá)信息處理：

雷達(dá)feature-map構(gòu)成：0\1的occupy map，nuscenes提供的所有特征(RCS,X,Y,Z,V...)作為輸入concate到一起作為輸入特征。檢測范圍是[-100, 100m]，網(wǎng)格的大小是200x200。

• 性能提升

• 和主流的工作相比，作者的確在分割上提升非常大，作者將這歸功于毫米波的功勞，

• 消融實驗

總結(jié)為三點：對于分割任務(wù)，輸入過多的屬性提升不明顯(occupy only已經(jīng)達(dá)到53)，對multi-path的毫米波雷達(dá)點濾除反而導(dǎo)致性能下降(意料之中，因為multi-path的毫米波雖然會導(dǎo)致噪聲，但是其掃描到的物體可能正是位于被遮擋的區(qū)域)，增加sweeps的數(shù)量性能也會提升(畢竟點云密度大了)。

四、密集點云生成

4.1 GAN

4.1.1 通過密集點云監(jiān)督radar生成密集點云

See Through Smoke: Robust Indoor Mapping with Low-cost mmWave Radar (2020， 斯坦福)

4.2 Lidar Supervision

4.2.1 激光雷達(dá)點云監(jiān)督毫米波生成occupy grid map

Radar Occupancy Prediction With Lidar Supervision While Preserving Long-Range Sensing and Penetrating Capabilities作者的出發(fā)點： 通過lidar這種數(shù)據(jù)質(zhì)量較高的模態(tài)，監(jiān)督毫米波雷達(dá)生成質(zhì)量較高的占據(jù)柵格地圖，解決在這個過程中的兩個問題：一解決occupy網(wǎng)格生成存在于傳感器之間的內(nèi)生性問題：傳感器感知距離不一，傳感器穿透性不一問題；二解決長距離網(wǎng)格生成問題；生成的occpy grid map可用于下游的路徑規(guī)劃等問題。

1. 本文一些基本定義：

• 極坐標(biāo)系與笛卡爾坐標(biāo)轉(zhuǎn)化

  作者以笛卡爾坐標(biāo)系的x,y中心為極坐標(biāo)系的中心，笛卡爾坐標(biāo)系的一周等同于極坐標(biāo)系的一段(如下圖所示的藍(lán)色紅色對應(yīng)關(guān)系)

• 作者將radar中l(wèi)idar的感知區(qū)域定位trainning-region，將其他范圍內(nèi)的毫米波點云作為inference的輸入，如下圖所示

• 毫米波雷達(dá)噪聲來源：

  multipath reflection(多路徑感染，在交通道路環(huán)境下工作的雷達(dá)越來越密集，其間產(chǎn)生的多徑干擾會導(dǎo)致雷達(dá)出現(xiàn)虛假目標(biāo)), speckle noise, receiver saturation, and ring-shaped noise

  關(guān)于以上噪聲的成因：https://zhuanlan.zhihu.com/p/407095772

• 本文各類顏色含義