以上結(jié)果是IoU=0.3的情況下，三類(lèi)樣本的PR曲線。

以上作者只與baseline進(jìn)行了對(duì)比，其他的工作只是列舉了他們的實(shí)驗(yàn)細(xì)節(jié)，也可以從這一節(jié)看出，在非毫米波點(diǎn)云數(shù)據(jù)的工作中(當(dāng)然點(diǎn)云數(shù)據(jù)集也仍然沒(méi)有高度公認(rèn)的)，還沒(méi)有大部分工作都認(rèn)同的數(shù)據(jù)集，我猜測(cè)：一是不同毫米波傳感器之間的屬性差別大難以統(tǒng)一、二是毫米波的論文開(kāi)源工作較少，目前我找到的大部分工作都是只有論文，細(xì)節(jié)描述不清，因此難以復(fù)現(xiàn)出原本的性能。三是開(kāi)源的大型數(shù)據(jù)集較少。希望未來(lái)大家能夠?qū)⒆约旱墓ぷ鏖_(kāi)源，至少說(shuō)明足夠復(fù)現(xiàn)的細(xì)節(jié)。

總結(jié)

GCN和Voxel兩類(lèi)網(wǎng)絡(luò)對(duì)比：在復(fù)雜度方面，graph-based的計(jì)算復(fù)雜度與點(diǎn)云數(shù)量呈線性相關(guān)性，而grid-based方法檢測(cè)性能不僅受到grid大小，大量的voxel等于0值造成計(jì)算資源浪費(fèi)，并且也受到檢測(cè)距離的關(guān)系而需要在檢測(cè)精度和效率之間做trade-off。在中心特征計(jì)算方面，radar pointcloud的點(diǎn)云過(guò)于稀疏，許多前景目標(biāo)僅投影個(gè)位數(shù)的點(diǎn)云，通過(guò)voxel等方法會(huì)造成過(guò)度降采樣和中心特征丟失。當(dāng)前各類(lèi)榜單上grid-based方法能夠有效避免point數(shù)量過(guò)大導(dǎo)致的復(fù)雜度過(guò)高的問(wèn)題而成為主流超越point-wise的方法，但是由于radar的稀疏性(Nuscenes中radar和lidar大概是50:1的關(guān)系)，采用point-wise的方法并不會(huì)導(dǎo)致很大的延遲。Radar檢測(cè)優(yōu)劣：優(yōu)勢(shì)：另一方面，radar由于其長(zhǎng)波優(yōu)勢(shì)，探測(cè)的距離也較大，對(duì)于高速公路這類(lèi)檢測(cè)目標(biāo)單一且方向等屬性較為單一的場(chǎng)景下，radar有著較大的優(yōu)勢(shì)。劣勢(shì)：由于兩個(gè)工作并不是同一數(shù)據(jù)集，所以兩者無(wú)法橫向?qū)Ρ?，能夠得到的幾點(diǎn)是：毫米波所包含的信息是能夠獨(dú)立地進(jìn)行3D檢測(cè)，但是僅對(duì)于車(chē)輛(卡車(chē)、汽車(chē)、建造車(chē)輛等)大型反射性良好的目標(biāo)進(jìn)行檢測(cè)，而對(duì)于弱反射的交通目標(biāo)則檢測(cè)效果較差。兩種數(shù)據(jù)對(duì)比：基于radar點(diǎn)云的檢測(cè)都是需要預(yù)定義每個(gè)需要檢測(cè)的類(lèi)的bouding box大小，毫米波在辨別物體時(shí)有一定的優(yōu)勢(shì)，但是在物體的regression任務(wù)上缺乏可參考的尺寸特征(僅有RCS)，在回歸任務(wù)上需要預(yù)設(shè)大小。相比之下，在RD原始數(shù)據(jù)中顯示地帶有了目標(biāo)的橫截面積反射強(qiáng)度等信息(Doppler)，工作2**(暫定沒(méi)有預(yù)設(shè)尺寸)**可以在沒(méi)有預(yù)設(shè)尺寸情況下較好回歸目標(biāo)屬性。但是，在高度屬性等地面垂直方向?qū)傩灶A(yù)測(cè)上，雷達(dá)這種平面數(shù)據(jù)無(wú)法有效預(yù)測(cè)。

1.2 Reference to Lidar

這類(lèi)工作主要對(duì)Lidar based方法進(jìn)行改進(jìn)，用于Radar。

1.2.1  Point-wise 的檢測(cè)方法

2D Car Detection in Radar Data with PointNets (2019 IEEE Intelligent Transportation Systems Cnference)出發(fā)點(diǎn)： 在point-level借鑒frustum-pointnet和pointnet進(jìn)行3D目標(biāo)檢測(cè)。

作者基于Frustum-Pointnet和Pointnet進(jìn)行了改進(jìn)，提出一種point-wise的3D目標(biāo)檢測(cè)網(wǎng)絡(luò)。整個(gè)模塊分為三個(gè)部分：

1. 第一部分基于現(xiàn)有的radar points生成2D的Patch Proposals，相當(dāng)于Frustum-Pointnet中的Frustum，用于聚合局部特征，現(xiàn)定某個(gè)patch內(nèi)部的point點(diǎn)數(shù)為n，相當(dāng)于對(duì)每個(gè)patch內(nèi)部的點(diǎn)做一系列的操作，Patch Proposal的輸入為n x 4(2D spatial data, ego motion compensated Doppler velocity and RCS information.)。

2. 第二部分將proposal內(nèi)部的點(diǎn)云提取局部和全局特征，經(jīng)過(guò)對(duì)clutter和radar-target的點(diǎn)云過(guò)濾，輸出mx4的篩選后的radar targets向量(與原始數(shù)據(jù)一致)。

3. 最后一部分，將篩選出來(lái)的點(diǎn)經(jīng)過(guò)傳統(tǒng)的T-NET和Box-Estimation輸出最后的各項(xiàng)屬性。下面是更詳細(xì)的結(jié)構(gòu)圖：

1.3 多模態(tài)融合

1.3.1 point-wise fusion和object-wise fusion(feature-level & decision level)集合用于多模態(tài)檢測(cè)

Bridging the View Disparity of Radar and Camera Features for Multi-modal Fusion 3D Object Detection (2021 8月  arxiv 清華)出發(fā)點(diǎn)： 在BEV空間，在point level和object level兩個(gè)層面實(shí)現(xiàn)圖像特征和點(diǎn)云特征的融合。

• 提出RCBEV，該模型主要解決在3D檢測(cè)中，毫米波和相機(jī)數(shù)據(jù)的異構(gòu)融合檢測(cè)問(wèn)題，提出了一種Point-fusion和ROI fusion兩種融合并存互補(bǔ)的想法。

1. 模型架構(gòu)：

圖像分支：通過(guò)LSS的方法將圖像特征轉(zhuǎn)換到BEV空間，并通過(guò)ConvLSTM融合多幀的毫米波grid-based特征作為時(shí)序radar特征，與圖像BEV特征進(jìn)行point-wise的concate后，通過(guò)BEV特征編碼器完成模態(tài)融合并基于此進(jìn)行heatmap生成。radar分支：通過(guò)對(duì)radar特征圖的heatmap生成并與圖像的heatmap進(jìn)行融合，送入最終檢測(cè)頭預(yù)測(cè)。融合分支：采用point-wise fusion和object-wise fusion兩種融合兼顧的方式。

1. 模型細(xì)節(jié)：

(1) point-fusion和ROI fusion兩種融合并存互補(bǔ)的想法；(2) two-stage-fusion方法：兩個(gè)模態(tài)分支各自完成heatmap生成后，再次進(jìn)行融合，在特征細(xì)粒度和全局信息融合上都有考慮到，融合結(jié)構(gòu)如下所示：在融合之前，不用保持分辨率的一致，在point-wise融合時(shí)兩個(gè)不同分辨率的模態(tài)要分別經(jīng)過(guò)上下采樣統(tǒng)一后融合。(3)  在radar上使用conv-lstm這類(lèi)方法進(jìn)行時(shí)序雷達(dá)信息融合，作者以此解決點(diǎn)云的部分噪聲問(wèn)題：雜波和數(shù)據(jù)稀疏，但是沒(méi)有通過(guò)消融實(shí)驗(yàn)證明lstm結(jié)構(gòu)的合理性。

(4) 雷達(dá)數(shù)據(jù)處理：temporal-spatial feature encoder

• 每一幀的雷達(dá)點(diǎn)云都經(jīng)過(guò)轉(zhuǎn)換到current frame，輸入的raw radar包含：x, y, vr, RCS；空間特征提取：使用常用的voxelnet或者pointpillars；

• 時(shí)序特征：ConvLSTM，對(duì)空間特征特征圖提取時(shí)序特征到Temporal Encoder中，具體結(jié)構(gòu)可參考如下結(jié)構(gòu)，將卷積和lstm結(jié)合起來(lái)，使得模型同時(shí)具有提取空間和時(shí)序特征的能力，這個(gè)在天氣預(yù)測(cè)有一些應(yīng)用；

(5) 圖像特征提?。篖SS

和BEVDet的方法一致，提取feature-map后，經(jīng)過(guò)一系列的轉(zhuǎn)換（lift）將特征轉(zhuǎn)換為基于視錐分布的深度特征圖，后通過(guò)pooling的方式（splat)特征到BEV空間。

1. 評(píng)價(jià)總結(jié)

作者在BEV空間中以top-down的形式檢測(cè)，沒(méi)有引入先驗(yàn)的目標(biāo)尺寸信息，而是通過(guò)中心點(diǎn)回歸其他信息。

• baseline：相比未引入時(shí)序信息的BEVDet，在整體性能提高的基礎(chǔ)上，在mAVE上尤其明顯，毫米波雷達(dá)的引入，時(shí)序特征的提取對(duì)網(wǎng)絡(luò)的速度性能提升非常大，相比BEVFORMER和BEVDET4D預(yù)測(cè)速度，通過(guò)融合毫米波雷達(dá)能夠在避免多幀圖像的計(jì)算復(fù)雜度增加的同時(shí)，提高速度的預(yù)測(cè)能力。但是通過(guò)conv-lstm的方法完成雷達(dá)時(shí)序特征的提取相對(duì)其他方法并沒(méi)有體現(xiàn)出其優(yōu)勢(shì)，這個(gè)可以對(duì)比目前的camera+radar主流方法的mAVE來(lái)看。

• 模態(tài)消融實(shí)驗(yàn)：相比晴天，雨天毫米波雷達(dá)帶來(lái)的提升更大，也能證明這種融合方式的魯棒性。在光照對(duì)比上，白天帶來(lái)的提升更加明顯，總體上，本篇工作確實(shí)在多個(gè)極端天氣下達(dá)到了良好的性能。