自動駕駛中雷達與相機融合的目標檢測工作多模態(tài)目標檢測：

• 在之前，我已經有介紹過毫米波雷達在2D視覺任務上的一些經典網絡：總結概括而言，其本質上都是對視覺任務的一種提升和輔助，主要的工作在于如何較好地在FOV視角中融合兩種模態(tài)，其中不乏有concate\add\product兩個模態(tài)的特征，或者使用radar對視覺局部特征增強，其中比較知名的工作CRFNet經常用來作為baseline，其并沒有對毫米波這個模態(tài)做特殊的處理，僅是作為視覺特征的補充融入到傳統(tǒng)的2D檢測pipeline中，但是其消融實驗提出了許多值的考慮的優(yōu)化方向：包括噪聲濾除、BlackIn這兩個，一個代表了對于毫米波這類有較多噪聲的數據進行“理想化”的噪聲過濾，結果提升了接近10個點。二是通過BlackIn對于弱模態(tài)-毫米波點云加大學習權重(通過對訓練時圖像的缺失)來提高網絡對于高噪聲弱模態(tài)的擬合能力也能提點。

• 在近些年，2D檢測任務在自動駕駛的熱度遞減，取而代之的是3D任務，畢竟現在的實際場景一直多是基于3D場景。但是在3D檢測或者分割等任務中，雷達賦予了一個不一樣的角色，在之前FOV視角中，毫米波點云大多為了與FOV特征融合，都是通過投影這一種方法，而放到3D場景中，分為兩個流派：一個是點云流派：由于lidar和radar具有天然的相似性(當然是處理后的點云)，自然就有l(wèi)idar的相關角色賦予毫米波雷達，相應的，毫米波的角色從FOV到了BEV，它的下游任務，也從輔助為主到BEV下的分割、深度估計、生成密集點云等。另一個Range-Doppler流派：投入到毫米波雷達原始數據中去探求毫米波特有的處理方式，并且取得了不錯的成果。

• 這也是我這篇文章的重點，文章的主要工作放在毫米波角色的轉換中，從3D檢測、深度估計、GAN(非重點)，分割(非重點)幾個方面列舉我看到的一些工作并做簡單介紹和總結，同時對毫米波算法的發(fā)展提出自己的一些拙見，毫米波雷達相關領域深邃奧妙，僅通過幾篇文章認識它無疑是管中窺豹，由于個人能力有限，所以后面還會繼續(xù)以各個子章節(jié)細化，組成系列文章。

介紹的工作都比較冷門，很少有源碼開放，因此對一些細節(jié)分析可能并不到位，歡迎大家在評論區(qū)討論，提出自己的寶貴意見，指正我的一些偏見。

一、3D Detection

1.1 GCN：圖卷積用于毫米波目標檢測

1.1.1 GCN用于毫米波點云

• Radar-PointGNN: Graph based Object Recognition for Unstructured Radar Point-cloud Data(**2021 IEEE Radar Conference)**之前我發(fā)過一篇文章：用于毫米波雷達的GNN—https://zhuanlan.zhihu.com/p/549641548

1.1.2 GCN用于原始毫米波信號

• Graph Convolutional Networks for 3D Object Detection on Radar Data (2021 ICCVW)建議在閱讀這篇工作前，先閱讀一篇關于雷達數據處理的文章以了解RD和RadarPointCloud的區(qū)別：毫米波雷達：信號處理—https://zhuanlan.zhihu.com/p/524371087

1. Abstract：作者借鑒GCN，提出基于毫米波原始數據Range-beam-Doppler tensor進行3D目標檢測GRT-Net，相比作者自設定的baseline(grid-based-convolutional baseline也就是voxel這類方法)提升約10%，同時作者在真實環(huán)境下自采的數據集合來驗證模型效果。此外，將檢測距離增加至100m，大幅度提升檢測范圍。

2. 網絡結構：

這項工作的輸入數據，并不是常見的雷達點云形式，這類點云是經過CFAR等算法處理后的結果，這類算法處理后的結果會導致原始信息丟失的問題(部分工作將CFAR更換為DL模型后能夠有效降低點云噪聲)，近期的一些工作例如CRUW數據集，提供點云的上層數據-Range-Doppler數據，這類數據能夠以較小損失的條件下保留較多的原始信息，但是，相對點云原始數據無法直接將數據用于檢測等現有任務并且數據的直觀性和結構化降低。在GCN中，RD不能夠直接用于構建Graph，作者將其處理為range-beam-doppler坐標系下的voxel用于構建節(jié)點，edge則采用兩種方案：根據節(jié)點的距離確定和固定權重。

1. 重要部分：

(1) 極坐標系和笛卡爾坐標系

這里簡單聊一下毫米波數據的轉換過程，如上圖所示，從左到右經過三次FFT變換，從原始的傳感器采集到的MNK維度的IF信號到最后的RD數據，就是我們所需要的原始雷達數據，對RD數據進一步處理，得到點云數據信息，我們需要的是上圖中最后一個數據的形式。(2) 圖的構建

• 邊的定義

首先，Radar-Doppler-Tensor作為輸入數據(HWC)，然后將輸入切分成range-beam為單位的cell作為基本單元，每個cell(256 channels doppler)作為node feature，這樣就完成了節(jié)點的原始特征定義。對于edge的定義如下(圖的邊則連接相鄰range或者相鄰angle的節(jié)點，邊的權重與歐式空間中節(jié)點距離成反比(實驗證明這個權重的設置并不重要)：

• 點的定義

GCN包括兩層的圖卷積(Aggregate Spatial Information, ReLU)，此時向量變?yōu)閏hannel=3的Tensor，然后經過雙線形插值將數據轉換為笛卡爾坐標系方便目標檢測，后送入到FPN中融合多尺度的Range-Doppler數據，最后通過two-stage方法，將RoI-Proposal的向量提取并通過兩個FC進行類別和屬性的判別并通過NMS進行處理。以下是原始的Radar beam Tensor和經過轉換到笛卡爾坐標系后的Tensor。

• 節(jié)點更新：和GCN保持一致

1. 實驗：

如下，作者采集自真實場景的數據集各項參數：可以看出，部分遮擋的目標占有大半部分，目標大都分布在33.7m左右

如下，數據集中對于目標檢測難度的定義：從距離和遮擋程度兩者考慮

baseline（GRT-Net）：作者僅是為了證明voxel-based方法和graph-based方法的優(yōu)劣性，將上述的兩層圖卷積網絡替換為普通的2D卷積，激活函數等其他網絡設置相同，具體結果如下所示：