前言 本文主要對(duì)主流的車道線檢測(cè)（包括BEV視角和圖像視角）方法進(jìn)行總結(jié)。由于基于深度學(xué)習(xí)的方法性能遠(yuǎn)超傳統(tǒng)方法，所以本文只總結(jié)了基于學(xué)習(xí)的方法。

文中車道線檢測(cè)有些是有高度的3D檢測(cè)，有些沒(méi)有高度的BEV檢測(cè)，統(tǒng)一標(biāo)識(shí)了BEV，沒(méi)有特別區(qū)分是否預(yù)測(cè)高度。主要分了六大類，包括基于分割的方法、基于關(guān)鍵點(diǎn)的方法、基于row-wise的方法、基于多項(xiàng)式回歸的方法、基于anchor的方法和直接輸出實(shí)例的方法。

1 基于分割和輔助實(shí)例化信息的方法

HDMapNet (BEV)

通過(guò)MLP得到視覺(jué)bev特征，通過(guò)Pointpillar得到激光bev特征，concat得到最終bev feature。在bev feature上學(xué)習(xí)語(yǔ)義分割、實(shí)例分割instance embedding和方向預(yù)測(cè)direction prediction，并通過(guò)后處理得到語(yǔ)義要素；后處理得到的線會(huì)出現(xiàn)閉環(huán)；

3D-LaneNet+ (BEV)

將圖像劃分成格子，每個(gè)格子進(jìn)行二分類（判斷是否有線經(jīng)過(guò)），另外，對(duì)有線的格子回歸線段的橫向偏移、角度（N個(gè)bins分類+offset微調(diào)）、高度偏移和Embedding vector（用于把曲線小片段聚合成車道線曲線）。在特征學(xué)習(xí)上，沿用了3D-LaneNet，都是兩路的path way。只不過(guò)相機(jī)外參俯仰角、安裝高度直接輸入而不是模型預(yù)測(cè)。

LaneAF (Affinity fields)

輸出binary seg, 橫縱向affinity fields，分別表示：在每行中，每個(gè)前景像素位于它所屬車道線中心的左邊還是右邊、當(dāng)前像素相較于上一行的車道線中心，是在左邊還是右邊。最后通過(guò)這三個(gè)預(yù)測(cè)解碼得到車道線實(shí)例。

Spatial CNN

將車道線檢測(cè)問(wèn)題構(gòu)建為一個(gè)多類別語(yǔ)義分割問(wèn)題，提出spatial cnn方法來(lái)建?？臻g結(jié)構(gòu)信息（信息向下/向上/向右/向左傳播），來(lái)學(xué)習(xí)形狀先驗(yàn)。該方法對(duì)細(xì)長(zhǎng)的車道線檢測(cè)很有效；該方法固定數(shù)量、需要聚類等處理、多類別分割模型較大，速度慢；

RESA

這篇文章是SCNN的升級(jí)，減少計(jì)算量。RESA整體思路和SCNN相同，包含四種OPs：”往上“、”往下“、”往左“、”往右“。區(qū)別是每個(gè)OPs會(huì)重復(fù)做K次，每次的stride會(huì)逐漸增加。

LaneNet

利用實(shí)例分割instance embedding管道來(lái)處理可變數(shù)量的線，但它需要推理后聚類來(lái)生成線實(shí)例。

SAD

提出基于知識(shí)蒸餾（Knowledge Distillation）的車道線檢測(cè)模型SAD，能增強(qiáng)CNN的特征表達(dá)能力。由于SAD只參與模型訓(xùn)練，因此不會(huì)增加推斷時(shí)的計(jì)算復(fù)雜度。

ONCE-3DLanes (BEV)

在圖像視圖中回歸車道的三維坐標(biāo)，而不將特征地圖轉(zhuǎn)換為鳥(niǎo)瞰視圖(BEV)。該方法還利用分割分支和空間上下文分支分別預(yù)測(cè)圖像層面分割和像素位置偏移。最后通過(guò)幾何處理得到3D車道線;

分割方法局限

需要后處理，速度慢，實(shí)例區(qū)分有困難；它們還受到分割任務(wù)的局部性的影響，因此它們往往在遮擋或極端光照條件下表現(xiàn)更差。

2 基于關(guān)鍵點(diǎn)的方法

RelayChain

模型預(yù)測(cè)一個(gè)分割圖來(lái)對(duì)前景和背景區(qū)域進(jìn)行分類。對(duì)于前景區(qū)域中的每個(gè)像素點(diǎn)，通過(guò)前向分支和后向分支來(lái)恢復(fù)整個(gè)車道。每個(gè)分支解碼傳輸圖和距離圖以產(chǎn)生移動(dòng)到下一個(gè)點(diǎn)的方向，以及逐步預(yù)測(cè)relay station（下一個(gè)點(diǎn)）的步驟。實(shí)際上就是預(yù)測(cè)三種圖：分割圖、兩側(cè)間隔1m距離點(diǎn)的方向圖和距離兩個(gè)端點(diǎn)的距離圖。最后通過(guò)分割圖得到的關(guān)鍵點(diǎn)生成車道線實(shí)例，并通過(guò)NMS進(jìn)行處理得到最終的車道線。

FOLOLane

第一次將車道線檢測(cè)做成局部的幾何建模。模型只需要在受限的空間范圍內(nèi)，關(guān)注于比較簡(jiǎn)單的任務(wù)，使估計(jì)出來(lái)的局部曲線非常精確。輸入一張圖片，經(jīng)過(guò)CNNs提取特征。把圖片沿著高度等距離畫(huà)線，距離為固定值，這樣等分線和車道線曲線的交點(diǎn)就是關(guān)鍵點(diǎn)集合的子集。然后逐像素的預(yù)測(cè)四個(gè)map：key points, 關(guān)鍵點(diǎn)與上一個(gè)交點(diǎn)關(guān)鍵點(diǎn)在水平上的坐標(biāo)偏差、關(guān)鍵點(diǎn)與當(dāng)前交點(diǎn)關(guān)鍵點(diǎn)在水平上的坐標(biāo)偏差、關(guān)鍵點(diǎn)與下一個(gè)交點(diǎn)關(guān)鍵點(diǎn)在水平上的坐標(biāo)偏差。最后通過(guò)后處理連線。

PINet

經(jīng)過(guò)feature extraction layer，由關(guān)鍵點(diǎn)預(yù)測(cè)里最常用的2個(gè)Hourglass block構(gòu)成，每個(gè)block有三個(gè)output branch，分別為confidence branch、offset branch、feature branch。最后通過(guò)后處理聚類得到實(shí)例車道線；關(guān)鍵點(diǎn)檢測(cè)方法，相比分割網(wǎng)絡(luò)而言，模型更小，計(jì)算開(kāi)銷也更小。

A Keypoint-based Global Association Network for Lane Detection

提出了一個(gè)全局關(guān)聯(lián)網(wǎng)絡(luò)（GANet）來(lái)從一個(gè)新的角度描述車道檢測(cè)問(wèn)題，其中每個(gè)關(guān)鍵點(diǎn)直接回歸到車道線的起點(diǎn)，而不是逐點(diǎn)擴(kuò)展。關(guān)鍵點(diǎn)與其所屬車道線的關(guān)聯(lián)是通過(guò)預(yù)測(cè)它們?cè)谌址秶鷥?nèi)與相應(yīng)車道起點(diǎn)的偏移量來(lái)實(shí)現(xiàn)的。還提出了一種車道感知特征聚合器（LFA），它自適應(yīng)地捕獲相鄰關(guān)鍵點(diǎn)之間的局部相關(guān)性。

3 基于row-wise的方法

行分類方法是一種簡(jiǎn)單的基于輸入圖像為網(wǎng)格劃分的檢測(cè)方法。對(duì)于每一行，只選擇一個(gè)最可能的一個(gè)網(wǎng)格。

Ultra Fast Structure-aware Deep Lane Detection

對(duì)一張圖在高度H 上劃分為h個(gè)row-anchors, 在寬度W上劃分為w個(gè)griding-cells，并將車道線檢測(cè)問(wèn)題變成一個(gè)分類問(wèn)題：分類預(yù)測(cè)一個(gè)三維tensor Ch(w+1)，P_i,j代表i_th車道線在j_th row-anchor上的概率分布向量。w+1是分類類別，而不是C?；诜指畹姆椒ㄓ?jì)算量是HW(C+1),每個(gè)像素上都要做一次分類，類別數(shù)為C+1; 本文方法計(jì)算量是Ch(w+1)，需要做C*h次分類，類別數(shù)為w+1。計(jì)算量下降了兩個(gè)數(shù)量級(jí)。

CondLaneNet

利用 conditional convolution，實(shí)現(xiàn)了更精細(xì)的車道線檢測(cè)，并且引入了 Recurrent instance module 用于解決車道線分叉場(chǎng)景；

局限

不能適用于橫向車道線；由于每一行選擇一個(gè)網(wǎng)格，所以需要對(duì)每條可能的車道線都要重復(fù)操作，這種方法還需要后處理；

4 基于多項(xiàng)式回歸的方法

STSU (BEV)

STSU采用基于DETR的方法學(xué)習(xí)每個(gè)object的query，然后基于MLP學(xué)習(xí)每根線的控制點(diǎn)（貝塞爾曲線表征線）和線之間的拓?fù)潢P(guān)系；學(xué)到的線分段，且有重疊；

Rethinking efficient lane detection via curve Curve Modeling

提出了基于可變形卷積的特征翻轉(zhuǎn)融合，以利用駕駛場(chǎng)景中的對(duì)稱特性。提出更合理的Bezier曲線采樣損失，通過(guò)在一組均勻間隔的t值（T）處采樣曲線，這意味著曲線長(zhǎng)度相等相鄰的樣本點(diǎn)；先驗(yàn)對(duì)稱假設(shè)過(guò)強(qiáng)；

PolyLaneNet

直接學(xué)習(xí)預(yù)測(cè)具有簡(jiǎn)單全連接層的多項(xiàng)式系數(shù)，速度快，但是由于現(xiàn)有的數(shù)據(jù)集不均衡，造成一些偏差

LSTR: End-to-end Lane Shape Prediction with Transformers

使用transformer塊來(lái)預(yù)測(cè)基于 DETR 的端到端模式中的多項(xiàng)式，速度非常快420 FPS；該方法的多項(xiàng)式表征方式不適用于橫向車道線。

局限

抽象因子難以優(yōu)化；基于參數(shù)化擬合的方案雖然回歸更少的參數(shù)，但對(duì)于預(yù)測(cè)的參數(shù)較為敏感，如高階系數(shù)的錯(cuò)誤預(yù)測(cè)可能造成車道線形狀的變化。盡管基于參數(shù)化的方案有更快的推理速度，但在精度上有一定的瓶頸。大曲率彎擬合效果較差。

5 基于anchor的方法

Persformer (BEV)

通過(guò)關(guān)注以攝像機(jī)參數(shù)作為參考的相關(guān)前視圖局部區(qū)域(deformable cross attention)來(lái)生成魯棒的BEV特征，圖像和BEV下的檢測(cè)頭分別采用LaneATT和3D-LaneNet的方法。2D和3D統(tǒng)一anchor設(shè)計(jì)，圖像視角anchor是bev視角投影到圖像中生成的；

LineCNN

采用經(jīng)典的Faster R-CNN作為一級(jí)車道線檢測(cè)器，但推理速度較低（<30 FPS);

LaneATT

采用了更通用的單階段檢測(cè)方法，用一條線作為 anchor，并且在整個(gè)圖片的左右、下面設(shè)置了上千個(gè) anchor，對(duì)車道線關(guān)于 anchor 的 offset 進(jìn)行回歸；

3D-LaneNet (BEV)

3D車道線檢測(cè)的開(kāi)創(chuàng)性工作，采用spatial transformer network來(lái)完成特征的空間投影；在彎曲或擠壓轉(zhuǎn)彎的情況下，存在著特征轉(zhuǎn)換不當(dāng)?shù)膯?wèn)題；

Gen-LaneNet (BEV)

建立在3D-LaneNet之上，并設(shè)計(jì)了一個(gè)兩階段的網(wǎng)絡(luò)來(lái)解耦分割器和三維車道預(yù)測(cè)頭，第一階段首先對(duì) 2D 層面進(jìn)行圖像分割，然后利用外參的真值將分割的圖像投影到 virtual top view，最終預(yù)測(cè)得到 3D 下的結(jié)果；非端到端，性能很大程度取決于第一階段二值分割的準(zhǔn)確性，不利于極端天氣情況。該算法對(duì)相機(jī)參數(shù)要求還是比較高的，當(dāng)參數(shù)出現(xiàn)“些許”不準(zhǔn)確時(shí)，檢測(cè)結(jié)果會(huì)變得較差；

CLGO (BEV)

設(shè)計(jì)了一個(gè)兩階段框架，首先預(yù)測(cè)攝像機(jī)姿態(tài)，然后利用相機(jī)姿態(tài)生成俯視圖圖像，進(jìn)行精確的三維車道檢測(cè)；非端到端，不易收斂；

EigenLanes

提出特征車道(eigenlane)的概念，把訓(xùn)練集中的所有車道線利用SVD降維的方法，提取出有代表性的特征車道；每條車道線可以由eigenlane的線性組合近似；在車道線檢測(cè)時(shí)，先篩選出合適的eigenlane，然后基于近似的車道，回歸出offset進(jìn)行車道線的refine；

CLRNet

提出一種coarse-to-fine的機(jī)制，利用高層特征檢出車道線，利用低層特征調(diào)節(jié)車道線位置；提出RoIGather模塊（attention）獲取全局語(yǔ)境信息；

局限

需要預(yù)定義anchor，不夠靈活，anchor很難適應(yīng)各種復(fù)雜的車道線型；Y_ref的匹配，使得在一些復(fù)雜場(chǎng)景中的起點(diǎn)很難識(shí)別，會(huì)丟線。

6 直接輸出實(shí)例的方法

VectorMapNet (BEV)

端到端矢量化高精地圖學(xué)習(xí)pipeline， 采用板載傳感器觀測(cè)，并預(yù)測(cè)BEV視角中一組稀疏的折線基元，以對(duì)高精地圖的幾何形狀進(jìn)行建模。利用折線作為基元來(lái)建模復(fù)雜的地圖元素，并通過(guò)兩步來(lái)解析幾何元素：地圖元素檢測(cè)器和折線生成器，分別是sparse cross attention(element query and bev feature)和自回歸的點(diǎn)列回歸transformer;

STSU (BEV)

STSU采用基于DETR的方法學(xué)習(xí)每個(gè)object的query，然后基于MLP學(xué)習(xí)每根線的控制點(diǎn)（貝塞爾曲線表征線）和線之間的拓?fù)潢P(guān)系；學(xué)到的線分段，且有重疊；

HRAN (BEV)

它首先迭代找到每條車道線的起點(diǎn)，然后對(duì)于每條車道線，迭代地繪制沿該線的下一個(gè)頂點(diǎn)。這兩個(gè)RNN以分層方式進(jìn)行組織。提出了折線損失的想法（雙向最近點(diǎn)距離），以鼓勵(lì)神經(jīng)網(wǎng)絡(luò)輸出結(jié)構(gòu)化折線。

DagMapper (BEV)

該方法要解決HRAN不能解決的分叉、合并場(chǎng)景，它接受激光雷達(dá)強(qiáng)度圖并輸出DAG(有向無(wú)環(huán)圖)。DAGMapper的核心還有一個(gè)循環(huán)卷積頭，它迭代地關(guān)注以最后一個(gè)預(yù)測(cè)點(diǎn)為中心的裁剪特征圖補(bǔ)丁，并預(yù)測(cè)下一個(gè)點(diǎn)的位置。變化之處在于它還預(yù)測(cè)了點(diǎn)的狀態(tài)為合并，派生或繼續(xù)。

局限

目前還缺少一個(gè)能夠適用于城區(qū)各種類型車道線或者矢量元素的矢量化表征方法

參考資料：

[1] https://zhuanlan.zhihu.com/p/391718860[2] https://zhuanlan.zhihu.com/p/355305715[3] https://www.zhihu.com/people/chongwang-88/posts