本文譯自：
《3D-LaneNet：end-to-end 3D multiple lane detection》
原作者：
Noa Garnett, Rafi Cohen, Tomer Pe'er
原文鏈接：
https://arxiv.org/pdf/1811.10203.pdf

編者按：三維車道檢測是實(shí)現(xiàn)自動(dòng)駕駛的關(guān)鍵技術(shù)，它需要對主控車輛的可行駛車道的三維位置進(jìn)行精確估計(jì)。這篇文章提出了一個(gè)基于CNN的端到端的3D車道線檢測網(wǎng)絡(luò)3D-LaneNet，可以直接檢測多個(gè)車道，并估計(jì)車道曲率，對三維車道檢測的相關(guān)研究具有重大的啟發(fā)與促進(jìn)作用。

摘要:
這里介紹一種架構(gòu)，它可以直接從一張圖像預(yù)測出道路場景中的三維車道，這項(xiàng)工作標(biāo)志著首次嘗試通過在線感知解決這一任務(wù)，而不是依賴于預(yù)先映射的環(huán)境。我們的網(wǎng)絡(luò)架構(gòu)，3d-lanenet中有兩個(gè)新的概念，1.網(wǎng)絡(luò)內(nèi)部的反透視變換。2.基于anchor的車道線表示。網(wǎng)絡(luò)內(nèi)反透視變換投影使得在常規(guī)圖像視圖和俯視圖中都能方便地表示信息流.一個(gè)基于anchor的列輸出表示使得我們這個(gè)端到端的方法能夠替代傳統(tǒng)的啟發(fā)式方法，比如聚類和奇異點(diǎn)處理。此外，我們的方法精準(zhǔn)的解決了復(fù)雜情況，比如車道的合并以及車道的分開（比如一條車道延伸之后分叉類似這種情況）。在我們的new 3D lane synthetic dataset 上，架構(gòu)表現(xiàn)出了非常好的結(jié)果。為了和現(xiàn)有的方法作對比，我們驗(yàn)證了在image-only tuSimple lane detection benchmark 上的有效性，并獲得了非常具有競爭力的表現(xiàn)。

1.介紹

三維車道檢測是實(shí)現(xiàn)自動(dòng)駕駛的關(guān)鍵技術(shù)，它包括對相對于主控車輛的可行駛車道的三維位置的精確估計(jì)。存在兩種互補(bǔ)的技術(shù)解決方案:加載離線生成的預(yù)映射車道和基于感知的實(shí)時(shí)車道檢測。離線解決方案在給定精確當(dāng)前車輛定位(在地圖坐標(biāo)中)的情況下具有高的幾何精度，但是部署和維護(hù)起來很復(fù)雜。最常見的基于感知的解決方案是使用單目攝像頭作為主要傳感器來解決任務(wù)?，F(xiàn)有的基于相機(jī)的方法檢測圖像中的車道，然后通過平坦地面的假設(shè)，將它們投射到三維世界，當(dāng)然當(dāng)?shù)孛嫫教惯@個(gè)假設(shè)不對的時(shí)候，會(huì)導(dǎo)致不準(zhǔn)確的估計(jì)與檢測。

受到近年來CNN在單目深度信息預(yù)測的成功激勵(lì)，我們提出了直接檢測3D車道線的方法。更正式地說，給定從前置攝像頭拍攝的一張圖像，任務(wù)是輸出一組車道實(shí)體，每個(gè)實(shí)體在相機(jī)坐標(biāo)中表示為3D曲線，描述車道分隔符（分隔符就是傳統(tǒng)意義上的車道線）或車道中心線（中心線是兩條傳統(tǒng)意義上的車道線中間的線）。我們提出了3D- lanenet，一個(gè)基于CNN的模型，可以進(jìn)行3D車道檢測。該網(wǎng)絡(luò)經(jīng)過端到端的訓(xùn)練，輸出是在道路的每一個(gè)縱向切片上（道路被豎著分為很多的列，每一個(gè)列相當(dāng)于一個(gè)切片。），這些輸出包括車道線經(jīng)過這個(gè)縱向切片的置信，以及他的3D曲線坐標(biāo)。我們的方法原理在圖1中做了解釋。 我們直接的單階段的方法避免了使用現(xiàn)有方法進(jìn)行后處理，包括聚類，奇異點(diǎn)處理等。整個(gè)網(wǎng)絡(luò)的架構(gòu)基于一個(gè)創(chuàng)新的雙通路（并不是并行的）結(jié)構(gòu)，這個(gè)結(jié)構(gòu)在網(wǎng)絡(luò)內(nèi)部，對特征圖進(jìn)行一些透射投影變換以生成虛擬的鳥瞰視圖。這種雙特征表示（正常視圖特征，以及鳥瞰視圖特征，原文是image view 以及 top view）提高了在道路場景下，網(wǎng)絡(luò)的推斷能力。輸出被表示為一個(gè)新的基于列的anchor編碼（即在該anchor下的各種參數(shù)信息），這使得網(wǎng)絡(luò)具有水平不變形，并且保證了端到端。每個(gè)輸出都對應(yīng)一個(gè)anchor，類似于基于anchor的單階段目標(biāo)檢測辦法，比如SSD[20]，YOLO[27]。

圖1.(a)端到端的方法的原理圖解，以及在俯視圖上的車道檢測結(jié)果實(shí)例。(b)結(jié)果在原圖上的投影。

為了完成這項(xiàng)任務(wù)，獲取帶有3D標(biāo)記的地面真實(shí)數(shù)據(jù)是一項(xiàng)需要多傳感器和昂貴的高清地圖的工作，在我們的工作中，我們訓(xùn)練和測試我們的網(wǎng)絡(luò)通過一個(gè)新的和合成數(shù)據(jù)集synthetic-3D-lanes，你可以獲得每一條車道線的所有的精確3D位置坐標(biāo)。數(shù)據(jù)集目前限制在高速公路場景中，盡管有一些道路模擬器，但是他們的目的不是為了3D車道線檢測任務(wù)的。并且限制了相關(guān)場景屬性(如車道曲率)的可變性。我們在該領(lǐng)域的主要成就是能夠隨機(jī)生成具有可變?nèi)S形狀和車道拓?fù)浣Y(jié)構(gòu)的高速路段。而我們方法的主要優(yōu)勢在于估計(jì)3D車道線，還有純圖像進(jìn)行車道線檢測。我們在tuSimple數(shù)據(jù)集上對我們的直接方法進(jìn)行了訓(xùn)練和測試，在不使用通常的后處理技術(shù)的情況下，我們獲得了與現(xiàn)有技術(shù)相媲美的結(jié)果。
總結(jié)一下我們的主要貢獻(xiàn)：
定義了3D車道線檢測任務(wù)的度量標(biāo)準(zhǔn)，同時(shí)也第一個(gè)提出了3D檢測任務(wù)的解決辦法
一個(gè)創(chuàng)新的雙通路帶有內(nèi)部投影變換的結(jié)構(gòu).
一個(gè)新的基于anchor的車道線輸出表示，使得網(wǎng)絡(luò)支持直接的端到端的預(yù)測。這可以應(yīng)用于3D車道線檢測和基于圖像的檢測
一種隨機(jī)生成具有車道拓?fù)渥兓?車道數(shù)、匯集、分叉)和三維形狀的合成樣本的方法。

2. 相關(guān)工作

傳統(tǒng)的車道檢測系統(tǒng)(將低層次的操作(如方向?yàn)V波器)與高層次的啟發(fā)式(如霍夫變換)結(jié)合起來檢測圖像中的連續(xù)車道。一個(gè)通常的流程包括4個(gè)階段:局部車道特征提取(1)、車道模型擬合(2)、圖像與世界的對應(yīng)(3)，聚合(4)。近年來，局部特征提取階段是通過對圖像應(yīng)用一個(gè)或多個(gè)CNNs來完成的，但總體上流程仍然非常相似，后期處理仍然存在。

具體來說，CNNs可以通過增強(qiáng)邊緣圖或分類候選塊來改進(jìn)特征提取。Huval檢測本地車道線通過目標(biāo)檢測CNN。VPGNet Lee等人遵循類似的概念，并且額外檢測其他道路標(biāo)記和消失點(diǎn)，以改進(jìn)車道檢測。KIM和park重新定義了特征提取階段，將其作為一個(gè)分割問題，這個(gè)問題有兩個(gè)分類類別，左車道線和右車道線，延伸網(wǎng)絡(luò)的范圍來執(zhí)行（extending the reach of the network to perform clustering.）但是，仍然必須為每個(gè)cluster安裝一個(gè)世界坐標(biāo)車道模型，并且無法處理多車道問題。Nevenetal.[23]嘗試端到端多車道檢測，通過訓(xùn)練CNN不僅創(chuàng)建一個(gè)0，1車道像素掩碼，而且還為每個(gè)像素點(diǎn)嵌入用于聚類車道點(diǎn)的特征向量。Ghafooria提出使用生成對抗網(wǎng)絡(luò)使語義分割網(wǎng)絡(luò)的工作輸出在車道檢測的背景下更加真實(shí)。一些工作(如Meyer等人的，Oliveira等人的)是基于類似的方法構(gòu)建的，其中主車道和相鄰的車道是語義類(車道內(nèi)部整片而不是車道線)。

與所有提出的方法相反，3D- lanenet統(tǒng)一了前三個(gè)階段的共同流程，提供了一個(gè)完整的在三維世界坐標(biāo)體系的多車道表示方法，并且只通過一次前向傳播。此外，以往的方法采用平面假設(shè)進(jìn)行圖像到世界的對應(yīng)，而我們的方法估計(jì)了車道的整個(gè)三維形狀。

IPM通過相機(jī)視角圖像生成一個(gè)場景的虛擬的鳥瞰圖，這個(gè)的具體操作Mal-lot et al. [21]在障礙檢測中解釋了。并且第一次被Pomer-leau在車道線檢測中使用，IPM已經(jīng)在車道線檢測任務(wù)中被廣泛的使用，因?yàn)樵邙B瞰圖視角中，車道線相互平行，并且他們的曲率情況可以用低階多項(xiàng)式擬合。此外，進(jìn)行透視變換后，使得他們看起來更加的想近了，（當(dāng)然會(huì)有一些模糊效果）（本來遠(yuǎn)處的車道線在相機(jī)圖像上比較小。）最近，He等人引入了一種“Dual-viewCNN”它由兩個(gè)獨(dú)立的子網(wǎng)絡(luò)組成，每個(gè)子網(wǎng)絡(luò)產(chǎn)生一個(gè)車道線描述(每個(gè)視圖一個(gè)車道線描述)，然后將描述符連接并應(yīng)用于候選圖像位置。Li等人使用CNN直接在鳥瞰圖上檢測車道標(biāo)記和幾何屬性，如局部位置和方向，在鳥瞰圖上，這些屬性保持不變。此外，他們還部署了第二個(gè)循環(huán)網(wǎng)絡(luò)，該網(wǎng)絡(luò)遍歷圖像以檢測一致的車道。Neven等人使用子網(wǎng)絡(luò)(“H-net”)預(yù)測每張圖像中的俯仰，將車道投影到俯視圖，以改進(jìn)曲線擬合。與以前的工作不同，我們使用協(xié)同的單一網(wǎng)絡(luò)方法來利用這兩種觀點(diǎn)。

更一般地，我們提出了第一種方法，這種方法使用端到端訓(xùn)練的CNN直接檢測多個(gè)車道，并估計(jì)每個(gè)車道的三維曲率。我們還展示了我們的方法既適用于中心線，也適用于通常意義下的車道線，并且具有處理匯聚和分叉的能力，無需任何進(jìn)一步的后處理。

圖2.在測試集’synthetic-3D-lanes dataset’上，置信度大于0.5的車道中心線估計(jì)結(jié)果實(shí)例。在每一幅圖片中，對真值（藍(lán)色）和方法的結(jié)果（紅色）進(jìn)行了展示，并配有一個(gè)3D的可視化。需要主要的是，3D可視化軸的尺度根據(jù)場景而變化。被忽略的車道被標(biāo)記為藍(lán)綠色。右下角是一個(gè)失敗的例子，可能是由于阻塞，在這個(gè)例子中，這條路被錯(cuò)誤地認(rèn)為是右車道。

3.方法

我們的方法從安裝在車輛上的前置攝像頭獲取單個(gè)圖像作為輸入，如圖4。我們假設(shè)相機(jī)的內(nèi)參矩陣κ已知（焦距，光心）我們還假設(shè)車輛相對于路面的側(cè)傾角為0。我們假設(shè)不知道高度和俯仰角，因?yàn)殡S著車輛的動(dòng)力學(xué)運(yùn)動(dòng)，他們是會(huì)改變的。道路場景中的車道線可以被表示為中心線的集合{Ci}i=1:Nc或者車道線的集合{Di}i=1:Nd（之后車道線就指代傳統(tǒng)的我們說的車道線，中心線就是兩條車道線中的線）,如圖3所示。每條車道實(shí)體(中心線或車道線)用攝像機(jī)坐標(biāo)體系Ccamera下的三維曲線表示。我們將任務(wù)定義為檢測給定圖像的一組車道中心線和車道線。

圖3. 帶注釋的例子。中心線用藍(lán)色標(biāo)出，車道線用黃色虛線標(biāo)出


圖4.相機(jī)姿態(tài)和道路投影面


3.1俯視圖投影
我們簡要回顧 (IPM)。簡而言之，IPM是一個(gè)單應(yīng)性變換，它獲取一個(gè)前視圖圖像并生成一個(gè)虛擬鳥瞰視圖圖像，如圖1(a)中的圖像所示。這相當(dāng)于應(yīng)用相機(jī)旋轉(zhuǎn)矩陣，然后在各個(gè)方向上進(jìn)行不同尺度的縮放（放大或縮?。┨幚?。在我們的實(shí)現(xiàn)中，我們想要確保鳥瞰視圖圖像中的每個(gè)像素在道路上對應(yīng)一個(gè)預(yù)定義位置（路面坐標(biāo)系下的絕對位置），這個(gè)位置獨(dú)立于攝像機(jī)的內(nèi)部特性及其相對于道路的姿態(tài)。

如圖4所示，對照此圖進(jìn)行定義，相機(jī)坐標(biāo)Ccamera = (´x,´y,´z) 是一個(gè)集合，´y是他的鏡頭面法線（´y是深度方向），Proad是路面的切面。我們這樣定義路面坐標(biāo)系Croad=(x,y,z)，z方向是路面的法線，y是相機(jī)坐標(biāo)系´y在Proad的投影，原點(diǎn)也是相機(jī)坐標(biāo)系原點(diǎn)在路面切面上的投影，Tc2r是一個(gè)6自由度的變換矩陣（3個(gè)旋轉(zhuǎn)，3個(gè)平移），他描述從相機(jī)坐標(biāo)系到路面坐標(biāo)系的一個(gè)變換，既然我們假設(shè)了側(cè)傾角為0，那么Tc2r實(shí)際上被俯仰角θ以及高度hcam所定義。單應(yīng)性矩陣（K*Tc2r-1），將路面上的每一個(gè)點(diǎn)映射到圖像坐標(biāo)系上。最后IPM通過單應(yīng)性矩陣以及一組參數(shù)被獲得，決定了俯視圖上的邊界以及從米到像素的縮放尺度，俯視圖通過雙線性差值采樣，這個(gè)過程定義Sipm。

3.2射影轉(zhuǎn)換和雙特征模塊
在我們的結(jié)構(gòu)中一個(gè)主要的部分是射影變換層。它對Ui（普通圖像視圖）進(jìn)行可微采樣，獲得Ut，Ut對應(yīng)俯視特征圖。具體的在俯視圖投影部分講述了（就是三維的STN）。雙特征模塊，正如在圖5中所示，使用射影變換層，創(chuàng)造更高描述層級的特征圖。信息在在多通道的特征圖Ut（對應(yīng)正常視圖特征）和Vt（對應(yīng)俯視圖特征）之間流動(dòng)，使用上述的采樣方法（類STN方法）Ui被變換為Ut，并且和Vt合并，他么分享共同的空間尺度。以上就只這個(gè)基礎(chǔ)模塊，他可以在網(wǎng)絡(luò)中重復(fù)使用?？紤]現(xiàn)在有一個(gè)特征圖Mt，他的獲得是通過將Vt與Ut合并為[Vt;Ut]，然后應(yīng)用一個(gè)卷積層，獲得Mt，Mt組合了在車道線檢測中的兩個(gè)有用的性質(zhì)。1.首先，俯視圖上的平移不變性，這十分有價(jià)值，因?yàn)樵诟┮晥D上，車道線有著相似的樣子和空間上的幾何結(jié)構(gòu)。第二，保存了在兩個(gè)視角下的信息（正常視圖與俯視圖），正常視圖編碼了一些在俯視圖上沒有的信息，比如柵欄，天際線，樹木。這對于3D空間結(jié)構(gòu)至關(guān)重要。特別的，對于遠(yuǎn)處來說，正常視圖有著更加豐富的視覺信息，相比于俯視圖，描述了一個(gè)更大的真實(shí)空間。

圖5.雙特征模塊

3.3網(wǎng)絡(luò)架構(gòu)
架構(gòu)總覽如圖6所示，信息在兩條通路中被處理，正常視圖通路，俯視圖通路，我們管這個(gè)叫做雙通路結(jié)構(gòu)。正常視圖通路處理和保存信息，而俯視圖通路提供具有平移不變性的特征，并用于預(yù)測3D車道線輸出。正常視圖通路基于VGG16[29]，俯視圖通路類似。信息經(jīng)過射影變換層后流向俯視圖通路，這樣的通路有四條。為了避免流入的特征圖的通道(C)數(shù)超過原有的通道數(shù)，通過1*1的卷積對其進(jìn)行了降維，當(dāng)然除了第一次流入（第一次流入沒有原來的）。

圖6.3D-LaneNet的整體結(jié)構(gòu)

3.3.1道路投影預(yù)測分支
這條通路估計(jì)路面投影平面Proad，具體的，分支預(yù)測Tc2r（通過監(jiān)督方式），Tc2r決定了Hr2i，以及Sipm過程。這些是俯視圖處理通路所需要的參數(shù)。在推理時(shí)，也被用于將網(wǎng)絡(luò)的輸出，輸出是Croad坐標(biāo)轉(zhuǎn)換為Ccamera坐標(biāo)。正如前邊所描述過的，Tc2r使用俯仰角θ以及hcam定義的，因此道路投影預(yù)測分支預(yù)測這兩個(gè)參數(shù)。

3.3.2車道線預(yù)測頭
我們的端到端方法的核心是基于anchor的車道線結(jié)果表示，受到目標(biāo)檢測方法的啟發(fā)，我們使用anchors去定義候選車道線，并且用精細(xì)的幾何表示方法來描述每個(gè)anchor的精確的3D車道線形狀。輸出所在的坐標(biāo)體系是Croad，這個(gè)體系被前邊定義的hcam，和θ所定義。我們的ahcnors在這個(gè)坐標(biāo)系下對應(yīng)縱向線，對于每一個(gè)anchor，根據(jù)3D點(diǎn)，做最終3D車道線的精細(xì)化處理。正如圖7所展示的那樣。我們將anchor定義為垂直于x軸的等距縱向線，他的集合是{XiA}i=1:N，每一個(gè)XiA線對應(yīng)著2K個(gè)輸出，這個(gè)輸出集合表示為(xi,zi)={(xij,zij)}j=1:K，K是預(yù)先定義的一個(gè)超參數(shù)，對應(yīng)著預(yù)先定義好的K個(gè)y方向上的位置，他們一起組成一個(gè)3D點(diǎn)集。xi代表著相對于anchorXiA的水平偏移，這意味著(xi,zi)代表著點(diǎn)(xi,XiA,yi,zij)，這個(gè)坐標(biāo)是在Croad這個(gè)坐標(biāo)體系下的。此外對于每一個(gè)anchor i，我們還會(huì)輸出一個(gè)置信pi，這個(gè)代表著車道線與anchor的關(guān)聯(lián)程度。我們使用一個(gè)預(yù)先定義的縱坐標(biāo)Yref位置來表述這種關(guān)聯(lián)，具體來說與XiA相關(guān)聯(lián)的車道線，是在y = Yref這條水平線上，x的坐標(biāo)偏移最小的那條車道線（簡單看一下output的數(shù)量 2K個(gè)點(diǎn)加上一個(gè)置信p也就是說一個(gè)anchor對應(yīng)2K+1個(gè)輸出，如果只預(yù)測一條中心線，或者只預(yù)測一條車道線的話）。

圖7.輸出表示。注意輸出的anchor的數(shù)量等于輸出層的寬（圖6中被標(biāo)記為w/8）

每一個(gè)anchor，網(wǎng)絡(luò)輸出3種類型的車道分割，前兩組代表著中心線，第三組代表著分隔線，為每個(gè)anchor分配兩條可能的中心線將產(chǎn)生對匯聚和分叉的描述支持，這通常會(huì)導(dǎo)致兩條車道的中心線在Yref重合，并在不同的道路位置分開，如圖7中最右邊的例子所示。車道線的拓?fù)浣Y(jié)構(gòu)相比于中心線來說，通常會(huì)更加的復(fù)雜，我們現(xiàn)在的這種表示方式，還不能描述所有的情況，比如圖7中車道線沒有經(jīng)過Yref。車道線預(yù)測頭被設(shè)計(jì)為輸出如我們描述的那樣的輸出，通過一系列的y方向的無padding的卷積，特征圖在H方向上逐漸減小，最終形成N×1×3×(2K+1)的輸出（按照標(biāo)準(zhǔn)pytorch描述，可以說成是batch, (3*(2K+1),1,N)，前面最后一個(gè)之所以乘3，是對每一個(gè)車道輸出三種描述，分別是中心線，中心線，和車道線）中的一個(gè)i∈{1...N}，對應(yīng)著一個(gè)anchorXiA，每一個(gè)anchor，XiA，類型t∈{c1,c2,d}被輸出表示為(xti,zti,pti)，最終的輸出還會(huì)經(jīng)過一個(gè)1D的非極大抑制，就如在目標(biāo)檢測中的那樣，只保留局部最大置信度的車道(與左右相鄰anchor相比)，每一個(gè)被保留的車道線，都有少量的3D（K個(gè)）點(diǎn)，然后利用他們，利用樣條插補(bǔ)的方式完成光滑曲線的生成。


3.4訓(xùn)練與真值關(guān)聯(lián)
給定一個(gè)圖片，和他對應(yīng)的3D曲線，訓(xùn)練過程如下：第一真值坐標(biāo)系Croad被定義為與當(dāng)前路面切面相關(guān)的，使用θ和hcam定義的，如前面所描述的那樣。接下來，每一個(gè)車道曲線，投影到Croad坐標(biāo)系下的X–Y平面上，并且與他們關(guān)聯(lián)的anchor定義為在Yref處與他們最近的那個(gè)。（這里的關(guān)聯(lián)就是這個(gè)anchor負(fù)責(zé)預(yù)測哪個(gè)，與yolo里目標(biāo)中心落在哪個(gè)小方格中心，哪個(gè)小方格就預(yù)測誰類似）對于每一個(gè)anchor來說，最左側(cè)的中心線，以及最左側(cè)的車道線t∈{c1,c2,d}被定義為集合中的c1和d1，如果還有額外的中心線，那門它被定義為c2。這種方式將真值定義為與輸出相同的形式，每一個(gè)anchorXiA和類型t相關(guān)的GT被標(biāo)記為(xti,zti,pti)，pti是在坐標(biāo)系Croad下的分配標(biāo)識（我理解為有就是1，沒有就是0）。

在訓(xùn)練以及評估階段，整個(gè)車道將會(huì)被忽略，如果他們在俯視圖中在y = Yref處沒有值，并且如果他們被地形所擋住，他呢也將被忽略（比如被小山丘擋?。?，整個(gè)的loss函數(shù)被給出，如下，它結(jié)合了三個(gè)等權(quán)重的loss，車道線檢測（有無）（交叉熵?fù)p失）三維幾何形狀損失，以及道路平面估計(jì)損失。

4. 模仿合理行為

我們的實(shí)驗(yàn)描述按如下步驟：我們先回顧一下我們生成的synthetic-3D-lanes 數(shù)據(jù)集，我們的大多數(shù)結(jié)論產(chǎn)生于此。接下來，我們描述下對于3D車道檢測任務(wù)的評估方法，然后，我們展示在我們制作的這個(gè)數(shù)據(jù)及上的結(jié)果，以及控制變量法檢查每一個(gè)概念（方法）對于我們整個(gè)方法的貢獻(xiàn)。最后，為了證明我們的方法在真實(shí)數(shù)據(jù)上的可用性，我們將我們的方法與其他單圖片車道檢測辦法在tuSimple benchmark 上進(jìn)行了比較。

4.1合成的3D車道數(shù)據(jù)集
我們生成synthetic-3D-lanes 數(shù)據(jù)集使用考元的圖形引擎blender，我們的方法允許我們隨機(jī)生成模型的各個(gè)部分，從場景的3D幾何形狀，到目標(biāo)的類型，如圖8所示。

圖8.隨機(jī)生成的數(shù)據(jù)集。(a)路面(b)道路拓?fù)浣Y(jié)構(gòu)和曲率(c)路與路面(d)渲染場景。

生成每一個(gè)場景的步驟如下：
3D地形：地形通過隨機(jī)生成參數(shù)的高斯混合分布來生成，如圖8a所示。
地形拓?fù)洌很嚨赖臄?shù)量是被選定的，然后我們選擇是否有第二條路，和在這條路里的車道，取決于后來在場景中相機(jī)的方向，第二車道的連接被視為一個(gè)車道匯聚或者車道分叉。
車道曲率：每一個(gè)車道在俯視圖中的幾何形狀用三次多項(xiàng)式建模，如果存在匯聚/分叉，則選擇連接點(diǎn)，這個(gè)在俯視圖上的結(jié)果如圖8b所示，車道的寬度被隨機(jī)選擇為3到4米。
3D車道：俯視圖上生成的三次多項(xiàng)式會(huì)被映射到之前生成的地形上，第二車道也是，模仿正常道路的拓?fù)浣Y(jié)構(gòu)，如圖8c所示的那樣。
地形和道路表示：道路和地形的紋理是從一組紋理中選擇的。車道標(biāo)記的類型和顏色也是隨機(jī)的。
目標(biāo)：車輛和樹木分別擺放在場景中、道路上和道路外。它們的模型是從一組可選模型中選擇的。
場景生成：主車相機(jī)通過選擇它的車道和他相對于車道中心的橫向偏移放置在主道路上。相機(jī)的高度被隨機(jī)設(shè)置為140cm到190cm，俯仰角被隨機(jī)生成為0到5度，最終，光度被設(shè)置，并且場景從相機(jī)視角生成，每條車道中心線與車道線的3D點(diǎn)被轉(zhuǎn)換為相機(jī)坐標(biāo)系下的坐標(biāo)，來產(chǎn)生真值。圖8包括幾個(gè)場景的例子，展現(xiàn)了場景的多樣性與復(fù)雜性。
應(yīng)用細(xì)節(jié)：正常視圖通路用預(yù)訓(xùn)練的VGG16進(jìn)行初始化，我們使用adam優(yōu)化方法，學(xué)習(xí)率設(shè)置為5.1*10-4，我們使用在循環(huán)學(xué)習(xí)率上的變化機(jī)制如[30]中描述的那樣，并且設(shè)置最小的學(xué)習(xí)率為10-6俯視圖上的場景在真實(shí)場景中的尺寸為80m*20m，IPM在x與y兩個(gè)方向上具有不同的縮放尺度，在第一次俯視圖特征圖上（第一次變換的）每一個(gè)像素點(diǎn)代表著真實(shí)世界16cm的寬度（x向）和38.4cm的長度（y向）最后一張?zhí)卣鲌D的邊長是第一張的八分之一，并且每一列代表一個(gè)anchor，所以兩個(gè)臨近的anchor之間的距離為真實(shí)世界中的128cm（16*8），我們將K設(shè)置為6，預(yù)設(shè)的y的位置為:y={5,20,40,60,80,100}和Yref=20m。

4.1.1評估方法
我們提出一種對于3D車道檢測的評估辦法，他講檢測的準(zhǔn)確率與幾何估計(jì)準(zhǔn)確率分割開來，檢測準(zhǔn)確率通過標(biāo)準(zhǔn)的平均精度辦法(AP)來計(jì)算回歸曲線的精度。我們首先計(jì)算真值曲線與預(yù)測曲線的加權(quán)歐式距離，我們計(jì)算在預(yù)先設(shè)定的各個(gè)y位置上距離，每80cm的圖片距離代表實(shí)際的80m，遠(yuǎn)處的點(diǎn)的距離計(jì)算給予較低的權(quán)重，然后，我們通過選擇減少相似性的配對來執(zhí)行一對一(曲線)匹配，當(dāng)他們的加權(quán)距離小于一個(gè)閾值，匹配被認(rèn)為是成功的，迭代這個(gè)閾值，已獲得更加精確地閾值。

對于配對的曲線，我們評估幾何估計(jì)精度通過計(jì)算他們誤差的分布，（這在計(jì)算距離的時(shí)候用到過），我們將整個(gè)數(shù)據(jù)集的車道線點(diǎn)分為近距離（0-30m）與遠(yuǎn)距離（30-80m）由于他們誤差的巨大差異。然后我們計(jì)算誤差為1δ誤差的，比如百分之68這樣，還有誤差為2δ誤差的，比如百分之95類似這樣，道路中心線與車道線都各自用這種方法評估。在訓(xùn)練階段被忽略的那些點(diǎn)，在評估的時(shí)候也被忽略。

4.1.2評估結(jié)果
在測試集上典型的網(wǎng)絡(luò)結(jié)果如圖2，用真值做標(biāo)記。表1第一行為3D-LaneNet中心線檢測定量結(jié)果。一個(gè)對合成數(shù)據(jù)集有必要的擔(dān)心是，他的變換實(shí)在是太有限了，導(dǎo)致網(wǎng)絡(luò)記住了整個(gè)樣例空間，而不是去學(xué)習(xí)如何泛化，一個(gè)積極地結(jié)果表明這種情況沒有發(fā)生是測試集的AP(0.952)略低于訓(xùn)練集AP（0.966）對于幾何誤差也是同樣的。在接下來的控制變量實(shí)驗(yàn)中，我們都用訓(xùn)練好的3D-LaneNet的參數(shù)做初始化，用以減少訓(xùn)練時(shí)間。
表1.在synthetic-3D-lanes dataset 上的中心線檢測結(jié)果


我們首先通過與其他結(jié)構(gòu)進(jìn)行比較來探求雙通路結(jié)構(gòu)的作用，只有正常視圖通路的版本，將網(wǎng)絡(luò)后部分直接連接到lane detection head 輸出Croad下的3D坐標(biāo)，就如完整版本那樣，這個(gè)時(shí)候anchor 被最后一張?zhí)卣鲌D上的列所決定，對于每一列，我們在預(yù)定義的圖像y坐標(biāo)上選取一個(gè)像素，并將其投影到俯視圖中，以確定與列對應(yīng)的anchor。只有俯視圖版本，首先將圖片投影到俯視圖上，然后后面繼續(xù)進(jìn)行和完整版本的俯視圖通路同樣的計(jì)算。除此之外，我們還測試了兩個(gè)版本，它們包含雙通路結(jié)構(gòu)，但是這個(gè)機(jī)構(gòu)的個(gè)數(shù)和位置不同。Early IPM版本包含一個(gè)雙特征模塊（dual context module），并且是第一個(gè)，late IPM同樣只包含一個(gè)，不過包含的的是最后那個(gè)。結(jié)果在被總結(jié)在表格1中，結(jié)果表示了，帶有完全體雙特征模塊的相對于其他變體有著非常好的超級表現(xiàn)，特別的，只有正常視圖通路的有著最差的結(jié)果，這說明，俯視圖通路的處理是十分有必要的。注意late ipm版本，只包含一個(gè)雙特征模塊，表現(xiàn)出了第二高的準(zhǔn)確率，但是卻減少了很多的計(jì)算，這使他成為一個(gè)可實(shí)時(shí)應(yīng)用的候選模型。

我們嘗試了幾個(gè)版本的道路投影平面定義，這是我們架構(gòu)和輸出表示的核心，我們的第一個(gè)嘗試是在沒有顯示監(jiān)督的情況下，學(xué)習(xí)每個(gè)場景的最佳道路投影平面，類似于[23]中的“H-net”地平線估計(jì)，但是這種方法沒有得到令人滿意的結(jié)果。我們認(rèn)為這一方向值得進(jìn)一步研究，因?yàn)檫@是最自然的方向。另一個(gè)自然的選擇是在擬合道路平面時(shí)考慮整個(gè)場景，而不僅僅是局部道路的發(fā)現(xiàn)。為此，我們設(shè)計(jì)了一種地面真值生成算法，該算法取最遠(yuǎn)處可見的道路點(diǎn)，并將其與當(dāng)前道路位置相連接以確定俯仰角。由于這種方法類似于水平估計(jì)方法，所以在表格中將其稱為水平（horizon）。顯然，它的表現(xiàn)總的來說略差，雖然我們一直觀察的情況下，場景地形有利于這一定義。我們也嘗試假設(shè)一個(gè)固定的相機(jī)位置，其中平均俯仰角為(2.5?)和相機(jī)高度(165厘米)這兩個(gè)數(shù)據(jù)被用來定義Tc2r。

表格1中的最后一行顯示了假定地面是平坦的圖像到世界轉(zhuǎn)換的結(jié)果。這通過將我們完整版的網(wǎng)絡(luò)中估計(jì)的z設(shè)置為0來實(shí)現(xiàn)。盡管這個(gè)糟糕的結(jié)果有一些繁瑣，并且有著高度的數(shù)據(jù)依賴性，但他還是告訴我們3D車道探測的重要性。帶著0.966的AP，完整版的3D車道檢測網(wǎng)絡(luò)在車道線的檢測上超過了中心線的檢測，這可能是因?yàn)樵趫D片中，車道線有比較明顯的顯示。在他們的位置誤差分布上也是同樣的（nearrange: 10.5cm@1σ,28cm@2σ; far range:27.3cm@1σ and 106cm@2σ）

既然輸出從路面坐標(biāo)系通過Tc2r轉(zhuǎn)換到了相機(jī)坐標(biāo)系，我們也評估了這種估計(jì)的質(zhì)量以及他對最終結(jié)果的影響。俯仰角和相機(jī)高度誤差的中位數(shù)為0.09°和2.4cm，為了消除這兩個(gè)誤差對最終結(jié)果所造成的影響，我們評估了Croad下的坐標(biāo)，方法是通過直接拿到網(wǎng)絡(luò)的原始輸出。

5. 總結(jié)及未來工作

我們提出了一個(gè)單幀單次cnn前向傳播，不需要其他后續(xù)處理工作的車道檢測辦法。在tuSimple benchmark 上，我們展現(xiàn)了富有競爭力的結(jié)果，并且在我們合成的3D車道線數(shù)據(jù)及上，我們的方法能夠進(jìn)行多車道的3D檢測。最重要的是，接下來的研究證明了這是可以應(yīng)用在真是世界的數(shù)據(jù)上的。我們現(xiàn)在的表示在（在縱向上的anchor，判斷Yref存在與否）還比較粗糙，這限制了該方法對車道復(fù)雜拓?fù)浣Y(jié)構(gòu)的表示，比如城市內(nèi)部，在接下來的工作中，我們會(huì)更新我們的表示方法使用端到端的機(jī)制來來處理這些情況。