日本无码免费高清在线|成人日本在线观看高清|A级片免费视频操逼欧美|全裸美女搞黄色大片网站|免费成人a片视频|久久无码福利成人激情久久|国产视频一二国产在线v|av女主播在线观看|五月激情影音先锋|亚洲一区天堂av

  • 手機(jī)站
  • 小程序

    汽車測(cè)試網(wǎng)

  • 公眾號(hào)

    • 汽車測(cè)試網(wǎng)

    • 在線課堂

    • 電車測(cè)試

一文讀懂基于DL的無(wú)人駕駛視覺(jué)感知系統(tǒng)的應(yīng)用場(chǎng)景

2019-10-11 22:42:08·  來(lái)源：數(shù)理之家  
　
基于深度學(xué)習(xí)的計(jì)算機(jī)視覺(jué)，應(yīng)用于無(wú)人駕駛的視覺(jué)感知系統(tǒng)中，主要分為四大塊：- 動(dòng)態(tài)物體檢測(cè)（Dynamic Object Detection）-通行空間（Free Space）-車道線檢測(cè)
 

基于深度學(xué)習(xí)的計(jì)算機(jī)視覺(jué)，應(yīng)用于無(wú)人駕駛的視覺(jué)感知系統(tǒng)中，主要分為四大塊：

- 動(dòng)態(tài)物體檢測(cè)（Dynamic Object Detection）

- 通行空間（Free Space）

- 車道線檢測(cè)（Lane Detection）

- 靜態(tài)物體檢測(cè)（Static Object Detection）

主要從需求、難點(diǎn)、實(shí)現(xiàn)三個(gè)方面對(duì)每項(xiàng)感知部分做剖析。上述檢測(cè)的難度從難到易排序：DOD>FS=LD>SOD。

1.動(dòng)態(tài)物體檢測(cè)

檢測(cè)需求：對(duì)車輛（轎車、卡車、電動(dòng)車、自行車）、行人等動(dòng)態(tài)物體的識(shí)別；

檢測(cè)難點(diǎn)：（三座大山：檢測(cè)類別多、多目標(biāo)追蹤難度大、測(cè)距精度足夠準(zhǔn)）

（1）遮擋情況情況較多，heading朝向的問(wèn)題，測(cè)距精準(zhǔn)度

（2）行人、車輛類型種類較多，難以覆蓋，容易誤檢（集裝箱vs卡車、樹干vs行人）

（3）加入追蹤，id切換的問(wèn)題。3D物體檢測(cè)
 

 
實(shí)現(xiàn)方案：相機(jī)的內(nèi)外參標(biāo)定；對(duì)動(dòng)態(tài)物體的檢測(cè)，尤其是車輛的檢測(cè)，是需要給出車輛的3D bounding box的（給出一個(gè)偽3D也是可以的），所以在神經(jīng)網(wǎng)絡(luò)的訓(xùn)練打標(biāo)簽時(shí)與普通的2D檢測(cè)有區(qū)別，3D的好處在于能給出車的一個(gè)heading信息，以及車的高度信息。車輛及行人都要給出對(duì)應(yīng)的id號(hào)，要加入多目標(biāo)跟蹤算法，遮擋情況下的id難以維持，這是一個(gè)難點(diǎn)。另外神經(jīng)網(wǎng)絡(luò)提取特征能力再?gòu)?qiáng)大，也不能cover掉所有的動(dòng)態(tài)物體檢測(cè)，可以依據(jù)現(xiàn)實(shí)場(chǎng)景增加一些幾何約束條件（如汽車的長(zhǎng)寬比例固定，卡車的長(zhǎng)寬比例固定，車輛的距離不可能突變，行人的高度有限等），增加幾何約束的好處是提高檢測(cè)率，降低誤檢率，如轎車不可能誤檢為卡車；方案是訓(xùn)練一個(gè)3D檢測(cè)模型（2.5D也行）加后端多目標(biāo)追蹤優(yōu)化加基于單目視覺(jué)幾何的測(cè)距方法。
 
對(duì)于動(dòng)態(tài)物體的檢測(cè)，最后需要結(jié)合激光雷達(dá)的結(jié)果進(jìn)行融合，在夜間、雨雪天氣，視覺(jué)無(wú)法處理；同時(shí)，有激光雷達(dá)信息，對(duì)于車輛的朝向信息判斷更準(zhǔn)確，僅憑一個(gè)攝像頭去做檢測(cè)、去做heading、去做精準(zhǔn)的距離判斷，難度太大。

結(jié)合激光雷達(dá)，夜晚能準(zhǔn)確給出車輛的heading信息
 
2.通過(guò)空間檢測(cè)
  
檢測(cè)需求：對(duì)車輛行駛的安全邊界（可行駛區(qū)域）進(jìn)行劃分，主要對(duì)車輛、普通路邊沿、側(cè)石邊沿、沒(méi)有障礙物可見(jiàn)的邊界、未知邊界進(jìn)行劃分。
 

 綠色代表可通行區(qū)域
 
檢測(cè)難點(diǎn)：
 
（1）復(fù)雜環(huán)境場(chǎng)景時(shí)，邊界形狀復(fù)雜多樣，導(dǎo)致泛化難度較大。不同于其它的檢測(cè)有明確的檢測(cè)類型（如車輛、行人、交通燈），通行空間需要把本車的行駛安全區(qū)域劃分出來(lái)，需要對(duì)凡是影響本車前行的障礙物邊界全部劃分出來(lái)，如平常不常見(jiàn)的水馬、錐桶、坑洼路面、非水泥路面、綠化帶、花磚型路面邊界、十字路口、T字路口等進(jìn)行劃分。
 
（2）標(biāo)定參數(shù)校正；在車輛加減速、路面顛簸、上下坡道時(shí)，會(huì)導(dǎo)致相機(jī)俯仰角發(fā)生變化，原有的相機(jī)標(biāo)定參數(shù)不再準(zhǔn)確，投影到世界坐標(biāo)系后會(huì)出現(xiàn)較大的測(cè)距誤差，通行空間邊界會(huì)出現(xiàn)收縮或開放的問(wèn)題。
 
（3）邊界點(diǎn)的取點(diǎn)策略和后處理；通行空間考慮更多的是邊緣處，所以邊緣處的毛刺，抖動(dòng)需要進(jìn)行濾波處理，使邊緣處更平滑。障礙物側(cè)面邊界點(diǎn)易被錯(cuò)誤投影到世界坐標(biāo)系，導(dǎo)致前車隔壁可通行的車道被認(rèn)定為不可通行區(qū)域，如下圖所示。

 
視覺(jué)感知結(jié)果與實(shí)際投影到世界坐標(biāo)系下是有差別的
 
實(shí)現(xiàn)方案：相機(jī)標(biāo)定（若能在線標(biāo)定最好，精度可能會(huì)打折扣），若不能實(shí)現(xiàn)實(shí)時(shí)在線標(biāo)定功能，增加讀取車輛的IMU信息，利用車輛IMU信息獲得的俯仰角自適應(yīng)地調(diào)整標(biāo)定參數(shù)；選取輕量級(jí)合適的語(yǔ)義分割網(wǎng)絡(luò)，對(duì)需要分割的類別打標(biāo)簽，場(chǎng)景覆蓋盡可能的廣；描點(diǎn)操作（極坐標(biāo)的取點(diǎn)方式），邊緣點(diǎn)平滑后處理操作（濾波算法）。
 
3.車道線檢測(cè)
  
檢測(cè)需求：對(duì)各類車道線（單側(cè)/雙側(cè)車道線、實(shí)線、虛線、雙線）進(jìn)行檢測(cè)，還包括線型的顏色（白色/黃色/藍(lán)色）以及特殊的車道線（匯流線、減速線等）的檢測(cè)。 

直觀感受車道線的檢測(cè)
 
標(biāo)準(zhǔn)單一情況下的車道線識(shí)別難度不大，路況大都是平行筆直的實(shí)線或虛線（如特斯拉支持高速公路的輔助駕駛，它們的車道線檢測(cè)擬合的效果極好）。車道線的檢測(cè)難點(diǎn)在于:
 
（1）線型種類多，不規(guī)則路面檢測(cè)車道線難度大；如遇地面積水、無(wú)效標(biāo)識(shí)、修補(bǔ)路面、陰影情況下的車道線容易誤檢、漏檢。
 
（2）上下坡、顛簸路面，車輛啟停時(shí)，容易擬合出梯形、倒梯形的車道線。
 
（3）彎曲的車道線、遠(yuǎn)端的車道線、環(huán)島的車道線，車道線的擬合難度較大，檢測(cè)結(jié)果易閃爍；
 
實(shí)現(xiàn)方案：傳統(tǒng)的圖像處理算法需經(jīng)過(guò)攝像頭的畸變校正，對(duì)每幀圖片做透視變換，將相機(jī)拍攝的照片轉(zhuǎn)到鳥瞰圖視角，再通過(guò)特征算子或顏色空間來(lái)提取車道線的特征點(diǎn)，使用直方圖、滑動(dòng)窗口來(lái)做車道線曲線的擬合，傳統(tǒng)算法最大的弊端在于場(chǎng)景的適應(yīng)性不好。采用神經(jīng)網(wǎng)絡(luò)的方法進(jìn)行車道線的檢測(cè)跟通行空間檢測(cè)類似，選取合適的輕量級(jí)網(wǎng)絡(luò)，打好標(biāo)簽；車道線的難點(diǎn)在于車道線的擬合（三次方程、四次方程），所以在后處理上可以結(jié)合車輛信息（速度、加速度、轉(zhuǎn)向）和傳感器信息做航位推算，盡可能的使車道線擬合結(jié)果更佳。
 
市區(qū)道路車道線檢測(cè)

4.靜態(tài)物體檢測(cè)：

Tesla Model3 Autopilot渲染在HMI界面的車道線結(jié)果（極其穩(wěn)定，極其魯棒）

靜態(tài)物體檢測(cè)：

檢測(cè)需求：對(duì)交通紅綠燈、交通標(biāo)志等靜態(tài)物體的檢測(cè)識(shí)別；

檢測(cè)難點(diǎn)：（1）紅綠燈、交通標(biāo)識(shí)屬于小物體檢測(cè)，在圖像中所占的像素比極少，尤其遠(yuǎn)距離的路口，識(shí)別難度更大。如下圖紅綠燈在1920*1208的像素層面上占據(jù)的像素大小僅為18*45pixel左右，在強(qiáng)光照的情況下，人眼都難以辨別，而停在路口的斑馬線前的汽車，需要對(duì)紅綠燈進(jìn)行正確的識(shí)別才能做下一步的判斷。

感受一下紅綠燈識(shí)別的難度
 
（2）交通標(biāo)識(shí)種類眾多；采集到的數(shù)據(jù)易出現(xiàn)數(shù)量不均勻的情況。

交通標(biāo)識(shí)牌種類
 
（3）交通燈易受光照的影響，在不同光照條件下顏色難以區(qū)分（紅燈與黃燈），且到夜晚時(shí)，紅燈與路燈、商店的燈顏色相近，易造成誤檢；

實(shí)現(xiàn)方案：通過(guò)感知去識(shí)別紅綠燈，有一種舍身取義的感覺(jué)，效果一般，適應(yīng)性差，條件允許的話(如固定園區(qū)限定場(chǎng)景)，該裝V2X就裝V2X,多個(gè)備份冗余，V2X > 高精度地圖 > 感知識(shí)別。若碰上GPS信號(hào)弱的時(shí)候，感知識(shí)別可以出場(chǎng)了，大部分情況，V2X足以Cover掉大部分的場(chǎng)景。感知方案的具體實(shí)現(xiàn)參照文章，主要為紅綠燈數(shù)據(jù)集采集，標(biāo)簽處理，檢測(cè)模型訓(xùn)練，算法部署，追蹤后端優(yōu)化，接口開發(fā)；

紅綠燈的算法開發(fā)可以參考：

（1）真值的來(lái)源。定義，校準(zhǔn)，分析比對(duì)，絕不是看檢測(cè)結(jié)果的map或幀率，需要以激光的數(shù)據(jù)或者RTK的數(shù)據(jù)作為真值來(lái)驗(yàn)證測(cè)距結(jié)果在不同工況（白天、雨天、遮擋等情況下）的準(zhǔn)確性；

（2）硬件幀率、資源消耗。多個(gè)網(wǎng)絡(luò)共存，多個(gè)相機(jī)共用都是要消耗cpu、gpu資源的，如何處理好這些網(wǎng)絡(luò)的分配，多個(gè)網(wǎng)絡(luò)的前向推理可能共用一些卷積層，能否復(fù)用；引入線程、進(jìn)程的思想來(lái)處理各個(gè)模塊，更高效的處理協(xié)調(diào)各個(gè)功能塊；在多相機(jī)讀取這一塊，做到多目輸入的同時(shí)不損失幀率，在相機(jī)碼流的編解碼上做些工作。

（3）多目融合的問(wèn)題。一般在汽車上會(huì)配備4個(gè)（前、后、左、右）四個(gè)相機(jī)，對(duì)于同一物體從汽車的后方移動(dòng)到前方，即后視相機(jī)可以看到，再移至側(cè)視相機(jī)能看到，最后移至前視相機(jī)能看到，在這個(gè)過(guò)程中，物體的id應(yīng)保持不變（同一個(gè)物體，不因相機(jī)觀測(cè)的變化而改變）、距離信息跳變不宜過(guò)大（切換到不同相機(jī)，給出的距離偏差不宜太大，）

（4）多場(chǎng)景的定義。針對(duì)不同的感知模塊，需要對(duì)數(shù)據(jù)集即場(chǎng)景定義做明確的劃分，這樣在做算法驗(yàn)證的時(shí)候針對(duì)性更強(qiáng)；如對(duì)于動(dòng)態(tài)物體檢測(cè)，可以劃分車輛靜止時(shí)的檢測(cè)場(chǎng)景和車輛運(yùn)動(dòng)時(shí)的場(chǎng)景。對(duì)于交通燈的檢測(cè)，可以進(jìn)一步細(xì)分為左轉(zhuǎn)紅綠燈場(chǎng)景、直行紅綠燈、掉頭紅綠燈等特定場(chǎng)景。公用數(shù)據(jù)集與專有數(shù)據(jù)集的驗(yàn)證。

（5）回放工具驗(yàn)證，感知輸出的離線數(shù)據(jù)分析。肉眼觀察視覺(jué)感知的效果是不可靠的，需要將視覺(jué)檢測(cè)的結(jié)果，激光的結(jié)果，RTK的結(jié)果都統(tǒng)一在回放工具上，對(duì)視覺(jué)檢測(cè)的結(jié)果進(jìn)行離線分析，包括距離誤差的分析、檢測(cè)效果與距離的分析、曲線擬合的分析等等，完成這些工作需要統(tǒng)一時(shí)間戳，同時(shí)輸出視覺(jué)檢測(cè)結(jié)果的類別信息，距離信息和作為真值傳感器的輸出信息，進(jìn)行分析對(duì)比，以此驗(yàn)證視覺(jué)感知結(jié)果的好壞。上述為視覺(jué)感知中的具體實(shí)現(xiàn)模塊功能。

目前圍繞無(wú)人駕駛汽車做基于深度學(xué)習(xí)開發(fā)的獨(dú)角獸企業(yè)（融資過(guò)億美刀）：

圖森（基于深度學(xué)習(xí)計(jì)算機(jī)視覺(jué)的智能集卡）

momenta（提供基于深度學(xué)習(xí)的計(jì)算視覺(jué)解決方案，自主泊車）

地平線（基于深度學(xué)習(xí)的芯片硬件設(shè)計(jì)，提供整套軟硬件方案）

Pony.ai(整車系統(tǒng)開發(fā)的無(wú)人駕駛)

圍繞深度學(xué)習(xí)開發(fā)的大廠：

華為、滴滴、百度、上汽、蔚來(lái)。
 
 
分享到：
 
反對(duì) 0 舉報(bào) 0 收藏 0 評(píng)論 0
滬ICP備11026917號(hào)-25