汽車數(shù)據(jù)采集可以分為兩大類，一類是駕駛者行為數(shù)據(jù)采集，另一類是深度學(xué)習(xí)視覺(jué)訓(xùn)練數(shù)據(jù)采集。數(shù)據(jù)采集必然是有選擇性的，最簡(jiǎn)單也最普遍的一類機(jī)器學(xué)習(xí)算法就是分類（classification）。

對(duì)于分類，輸入的訓(xùn)練數(shù)據(jù)有特征（feature），有標(biāo)簽（label）。所謂的學(xué)習(xí)，其本質(zhì)就是找到特征和標(biāo)簽間的關(guān)系（mapping）。這樣當(dāng)有特征而無(wú)標(biāo)簽的未知數(shù)據(jù)輸入時(shí)，我們就可以通過(guò)已有的關(guān)系得到未知數(shù)據(jù)標(biāo)簽。如果所有訓(xùn)練數(shù)據(jù)都有標(biāo)簽，則為有監(jiān)督學(xué)習(xí)（supervised learning）。如果數(shù)據(jù)沒(méi)有標(biāo)簽，顯然就是無(wú)監(jiān)督學(xué)習(xí)（unsupervisedlearning）了，也即聚類（clustering）。聚類學(xué)習(xí)目前處于起步階段，與分類學(xué)習(xí)比簡(jiǎn)直是天壤之別，即便不需要標(biāo)注，但是也需要特征，某種意義上也可以說(shuō)不是絕對(duì)意義的無(wú)監(jiān)督學(xué)習(xí)。

駕駛者行為數(shù)據(jù)，這是評(píng)價(jià)ADAS系統(tǒng)最客觀的方法，根據(jù)此數(shù)據(jù)分析可以得出ADAS系統(tǒng)是否對(duì)駕駛安全有提升，是否有價(jià)值。最知名的則是由美國(guó)策略性公路研究計(jì)劃 (The second StrategicHighway Research Program, SHRP 2) 中的自然駕駛研究計(jì)劃 (Naturalistic Driving Study,NDS)。行駛于弗吉尼亞州北部(NorthernVirginia) 及華盛頓哥倫比亞特區(qū) (Washington, D.C.) 中之 100 輛被選定的機(jī)動(dòng)車輛為記錄對(duì)象，且為了能夠記錄駕駛?cè)藢?shí)際的駕駛情況，其計(jì)劃執(zhí)行單位并沒(méi)有針對(duì)被選駕駛?cè)伺e辦關(guān)于此研究計(jì)劃的說(shuō)明會(huì)。這些實(shí)驗(yàn)是在無(wú)干擾，無(wú)實(shí)驗(yàn)人員出現(xiàn)，日常駕駛狀態(tài)下進(jìn)行的。此計(jì)劃總共為期兩年，其總共搜集 2000000 車行里程 (vehicle miles) 及 43000 小時(shí)的行駛數(shù)據(jù)。其中，總共記錄828 筆事故及幾近事故資料，其中包含 68 件碰撞(crash) 及 760 件幾近碰撞(near-crash)。

2012年NDS項(xiàng)目擴(kuò)展到中國(guó)，上海同濟(jì)大學(xué)、通用汽車和弗吉尼亞理工大學(xué)三方合作，在2012年12月開(kāi)始，于2015年12月結(jié)束，按計(jì)劃采集90名中國(guó)駕駛員的日常駕駛行為數(shù)據(jù)，每輛車均配備Mobileye的C2-270（FCW)和SHRP2 NextGen數(shù)據(jù)采集系統(tǒng)?？偣?輛車，分別是2輛君越，2輛科魯茲，1輛卡迪拉克DTS。每位實(shí)驗(yàn)者駕駛實(shí)驗(yàn)車輛2個(gè)月，第一個(gè)月開(kāi)啟Mobileye，第二個(gè)月關(guān)閉。SHRP2 NextGen數(shù)據(jù)采集系統(tǒng)包括車輛數(shù)據(jù)總線接口，三軸加速度計(jì)，可跟蹤9個(gè)目標(biāo)的毫米波雷達(dá)，溫度與濕度傳感器，GPS定位系統(tǒng)，四路攝像頭，這四路分別是駕駛者面部，車輛前方，車輛后方，駕駛員手部。采集頻率從10-100Hz不等。需要指出，沒(méi)有廠家開(kāi)放CAN總線，OBD根本拿不到什么有價(jià)值的數(shù)據(jù)。 據(jù)說(shuō)SHRP2 NextGen 由日本富士通設(shè)計(jì)并制造，使用了高性能FPGA。



上圖為裝載了SHARP2 NextGen的車輛后備箱，需要指出這是2008年的設(shè)計(jì)，換到今日，體積可以大幅度縮小。

截至到2015年7月，上海的NDS研究共采集了55名駕駛員，大約13萬(wàn)公里的駕駛數(shù)據(jù)。選擇19名典型駕駛員數(shù)據(jù)分析，共4573次出行，累計(jì)公里數(shù)為60689公里。其中32797采集自Mobileye關(guān)閉階段，27892公里采集自Mobileye開(kāi)啟階段。駕駛員年齡分布在28-61歲之間，平均年齡40.9歲，駕齡在1-16年之間，平均駕齡6.6年。

研究結(jié)論表明FCW對(duì)駕駛員行為并未有明顯改變，只是略微降低了駕駛員跟車的反應(yīng)時(shí)間。光線晴好的情況下，略微降低了130毫秒，反應(yīng)時(shí)間變短，只是稍微加速了交通流的速度。

歐洲也有類似的項(xiàng)目，名字為EuroFOT，主要在西班牙和德國(guó)開(kāi)展，包括商用車。德國(guó)車隊(duì)有200輛車，包括60輛MAN卡車，100輛福特轎車和40輛大眾轎車。福特車輛均配備了FCW和ACC。MAN則配備了CSW(Curve Speed Warning)和LDW。大眾則配備了ACC和LDW。主要研究ACC、LDW、CSW、FCW對(duì)駕駛員的影響。西班牙由CTAG（Centre Technologique de l'Automobile deGalice）主導(dǎo)，共40輛車，主要研究巡航控制和速度控制對(duì)駕駛員的影響。CTAG自己開(kāi)發(fā)了Can數(shù)據(jù)采集器。



西班牙的40輛車中35輛裝配低級(jí)采集設(shè)備，5輛裝配高級(jí)采集設(shè)備。



上圖為高級(jí)采集設(shè)備，包括1個(gè)紅外攝像頭、4個(gè)攝像頭和1個(gè)天合的AC20毫米波雷達(dá)。紅外攝像頭是個(gè)眼球軌跡跟蹤器。4個(gè)攝像頭，分別對(duì)應(yīng)腳下、臉部、前方和手部。至于研究成果，目前還未透露。

再有一類駕駛者行為數(shù)據(jù)采集是為了深度學(xué)習(xí)訓(xùn)練數(shù)據(jù)用的，試圖讓機(jī)器學(xué)習(xí)人類的駕駛技能，最早美國(guó)波音公司曾對(duì)其研究，論文為 A Survey of Robot Learning from Demonstration，提出LFD。后來(lái)美國(guó)陸軍實(shí)驗(yàn)室資助CMU開(kāi)發(fā)，主要研究者是David Silver, J. Andrew Bagnell 和 AnthonyStentz，這篇論文的名字為L(zhǎng)earning Autonomous Driving Styles and Maneuversfrom Expert Demonstration 進(jìn)一步發(fā)展LFD，最后就是英偉達(dá)的端到端深度學(xué)習(xí)。



訓(xùn)練數(shù)據(jù)包括從視頻中采樣得到的單幀視頻，以及對(duì)應(yīng)的方向控制命令（1/r）。只用駕駛員操作的數(shù)據(jù)訓(xùn)練遠(yuǎn)遠(yuǎn)不夠；網(wǎng)絡(luò)模型還需要學(xué)習(xí)如何糾正錯(cuò)誤的操作，否則汽車就會(huì)慢慢偏離公路了。于是，訓(xùn)練數(shù)據(jù)額外補(bǔ)充了大量圖像，包括汽車從車道中心的各種偏移和轉(zhuǎn)彎。

兩個(gè)特定的偏離中心的圖像可以從左和右兩臺(tái)相機(jī)得到。攝像機(jī)之間的其它偏離以及所有的旋轉(zhuǎn)都靠臨近攝像機(jī)的視角變換來(lái)仿真。精確的視角轉(zhuǎn)換需要具備3D場(chǎng)景的知識(shí)，而這套系統(tǒng)卻不具備這些知識(shí)，因此假設(shè)所有低于地平線的點(diǎn)都在地平面上，所有地平線以上的點(diǎn)都在無(wú)限遠(yuǎn)處，以此來(lái)近似地估計(jì)視角變換。在平坦的地區(qū)這種方法沒(méi)問(wèn)題，但是對(duì)于更完整的渲染，會(huì)造成地面上物體的扭曲，比如汽車、樹(shù)木和建筑等。英偉達(dá)認(rèn)為這些扭曲對(duì)網(wǎng)絡(luò)模型訓(xùn)練并無(wú)大礙。方向控制會(huì)根據(jù)變換后的圖像迅速得到修正，使得汽車能在兩秒之內(nèi)回到正確的位置和方向。


圖像輸入到CNN網(wǎng)絡(luò)計(jì)算方向控制命令。預(yù)測(cè)的方向控制命令與理想的控制命令相比較，然后調(diào)整CNN模型的權(quán)值使得預(yù)測(cè)值盡可能接近理想值。權(quán)值調(diào)整是由機(jī)器學(xué)習(xí)庫(kù)Torch 7的后向傳播算法完成。

日本人將這個(gè)系統(tǒng)擴(kuò)展，單靠攝像頭根本不可靠，激光雷達(dá)是少不了的。日本自動(dòng)駕駛聯(lián)盟SIP-AURAS將開(kāi)發(fā)駕駛者行為數(shù)據(jù)庫(kù)的任務(wù)交給了日本JARI，日本汽車研究院。



這套系統(tǒng)也可以用來(lái)研究駕駛者行為，也可以用來(lái)做訓(xùn)練數(shù)據(jù)。



日本汽車研究院與名古屋大學(xué)合作，計(jì)劃使用30輛車在日本全國(guó)采集數(shù)據(jù)。



日本的數(shù)據(jù)采集系統(tǒng)不僅有激光雷達(dá)，還有眼球與面部軌跡，還有心跳次數(shù)。



上圖為數(shù)據(jù)采集車。



激光雷達(dá)原始數(shù)據(jù)龐大，每秒大約300MB，轉(zhuǎn)換為JPEG格式的圖像后每秒大約3MB。

搜集深度學(xué)習(xí)訓(xùn)練數(shù)據(jù)做圖形識(shí)別最典型的莫過(guò)于KITTI。德國(guó)卡爾斯魯厄理工學(xué)院和芝加哥豐田技術(shù)研究所聯(lián)合建立的一個(gè)算法評(píng)測(cè)平臺(tái)KITTI，成為目前國(guó)際上公開(kāi)的最大的自動(dòng)駕駛場(chǎng)景下的計(jì)算機(jī)視覺(jué)算法評(píng)測(cè)數(shù)據(jù)集。有2012和2015兩個(gè)版本。其他比較知名的還有，Cityscapes，奔馳聯(lián)合德國(guó)老牌工科大學(xué)達(dá)姆施塔特工業(yè)大學(xué)、普朗克研究院、德累斯頓工業(yè)大學(xué)做的；劍橋大學(xué)的CamVid，牛津大學(xué)的Oxford RobotCar，斯坦福大學(xué)的ImageNet，英國(guó)利茲大學(xué)、蘇黎世工學(xué)院、愛(ài)丁堡大學(xué)、微軟劍橋研究院、牛津大學(xué)聯(lián)合推出的Pascal VOC，Leuven大學(xué)的Leuven，美國(guó)Middlebury大學(xué)的Middlebury。



KITTY采集車配置：
• 2 ×PointGray Flea2 灰度攝像頭 (FL2-14S3M-C),140萬(wàn)像素, 1/2” Sony ICX267 CCD
• 2 ×PointGray Flea2 彩色攝像頭 (FL2-14S3C-C), 140萬(wàn)像素, 1/2” Sony ICX267 CCD
• 4 × EdmundOptics lenses, 4mm, opening angle ∼ 90?,vertical opening angle of region of interest(ROI) ∼ 35?
• 1 × Velodyne HDL-64E rotating 3D laser scanner,10 Hz,64 beams, 0.09 degree angular resolution, 2 cm distance accuracy,collecting ∼ 1.3 million points/second, field ofview: 360? horizontal, 26.8? vertical, range: 120 m
• 1 × OXTS RT3003 inertial andGPS navigation system,6 axis, 100 Hz, L1/L2 RTK, resolution: 0.02m / 0.1?



上圖為傳感器布局

采集車的雙目攝像頭基線長(zhǎng)54厘米，車載電腦為英特爾至強(qiáng)的X5650 Cpu，RAID 5 4TB硬盤。采集時(shí)間是2011年的9月底和10月初，總共大約5天，總數(shù)據(jù)集大約180GB（要做大規(guī)模商業(yè)化應(yīng)用至少要有PB級(jí)的訓(xùn)練數(shù)據(jù)），2015年做了擴(kuò)展。主要內(nèi)容如下，分訓(xùn)練和測(cè)試數(shù)據(jù)。



上圖為Kitti數(shù)據(jù)格式

為了生成3D地面真實(shí)信息，我們雇傭了一組注釋員，并要求他們以3D邊界框的形式將軌跡分配給對(duì)象，如汽車，貨車，卡車，電車，行人和騎車人。與大多數(shù)現(xiàn)有的基準(zhǔn)不同，我們不依賴于在線眾包來(lái)執(zhí)行標(biāo)簽。為此，我們創(chuàng)建了一個(gè)特殊用途的標(biāo)簽工具，它顯示3Dlaser點(diǎn)以及相機(jī)圖像，以提高注釋的質(zhì)量。與大多數(shù)數(shù)據(jù)集不同，Kitti沒(méi)有采用眾包的形式來(lái)手工標(biāo)注，而是自己基于激光雷達(dá)開(kāi)發(fā)了自動(dòng)標(biāo)注工具。

Cityscape沒(méi)有公布其采集車的照片，其采集車沒(méi)有采用激光雷達(dá)，只用了一個(gè)基線為22厘米的200萬(wàn)像素級(jí)的雙目攝像頭，使用安森美的AR0331傳感器，擁有HDR高動(dòng)態(tài)范圍，且是在車內(nèi)部，而不是在車外面。輸出16比特的線性色彩。沒(méi)有使用IMU，只有一個(gè)GPS?？偣?5000張圖像，其中人工選擇了5000張前景突出，視差明顯的圖像做精細(xì)標(biāo)注。20000張前景不突出，駕駛者20米內(nèi)圖像，采用了LabelMe的自動(dòng)標(biāo)注軟件，做了簡(jiǎn)易標(biāo)注。

搜集訓(xùn)練數(shù)據(jù)再做標(biāo)注，需要耗費(fèi)巨大的人力，例如在自然語(yǔ)言處理（NLP）中，Penn Chinese Treebank 在2年里只完成了4000句話的標(biāo)簽。要知道玩深度學(xué)習(xí)計(jì)算機(jī)視覺(jué)的人可都是熱門人才，月薪動(dòng)輒好幾萬(wàn)。即便做最沒(méi)技術(shù)含量的手工標(biāo)注，也是人工費(fèi)用不低。牛津大學(xué)搞了一套基于弱監(jiān)督的學(xué)習(xí)系統(tǒng)。在實(shí)際應(yīng)用中的學(xué)習(xí)問(wèn)題往往以混合形式出現(xiàn),如多標(biāo)記多示例、半監(jiān)督多標(biāo)記、弱標(biāo)記多標(biāo)記等，像光線對(duì)圖像質(zhì)量影響很大，人工標(biāo)注也不可能每幀圖像都標(biāo)得非常好。針對(duì)監(jiān)督信息不完整或不明確對(duì)象的學(xué)習(xí)問(wèn)題統(tǒng)稱為弱監(jiān)督學(xué)習(xí)，弱監(jiān)督學(xué)習(xí)可以看作是有多個(gè)標(biāo)記的數(shù)據(jù)集合，次集合可以是空集，單個(gè)元素，或是多個(gè)元素的。



這套系統(tǒng)輸入圖像，輸出的是語(yǔ)義化分割的圖像，提供駕駛路徑建議，也就是Free Space。這套系統(tǒng)在一輛日產(chǎn)聆風(fēng)上安裝了一個(gè)Point Grey Bumblebee XB3雙目攝像頭，輸入精度為640*256，車兩側(cè)各裝一個(gè)Sick LD-MRS 4線激光雷達(dá)（估計(jì)是經(jīng)費(fèi)不足，應(yīng)該用Velodyne的16線或32線激光雷達(dá)）。



使用前文波音和CMU所提出的LFD方法制造出建議路徑標(biāo)簽，然后將激光雷達(dá)數(shù)據(jù)與路徑疊加，激光雷達(dá)可以精確探知障礙物，再加上LFD，兩者合作增加了可靠性。



經(jīng)過(guò)訓(xùn)練后得到一個(gè)數(shù)學(xué)模型后，可以只用一個(gè)單目攝像頭即可實(shí)現(xiàn)準(zhǔn)確探測(cè)Free Space和障礙物探測(cè)，不過(guò)光線不好的情況還是無(wú)解，激光雷達(dá)是無(wú)人駕駛絕對(duì)需要的。