在自動駕駛領(lǐng)域，包括感知在內(nèi)，很多問題可以更好的用深度學(xué)習算法去解決，這是當今的一個趨勢。如果有留意CVPR 2019或者今年arxiv上面比較新的論文的同學(xué)，也會發(fā)現(xiàn)這一趨勢。

在過去，傳統(tǒng)機器學(xué)習算法需要手工設(shè)計特征，視覺感知落地往往變成一個特征工作問題。那么隨著深度學(xué)習的不斷發(fā)展，視覺感知算法的發(fā)展日新月異，可以通過網(wǎng)絡(luò)設(shè)計來提升算法性能。同樣的，不管傳統(tǒng)機器學(xué)習、深度學(xué)習的視覺感知算法，尤其在自動駕駛領(lǐng)域，都需要某種程度的后處理算法來提升算法精度和魯棒性。那么如果通過新的深度學(xué)習方法從而減輕這些人工設(shè)計的后處理步驟，也是自動駕駛視覺感知算法的一些新的嘗試方向。

可以這么說，深度學(xué)習很大程度地提升了自動駕駛中視覺感知模塊開發(fā)的效率。

數(shù)據(jù)在深度學(xué)習發(fā)展過程中起到了至關(guān)重要的作用，增加訓(xùn)練數(shù)據(jù)，尤其是有效數(shù)據(jù)，往往是感知性能提高的一個關(guān)鍵。在自動駕駛領(lǐng)域，視覺感知需要面對各種復(fù)雜場景，那么就會對數(shù)據(jù)本身提出更高的要求。

正是因為這樣，深度學(xué)習所依賴的數(shù)據(jù)在視覺感知開發(fā)中有著無可替代的作用?；谶@一點，本文將圍繞以下三點進行介紹：當前比較主流的公開數(shù)據(jù)集，自動駕駛所面臨的數(shù)據(jù)挑戰(zhàn)，以及如何形成視覺感知模塊的閉環(huán)迭代。

01、自動駕駛公開數(shù)據(jù)集

目前的一些自動駕駛公開數(shù)據(jù)集中，比較經(jīng)典的有KITTI數(shù)據(jù)集，以及用于分割的CityScapes，還有NuTonomy公司提出的NuScenes數(shù)據(jù)集，伯克利開源的BDD。在CVPR 2019上，Waymo、Argo和Lyft也分別開放了一些自動駕駛相關(guān)的數(shù)據(jù)集。


 自動駕駛中的公開數(shù)據(jù)集

截至2017年時，KITTI是被引用最多的數(shù)據(jù)集。KITTI的傳感器的配置、數(shù)據(jù)集的分類，比如說障礙物的分類，或者照片中有多少種類的分布的統(tǒng)計，有助于開發(fā)者構(gòu)建數(shù)據(jù)集的時候去統(tǒng)計自己的數(shù)據(jù)。

數(shù)據(jù)統(tǒng)計有助于了解數(shù)據(jù)的分布，同樣也會對算法benchmark有所幫助。

NuScenes開源的是一個比較大的公開數(shù)據(jù)集，同樣包括了攝像頭、激光雷達和毫米波雷達等信息。這些細分數(shù)據(jù)對自動駕駛公司自己收集數(shù)據(jù)提供了很大的參考。

此外，伯克利也推出了100K數(shù)據(jù)，其中包含了目標檢測和圖像分割，主要覆蓋紐約、伯克利、三藩和灣區(qū)四個地方的數(shù)據(jù)采集。


02、自動駕駛的數(shù)據(jù)挑戰(zhàn)

在有了大規(guī)模數(shù)據(jù)之后，我們還需要了解的是：模型它基本上是Garbage in, Garbage out。如果扔進去的是一些無用的信息，那么模型很難學(xué)到一些有用的信息。

因此這里要強調(diào)的是，視覺模型上線是一個閉環(huán)迭代過程，涵蓋數(shù)據(jù)采集、數(shù)據(jù)清洗、數(shù)據(jù)標注、模型訓(xùn)練、模型測試，最終才可上線。

另外，在數(shù)據(jù)集中，難免出現(xiàn)一些錯誤或丟失。

噪聲數(shù)據(jù)的清洗是工業(yè)界數(shù)據(jù)處理首要解決的問題。

李飛飛的學(xué)生 Andrej Karpathy曾在一個演講上指出，一個PhD學(xué)生可能95%的時間在學(xué)校設(shè)計算法，因為它可以使用一些公開的數(shù)據(jù)集；余下5%的時間可能就是下載數(shù)據(jù)，做一些評測。而他到了特斯拉領(lǐng)導(dǎo)自動駕駛小組，變成了75%時間專注在數(shù)據(jù)。這一點也說明了數(shù)據(jù)是極其重要的一環(huán)，對此我非常認同。


Building the Software 2 0 Stack (Andrej Karpathy), 2018

某種程度上說，自動駕駛的數(shù)據(jù)挑戰(zhàn)，很多還是來源于視覺圖像的一些挑戰(zhàn)。比如視角、光照等變化，都可能對自動駕駛算法造成影響。

在自動駕駛數(shù)據(jù)中，很可能大多是一些比較簡單的場景，比如：視野開闊，車少，車道線有比較清楚的樣例。

但在實際場景中有很多更復(fù)雜場景，比如夜間虛線的車道線場景中，夜間光線比較弱，那么識別這些車道線其實是很難的，即使去做標注也很難去準確地把車道線給標出來。

另外，像是擁堵跟車時候拍到的物體、比較近距離的障礙物，這對車道線、障礙物標注或者算法設(shè)計都會有一些挑戰(zhàn)。一個極端例子是cut-in：如果一輛車從旁邊車道cut-in，那么它會擋住視野中的車道線，這對車道線標注、訓(xùn)練或者上線都會帶來挑戰(zhàn)。特別是有時候一輛大車會完全擋住所有的視線，這對車道線的算法會帶來很大的挑戰(zhàn)。


Cut-in

從中可以看到，自動駕駛?cè)绾胃咝У厥占@些有效數(shù)據(jù)其實是很難的，而且這些數(shù)據(jù)大量都是不均衡的。如果想搜集這些數(shù)據(jù)場景，比如道路分叉，其實是比較費精力的一件事，因為即使是在高速上面或者環(huán)線上面，道路分叉占整個數(shù)據(jù)量的比例其實是很低的。覆蓋更復(fù)雜的場景，是數(shù)據(jù)方面的一個挑戰(zhàn)。

當場景定義結(jié)束后，有效數(shù)據(jù)的獲得也很重要，最后是模型的迭代。

03、數(shù)據(jù)驅(qū)動閉環(huán)迭代

英特爾CEO曾做過類似的表述，自動駕駛數(shù)據(jù)量很大，如果要收集所有信息的話，大概是4000 GB/天，但是我們并不需要每時每刻都把所有信息收集起來。

數(shù)據(jù)方面要考慮的四大步驟：第一個是數(shù)據(jù)獲取，即如何獲取一些最有效、最關(guān)鍵信息；第二個數(shù)據(jù)存儲；第三個是數(shù)據(jù)管理，即如何從中間拿到最有效信息、如何管理這些信息，使大家都能夠快速便捷地獲取這些信息進行算法開發(fā)；還有一個關(guān)鍵是數(shù)據(jù)標注。那么，如何打通數(shù)據(jù)獲取到數(shù)據(jù)標注的這個閉環(huán)呢？

數(shù)據(jù)獲取要平衡三個因素。第一個是包含場景，比如要包含各種天氣、各種城市或者高速場景、各種車道線的細分類型直線/虛線，等等。第二個因素，要考慮推向市場的功能的緊急程度。比如模塊迭代，因為從算法開發(fā)第一天就支持所有各種復(fù)雜場景并不現(xiàn)實，所以需要根據(jù)推向市場功能的緊急程度來定義要獲取什么數(shù)據(jù)。第三個是基于現(xiàn)有資源。比如現(xiàn)有的人員，現(xiàn)有的算法。


數(shù)據(jù)獲取

數(shù)據(jù)存儲也有幾個方面需要考慮：第一個是需要本地存儲還是云端存儲，如何更高效地利用云端或者本地的這些架構(gòu)。第二是如何存儲采集車上的數(shù)據(jù)，因為采集車運行一天或者連續(xù)跑很長時間，數(shù)據(jù)量是非常大的，可能很多時間會花費在如何從采集車上面把數(shù)據(jù)拷走。另外一個是數(shù)據(jù)安全如何保證。此外還有數(shù)據(jù)管理，多與存儲相關(guān)。比如原來數(shù)據(jù)存在什么地方，或者需要存儲哪些數(shù)據(jù)，如何使每個人都能便捷地讀取這些數(shù)據(jù)也有利于整個開發(fā)效率的提升。

關(guān)于數(shù)據(jù)標注，上面介紹了幾大公開數(shù)據(jù)集，每一個都有自己標注的一些定義，所以我們首先需要根據(jù)自己算法設(shè)計或者功能實現(xiàn)定義合理的標準。第二是要考慮量產(chǎn)經(jīng)濟因素，比如說和第三方合作，也要考慮如何讓這些定義的標準能夠使第三方快速接受。最后是確保達到最佳標準，因為標注即使是通過人工篩選、人工驗證，還是有很多噪聲涵蓋其中，所以如何提升標注的準確性，也是很重要的一個因素。


數(shù)據(jù)標注

最后總結(jié)一下：視覺方案是一個閉環(huán)，從數(shù)據(jù)的采集到數(shù)據(jù)清洗，到拿到清洗有效數(shù)據(jù)之后的數(shù)據(jù)標注，再到從標注團隊拿到標準數(shù)據(jù)之后進行模型訓(xùn)練或者內(nèi)部評測，經(jīng)過模型測試之后，如果達到要求模型即可上線，這是一個完整的過程。


形成閉環(huán)

有了整個閉環(huán)的流程之后，即可支持模型的迭代，通過模型迭代不斷解決上一個版本遇到的問題。一個模塊或者視覺模塊迭代的快慢，往往取決于提及的這幾個步驟，比如數(shù)據(jù)采集，或者根據(jù)某個版本發(fā)現(xiàn)問題后進行的數(shù)據(jù)清洗，更準確的數(shù)據(jù)標注，模型內(nèi)部的測試和上線。如果能形成一個快速的閉環(huán)，那么開發(fā)節(jié)奏會高效很多。