道路標線檢測 —— 在自動駕駛中，道路標線檢測自然是任何傳感系統(tǒng)的一個關鍵組成部分。車道邊界檢測（示例見圖 3）在汽車計算機視覺行業(yè)已被充分理解，它屬于最早出現(xiàn)的汽車計算機視覺產(chǎn)品之一，不過，鑒于近期自動駕駛的發(fā)展背景，它仍是活躍的研究課題 ?；蛟S不那么明顯但同樣重要的是自動泊車系統(tǒng)中停車標線的檢測。在視覺方面，車道標線檢測可以通過圖像俯視圖校正、邊緣提取以及霍夫空間分析來檢測標線及標線對。圖 4 給出了采用類似方法得出的結果示例，該示例是使用水平視場角為 190° 的停車攝像頭采集的數(shù)據(jù)。同一批作者還提出了一種不同的方法，該方法基于手動確定的種子點輸入，隨后應用結構分析技術來提取停車位。或者，文獻中提出了一種基于預訓練模型的方法，該方法基于方向梯度直方圖（HOG）和局部二值模式（LBP）特征，并應用線性支持向量機（SVM）來構建分類模型。無論采用何種具體方法，很明確的一點是，從高速公路駕駛到泊車，道路標線檢測對于一個完整的自動駕駛系統(tǒng)來說都是必不可少的。

圖3.道路標記檢測的示例

圖4：停車位標志識別示例

2.3.2.深度學習

在過去的5年里，計算機視覺技術迅速發(fā)展，以深度學習，特別是卷積神經(jīng)網(wǎng)絡（CNN）是其核心。cnn已經(jīng)大幅提高了目標檢測的準確性，從而提高了對自動駕駛的感知能力。它還通過語義分割實現(xiàn)了密集的像素分類，這在之前是不可行的。此外，cnn在幾何視覺算法如光流、移動目標檢測、運動結構、重新定位、污染檢測[61]和聯(lián)合多任務模型等方面取得了最先進的結果。CNN的快速進展使得硬件制造商包括了一個定制的硬件，以提供超過每秒10個Tera操作的高吞吐量（TOPS）。此外，下一代硬件將有密集的光流和立體聲硬件加速器，以實現(xiàn)對移動和靜態(tài)物體的通用檢測。

語義圖像分割在深度學習方面取得了巨大的進展。語義分割的目標是將圖像分割成有意義的部分。它已被用于機器人技術、醫(yī)療應用、增強現(xiàn)實和最顯著的自動駕駛。圖5展示了在自動駕駛設置中的語義分割輸出的一個示例。所開發(fā)的工作主要有三個子類別。第一個使用補丁式訓練來產(chǎn)生最終的分類。第二個子類主要關注像素級分類的端到端學習。它始于在中開發(fā)完全卷積網(wǎng)絡的工作。最后，在中的工作主要集中在多尺度語義分割上。

圖 5. 典型汽車場景的語義分割

如前文所述，幾何計算機視覺任務是自動駕駛（AD）系統(tǒng)的重要組成部分。具體而言，我們指的是多視圖幾何算法，它能從多幅圖像中估算相對運動和深度。自動駕駛的視覺感知深受這些幾何應用（如光流 ]、運動恢復結構 、視覺里程計、同時定位與地圖構建（SLAM））精度的影響。幾十年來，計算機視覺領域一直在深入研究使用經(jīng)典方法來實現(xiàn)這些算法。然而，基于深度學習的方法在這些算法中開始嶄露頭角。深度學習在目標檢測和分割方面發(fā)揮了重要作用，并且已成為自動駕駛的一種成熟解決方案。近來，僅通過使用卷積神經(jīng)網(wǎng)絡（CNN）模型而不結合幾何結構，深度學習就已成為諸如光流和深度估算等特定任務的前沿方法。也有人嘗試將 CNN 用于視覺 SLAM、視覺里程計和校準。運動估計涵蓋了密集光流估計和運動物體分割。圖 6 展示了一種用于計算密集光流的幾何深度學習算法。深度估計是自動駕駛中的一項關鍵算法，用于相對于車輛對汽車周圍識別出的物體進行定位，我們會研究有監(jiān)督、無監(jiān)督或半監(jiān)督的方法。原則上，CNN 學習算法應該能夠學習對算法關鍵性能指標（KPI）而言最優(yōu)的必要變換。然而在實踐中，有大量的經(jīng)驗證據(jù)表明，納入已知的變換作為歸納偏置能提升性能。

圖 6. 用于計算密集光流的幾何深度學習算法示意圖

2.4. 討論計算機視覺在車輛自動化中起著非常重要的作用，它為車輛提供大量環(huán)境信息，以便車輛做出至關重要的輔助決策，更重要的是做出關乎安全的關鍵決策。顯然，對于基于傳統(tǒng)方法和基于深度學習的功能而言，圖像本身作為這些功能唯一的原始傳感器輸入，對于達到更高自動化水平所要求的魯棒性、可用性和準確性至關重要。邁向更高車輛自動化水平的趨勢正推動著所有計算機視覺功能的性能要求提升。無論是基于傳統(tǒng)方法還是基于深度學習的計算機視覺功能，其像素級處理階段都依賴于圖像輸入的保真度。無論采用何種方法從圖像中提取特征級數(shù)據(jù)，無論是傳統(tǒng)的特征提取還是編解碼器神經(jīng)網(wǎng)絡中的編碼器，只有當所提供的圖像能準確呈現(xiàn)所拍攝的場景時，提取出的諸如點、邊緣、角點、斑點或紋理等特征才是可靠的。如前文所述，圖像生成的這種準確性可能與人類觀察者所感知的視覺質量不一致。計算機視覺理想的圖像表示形式是，能為所有場景結構（幾何結構、紋理、顏色、反射率等）提供充足、一致且可重復的對比度，且不受光照、溫度、環(huán)境條件以及場景結構的影響，然而，由于存在大量無法測量、難以建?；蛟诋斀癯上裼布蠠o法準確重現(xiàn)的系統(tǒng)及場景變量，這一目標無法實現(xiàn)。一些在像素層面影響特征提取的重要圖像特性包括圖像壓縮、模糊 / 銳化、對比度、噪聲、色彩壓縮，本研究對其中部分特性進行了探究。雖然這些圖像特性并非完全由圖像信號處理器（ISP）控制，但它卻對這些特性在生成圖像中的存在情況、權重以及影響有著重大影響。盡管近期有研究探討了其中部分圖像特性對計算機視覺性能的影響 ，也有其他研究提出了針對移動應用進行圖像信號處理器調優(yōu)或適配的可能性 ，但針對汽車應用的影響及相關問題的研究卻寥寥無幾（如果有的話）。