日本无码免费高清在线|成人日本在线观看高清|A级片免费视频操逼欧美|全裸美女搞黄色大片网站|免费成人a片视频|久久无码福利成人激情久久|国产视频一二国产在线v|av女主播在线观看|五月激情影音先锋|亚洲一区天堂av

  • 手機(jī)站
  • 小程序

    汽車測(cè)試網(wǎng)

  • 公眾號(hào)

    • 汽車測(cè)試網(wǎng)

    • 在線課堂

    • 電車測(cè)試

如何在自動(dòng)駕駛的視覺感知中檢測(cè)極端情況？

2022-02-22 09:56:15·  來(lái)源：計(jì)算機(jī)視覺深度學(xué)習(xí)和自動(dòng)駕駛  作者：黃浴  
　
一篇來(lái)自德國(guó)大學(xué)的論文：“Corner Cases for Visual Perception in Automated Driving: Some Guidance on Detection Approaches“，在arXiv上2021年2月11日出現(xiàn)
一篇來(lái)自德國(guó)大學(xué)的論文：“Corner Cases for Visual Perception in Automated Driving: Some Guidance on Detection Approaches“，在arXiv上2021年2月11日出現(xiàn)。
極端情況（corner cases）是自動(dòng)駕駛中很重要的一個(gè)問(wèn)題，本文討論視覺感知（不包括雷達(dá)和激光雷達(dá)）如何檢測(cè)這些corner cases，即出現(xiàn)的未期望或者未知情況。檢測(cè)corner case的任務(wù)對(duì)安全十分關(guān)鍵，檢測(cè)方法對(duì)訓(xùn)練數(shù)據(jù)的選擇自動(dòng)化非常重要，對(duì)大眾能否接受自動(dòng)駕駛技術(shù)一事也是如此。該文系統(tǒng)性的分析corner cases出現(xiàn)的層次及其檢測(cè)方法的類別，將二者聯(lián)系在一起。
注：上面圖顯示的是corner cases層次劃分【5】。
檢測(cè)corner cases包括online和offline方法，online情況是可以作為安全監(jiān)控和警告系統(tǒng)，offline情況是用于實(shí)驗(yàn)室開發(fā)新的視覺感知算法，選擇合適的訓(xùn)練和測(cè)試數(shù)據(jù)。一些不錯(cuò)的工作已經(jīng)展開，比如障礙物檢測(cè)【6-7】，新出現(xiàn)的目標(biāo)【8】。
corner cases 定義為 “there is a non-predictable relevant object/class in a relevant location”【9】。本文分析根據(jù)【5】將它們分為以下幾個(gè)層次：
  • pixel,
  • domain,
  • object,
  • scene，
  • scenario。
具體講，pixel level 原因分成 global 和local outliers兩個(gè)；domain-level 是domain shifts 造成的；object level則是single-point anomalies 或者 single-point novelties；scene-level 來(lái)源也分成兩個(gè)，collective anomalies和 contextual anomalies，其中contextual anomalies 是指未知位置的已知目標(biāo)，比如街中心的樹，而collective anomalies 是指數(shù)目異常的已知目標(biāo)，比如demo。最高層的復(fù)雜情況是scenario-level， 包括risky scenarios、novel scenarios和anomalous scenarios。
下面表格給出corner cases的各層例子：確實(shí)是有趣的corner cases。

檢測(cè)它們的方法分為以下類別【10】：
  • feature extraction,
  • regression,
  • knowledge-based,
  • signal model,
  • state estimation,
  • clustering,
  • classification methods。
corner cases 檢測(cè)方法分為下面5個(gè)概念：
  • reconstruction,
  • prediction,
  • generative,
  • confidence scores,
  • feature extraction.
Reconstruction 方法 基本上是autoencoder-type networks；Prediction-based 方法 主要是scenario level，比如GAN；Generative 和 reconstruction-based 方法非常相關(guān)聯(lián)；Feature extraction 方法主要采用 deep neural networks。其中 confidence score 類，進(jìn)一步又分成 三個(gè)子類：
  • learned confidence scores
  • Bayesian approaches
  • post-processing
如下表所示是檢測(cè)方法和復(fù)雜層次之間的聯(lián)系：
總的來(lái)說(shuō)，可以說(shuō)由于缺乏包含所有類型corner cases的大規(guī)模數(shù)據(jù)集，以及相關(guān)的corner cases檢測(cè)的open world問(wèn)題，無(wú)監(jiān)督方法或者僅在正常樣本上訓(xùn)練的方法目前看來(lái)是最有效獲取corner case檢測(cè)器的方法。依賴于異常訓(xùn)練數(shù)據(jù)的方法需要更復(fù)雜、更專業(yè)的訓(xùn)練集，并且冒著集中于樣本相關(guān)的特定corner cases這種風(fēng)險(xiǎn)，對(duì)推理中出現(xiàn)未知corner cases的可能性故意視而不見。
pixel level
在pixel level，只有很少的深度學(xué)習(xí)方法檢測(cè)corner cases。但是，對(duì)于global outlier而言，檢測(cè)此類情況時(shí)，特征提取方法可提供好的結(jié)果，因?yàn)槭菣z測(cè)影響大部分甚至整個(gè)圖像的情況。這時(shí)候，檢測(cè)可以被認(rèn)為是二進(jìn)制分類問(wèn)題，并且網(wǎng)絡(luò)能夠?yàn)樵撊蝿?wù)提取足夠的特征?？梢赃M(jìn)行有監(jiān)督的訓(xùn)練，因?yàn)檫@種類型不會(huì)有意外的多樣性。然而，由于缺乏帶標(biāo)記的global outlier（例如過(guò)度暴露）的自動(dòng)駕駛數(shù)據(jù)集，對(duì)利用少樣本學(xué)習(xí)或類似技術(shù)的方法進(jìn)行研究可能是有益的。此外，更有興趣檢測(cè)多個(gè)global outliers，例如，共同檢測(cè)圖像中的過(guò)度曝光和曝光不足。在出隧道時(shí)，它們甚至可以出現(xiàn)在同一圖像中。在以后的工作中考慮聯(lián)合或多任務(wù)學(xué)習(xí)來(lái)研究。
而local outliers僅影響圖像的一小部分，如像素壞了?？梢栽谟?xùn)練數(shù)據(jù)中模擬這些情況，因此通過(guò)監(jiān)督學(xué)習(xí)解決。由于具有模擬的可能性，加入另一類，這樣通過(guò)語(yǔ)義分割方法來(lái)處理檢測(cè)問(wèn)題。這將導(dǎo)致逐像素標(biāo)注，給出壞像素的位置。預(yù)測(cè)性方法（在一個(gè)時(shí)間跨度）將有利于檢測(cè)local outliers。可以將，例如，壞像素的預(yù)測(cè)位置，與實(shí)際位置進(jìn)行比較。理想情況下，實(shí)際位置與根據(jù)學(xué)習(xí)的光流進(jìn)行預(yù)測(cè)的位置，正好相反。
domain level
要檢測(cè)domain層的corner cases，不需要使用域適應(yīng)方法，而是去找到適合domain mismatch的度量。但是，這些措施通常來(lái)自域適應(yīng)方法，并被用作損失函數(shù)。通常，這些措施被認(rèn)為是特征提取方法。雖然訓(xùn)練可能需要來(lái)自source domain的正常樣本進(jìn)行監(jiān)督，但是應(yīng)該明確排除來(lái)自另一個(gè)域的數(shù)據(jù)進(jìn)行訓(xùn)練。在訓(xùn)練中采用第二個(gè)域特定示例的方法存在無(wú)法達(dá)到第三個(gè)域相同性能的危險(xiǎn)。還可以考慮將一個(gè)數(shù)據(jù)集視為分布內(nèi)而將另一個(gè)數(shù)據(jù)集視為分布外（out-of-distribution）的OOD檢測(cè)方法。這些方法可以從分類擴(kuò)展到汽車視覺感知，因?yàn)樗鼈冎恍枰ㄟ^(guò)正常樣本進(jìn)行監(jiān)督訓(xùn)練即可。為了可靠地檢測(cè)domain level的corner cases，需要使用可靠的domain mismatch度量。
object level
在object level，主要任務(wù)是檢測(cè)未知類別的未知目標(biāo)。這些是屬于新類別的實(shí)例，以前在訓(xùn)練中沒有見過(guò)。在訓(xùn)練過(guò)程中提供此類corner cases的示例將使網(wǎng)絡(luò)推斷出僅檢測(cè)類似的corner cases，這對(duì)任務(wù)是不利的。object level的corner cases檢測(cè)屬于開放式識(shí)別的領(lǐng)域，相關(guān)方法通常提供某種類別的confidence scores。理想情況下，對(duì)于檢測(cè)和定位，要求逐像素評(píng)分。也存在符合該思想的reconstruction方法和generative方法。然而，reconstruction-based方法往往結(jié)果意義不大。
想為輸入圖像獲得語(yǔ)義分割掩碼，其中屬于未知目標(biāo)的像素與未知類別標(biāo)簽或高不確定性相關(guān)聯(lián)。考慮到這一衷旨，追求confidence scores和generative檢測(cè)方法似乎最有成效，并且許多最近出現(xiàn)的方法都符合這種趨勢(shì)。使用Bayesian置信度得分，求解一個(gè)與那些未知目標(biāo)相關(guān)的高不確定性模型。Monte-Carlo dropout 或者deep ensembles的貝葉斯深度學(xué)習(xí)規(guī)?；椒闄z測(cè)提供了第一步。根據(jù)那些single-point anomalies定義的訓(xùn)練中未見實(shí)例，可以推測(cè)出，有效而可靠的檢測(cè)方法不能依賴包括corner cases的訓(xùn)練樣本。人們不得不訴諸無(wú)監(jiān)督方法，它們只能使用正態(tài)樣本進(jìn)行訓(xùn)練。
scene level
在scene level，旨在檢測(cè)未知數(shù)量或位置的已知類。此外，認(rèn)為未來(lái)的工作應(yīng)該利用實(shí)例分割（instance segmentation）來(lái)獲得分組大小，要計(jì)算每個(gè)類的實(shí)例數(shù)量。在這種情況下，需要一個(gè)閾值來(lái)將集體（collection）定義為異常（anomalous）?？梢酝ㄟ^(guò)特征提取方法來(lái)檢測(cè)contextual anomalies。但是，在汽車視覺感知，特征提取可能無(wú)法捕獲整個(gè)場(chǎng)景的復(fù)雜性。因此，許多現(xiàn)有方法給出confidence scores或reconstruction誤差，并區(qū)分正常樣本和異常樣本。建議調(diào)查類別先驗(yàn)如何對(duì)整個(gè)流程產(chǎn)生影響，因?yàn)檫@些先驗(yàn)知識(shí)可能有助于發(fā)現(xiàn)錯(cuò)位的類別代表。
同樣，貝葉斯深度學(xué)習(xí)得出的置信度得分表明模型的不確定性，因此它們對(duì)于異常上下文（unusual context）情況下定位目標(biāo)可能很有用。scene level的這兩種corner cases類型都可以使用常規(guī)數(shù)據(jù)進(jìn)行監(jiān)督訓(xùn)練，因?yàn)槎伎梢詸z測(cè)到已知類的實(shí)例。但是，與object level不同，雖然可能需要視覺感知應(yīng)用程序的像素級(jí)語(yǔ)義分割（semantic segmentation）標(biāo)簽，但另外要求實(shí)例級(jí)標(biāo)簽告訴目標(biāo)出現(xiàn)在異常位置，或要求圖像級(jí)標(biāo)簽告訴目標(biāo)是否以未知的數(shù)量出現(xiàn)。
scenario level
scenario level的corner cases由特定時(shí)間段出現(xiàn)的模式所組成，并且單幀可能看起來(lái)并不異常。在這里，prediction-based方法的決策取決于預(yù)測(cè)幀與實(shí)際幀之間的比較，從而提供了有益的結(jié)果。純粹的reconstruction方法再一次獲得不可靠的corner cases檢測(cè)分?jǐn)?shù)。可以對(duì)prediction方法進(jìn)行有監(jiān)督訓(xùn)練，因?yàn)樗鼈儍H需要正常的訓(xùn)練樣本即可在推理過(guò)程中檢測(cè)到corner cases。這對(duì)于novel scenarios和anomalous scenarios尤其重要，此時(shí)由于數(shù)量大以及相應(yīng)的危險(xiǎn)性，無(wú)法捕獲所有可能性。
此外，包含這些樣本實(shí)際上可能會(huì)損害網(wǎng)絡(luò)，使其僅檢測(cè)此類情況。為此，需要定義度量標(biāo)準(zhǔn)來(lái)檢測(cè)這種corner cases。盡管可能仍想知道corner cases在圖像的位置，但也需要知道時(shí)間點(diǎn)。為此，可以考慮在一定時(shí)間段的圖像標(biāo)記。除了對(duì)度量進(jìn)行調(diào)查之外，建議使用成本函數(shù)給予更高的優(yōu)先級(jí)去檢測(cè)視野邊緣處出現(xiàn)的VRUs（vulnerable road users）。這可以，例如，改善檢測(cè)從遮擋后面跑到街道的人，因?yàn)楫?dāng)幀中僅出現(xiàn)幾個(gè)人的像素時(shí)，已經(jīng)可以實(shí)現(xiàn)檢測(cè)。這種方法還需要識(shí)別由于被遮擋或不在視場(chǎng)范圍內(nèi)而未包括在前一幀的逐幀像素掩碼。
這種討論也是比較罕見的，值得關(guān)注以下。另外附上原文引用的幾個(gè)重要參考文獻(xiàn)：
[5] J Breitenstein et al., “Systematization of Corner Cases for Visual Perception in Automated Driving,” IV, 2020.
[6] P. Pinggera et al., “Lost and Found: Detecting Small Road Hazards for Self-Driving Vehicles,” IROS, 2016.
[7] S. Ramos et al., “Detecting Unexpected Obstacles for Self-Driving Cars: Fusing Deep Learning and Geometric Modeling,” IV, 2017.
[8] H. Blum et al., “Fishyscapes: A Benchmark for Safe Semantic Segmentation in Autonomous Driving,” ICCV Workshops, 2019.
[9] J.-A. Bolte et al., “Towards Corner Case Detection for Autonomous Driving,” IV, 2019.
[10] F. Lopez et al., “Categorization of Anomalies in Smart Manufacturing Systems to Support the Selection of Detection Mechanisms,” IEEE Robotics and Automation Letters, 2017. 
分享到：
 
反對(duì) 0 舉報(bào) 0 收藏 0 評(píng)論 0
滬ICP備11026917號(hào)-25