近年來，計算機視覺在智能交通系統(tǒng)（ITS）和自動駕駛（AD）中的應(yīng)用逐漸轉(zhuǎn)向深度神經(jīng)網(wǎng)絡(luò)架構(gòu)。數(shù)據(jù)挑戰(zhàn)與訓(xùn)練數(shù)據(jù)的收集和標(biāo)記及其與現(xiàn)實世界條件的相關(guān)性、數(shù)據(jù)集固有的偏差、需要處理的大量數(shù)據(jù)以及隱私問題有關(guān)。深度學(xué)習(xí)（DL）模型對于嵌入式硬件的實時處理來說通常過于復(fù)雜，缺乏可解釋性和可推廣性，很難在現(xiàn)實環(huán)境中進(jìn)行測試。復(fù)雜的城市交通環(huán)境具有不規(guī)則的照明和遮擋，監(jiān)控攝像頭可以安裝在不同的角度，收集中的灰塵，在風(fēng)中的晃動，交通條件高度異質(zhì)，在擁擠的場景中違反規(guī)則和復(fù)雜的交互。受到這些問題困擾的一些代表性應(yīng)用是交通流估計、擁堵檢測、自動駕駛感知、車輛交互和用于實際部署的邊緣計算。

如圖是各種應(yīng)用及其面臨的挑戰(zhàn)：

數(shù)據(jù)通信實踐中，單個基于攝像頭的深度學(xué)習(xí)任務(wù)通常需要在交通管理中心（TMC）的攝像頭和云服務(wù)器之間進(jìn)行數(shù)據(jù)通信。視頻數(shù)據(jù)量很大，這可能導(dǎo)致潛在的數(shù)據(jù)通信問題，如傳輸延遲和數(shù)據(jù)包丟失。在協(xié)作式攝像機傳感環(huán)境中，不僅與服務(wù)器進(jìn)行數(shù)據(jù)通信，而且不同傳感器之間也進(jìn)行數(shù)據(jù)通信。因此，另外兩個問題是多傳感器標(biāo)定和數(shù)據(jù)同步。

協(xié)作環(huán)境中的標(biāo)定旨在確定傳感器之間的透視轉(zhuǎn)換，以便能夠在給定幀合并來自多個視圖的采集數(shù)據(jù)。這項任務(wù)在多用戶環(huán)境中非常具有挑戰(zhàn)性，因為傳感器之間的變換矩陣隨車輛的移動而不斷變化。在協(xié)作環(huán)境中，標(biāo)定依賴于背景圖像元素的同步，以確定靜態(tài)或移動傳感器之間的轉(zhuǎn)換。存在多個同步破壞源，例如時鐘之間的偏移或可變通信延遲。雖然時鐘可能是同步的，但很難確保在同一時刻觸發(fā)數(shù)據(jù)采集，這增加了合并所采集數(shù)據(jù)的不確定性。同樣，不同的采樣率需要在采集或預(yù)測數(shù)據(jù)之間進(jìn)行插值，這也增加了不確定性。

交通攝像頭廣泛部署在道路和車輛上。TMC不斷收集網(wǎng)絡(luò)范圍內(nèi)的交通攝像頭數(shù)據(jù)，這些數(shù)據(jù)對各種ITS應(yīng)用（如事件識別和車輛檢測）都很有價值。然而，標(biāo)記的訓(xùn)練數(shù)據(jù)遠(yuǎn)不如未標(biāo)記的數(shù)據(jù)常見。隨著圖形逼真度和模擬物理模型變得越來越有真實感，許多應(yīng)用程序缺少標(biāo)注數(shù)據(jù)集的問題正慢慢被合成數(shù)據(jù)解決。

除了真實的外觀，模擬場景不需要手動標(biāo)記，因為標(biāo)簽已經(jīng)由模擬生成，并且可以支持各種照明、視點和車輛行為。2020年AI城市挑戰(zhàn)賽車輛重識別獲勝者利用混合數(shù)據(jù)集，通過從真實世界數(shù)據(jù)中生成示例并添加其他模擬視圖和環(huán)境，顯著提高了性能。然而，如果用合成數(shù)據(jù)，在真實世界的應(yīng)用仍然需要額外的學(xué)習(xí)過程，例如域自適應(yīng)。低保真度模擬數(shù)據(jù)用于訓(xùn)練具有域隨機化的遷移學(xué)習(xí)，用于真實世界目標(biāo)檢測器。

缺乏高質(zhì)量的碰撞和接近碰撞數(shù)據(jù)通常被認(rèn)為是一個實際的限制。更多的碰撞數(shù)據(jù)將更新AD的注意導(dǎo)引，使其能夠捕捉長期碰撞特征，從而提高碰撞風(fēng)險評估。故障或限量的傳感器、有限的計算資源以及對任何駕駛場景的可推廣性是當(dāng)前實際部署的障礙。其中一些問題可以通過傳感器融合、車聯(lián)網(wǎng)（IoV）和邊緣計算來解決。

盡管當(dāng)前的車輛檢測算法在平衡數(shù)據(jù)集上表現(xiàn)良好，但在面對不平衡數(shù)據(jù)集時，在尾部類別上的性能下降。在現(xiàn)實世界場景中，數(shù)據(jù)往往遵循Zipfian分布，其中大量尾部類別的樣本數(shù)很少。在長尾數(shù)據(jù)集中，少數(shù)頭部類（頻繁出現(xiàn)類）貢獻(xiàn)了大部分訓(xùn)練樣本，而尾部類（罕見出現(xiàn)類）的代表性不足。大多數(shù)使用此類數(shù)據(jù)訓(xùn)練的DL模型將長尾訓(xùn)練數(shù)據(jù)的經(jīng)驗風(fēng)險降至最低，并且偏向于頭部類別。一些方法，如數(shù)據(jù)重采樣和損失重加權(quán)，可以補償不足的類別。然而，他們需要根據(jù)類別頻率先驗知識將類別劃分為幾個組。頭尾類之間的這種硬性劃分帶來了兩個問題：相鄰類別之間的訓(xùn)練不一致，以及對罕見類別缺乏辨別力。

一般的目標(biāo)檢測器可以用遷移學(xué)習(xí)來改進(jìn)，此外僅從訓(xùn)練集來看，模型偏差可能并不明顯，需要解釋性方法來解決這個問題。

視覺數(shù)據(jù)占互聯(lián)網(wǎng)流量的90%以上，視頻傳輸、計算和存儲在ITS和AV領(lǐng)域面臨著越來越大的挑戰(zhàn)。通過交通攝像頭網(wǎng)絡(luò)或車聯(lián)網(wǎng)（IoV）網(wǎng)絡(luò)，來自路邊和車載傳感器的大量交通和車輛視頻數(shù)據(jù)構(gòu)成了無法通過設(shè)備解決的計算和帶寬瓶頸。由于網(wǎng)聯(lián)車或自動駕駛車的許多應(yīng)用依賴于DL，因此車輛-云架構(gòu)正在成為一種有效的分布式計算技術(shù)。通過集成路側(cè)單元（RSU），這些邊緣節(jié)點可以更快地處理并提供低通信延遲。

隱私問題是一個重要的人為因素，在ITS應(yīng)用程序的設(shè)計和運行中不容忽視。觀察和跟蹤大量的行人和車輛信息會導(dǎo)致ITS環(huán)境中的安全和隱私問題。例如，無人機能夠（通過機載攝像機）收集交通數(shù)據(jù)。然而，隱私問題限制了它們成為ITS傳感器網(wǎng)絡(luò)的常規(guī)部分。視頻監(jiān)控系統(tǒng)不斷收集人臉和車牌。個人隱私交換的是監(jiān)控提供的安全或安全服務(wù)。如果發(fā)送或存儲原始視頻數(shù)據(jù)，實際部署的系統(tǒng)可能需要實時識別人臉和車牌。理想情況下，任何處理都將在本地邊緣單元完成，限制私人信息的傳播。很難保證完全匿名，例如，通過與其他信息（甚至是模糊的車牌）相關(guān)，可以追蹤一輛罕見車型的車主。

如圖是數(shù)據(jù)挑戰(zhàn)：

DL計算機視覺模型在神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和訓(xùn)練過程方面具有很高的復(fù)雜性。許多DL模型設(shè)計用于在高性能云中心或AI工作站上運行，而一個好的模型需要數(shù)周或數(shù)月的訓(xùn)練以及GPU或TPU驅(qū)動的高功耗。

在ITS和AV領(lǐng)域的應(yīng)用中，出于功能和交通安全的考慮，許多應(yīng)用都需要實時或近實時操作。DL模型的復(fù)雜性增加了實時應(yīng)用中的訓(xùn)練和推理成本；特別是，ITS和AV的趨勢是在更接近交通數(shù)據(jù)的大規(guī)模設(shè)備進(jìn)行處理，例如，眾包感知。

實時應(yīng)用程序通常會進(jìn)行一些修改，如調(diào)整視頻大小以降低分辨率或模型量化和修剪，這可能會導(dǎo)致性能損失。為了滿足效率和精度要求，在許多實際應(yīng)用中需要降低DL方法的模型復(fù)雜性。例如，多尺度可變形注意已與視覺transformer神經(jīng)網(wǎng)絡(luò)一起用于目標(biāo)檢測，以實現(xiàn)高性能和快速收斂，從而加快訓(xùn)練和推理。

DNN在很大程度上被視為具有多處理層的黑盒子，其工作情況可以用統(tǒng)計數(shù)據(jù)進(jìn)行檢查，但學(xué)習(xí)的網(wǎng)絡(luò)基于數(shù)百萬或數(shù)十億個參數(shù)，讓分析極其困難。這意味著，行為本質(zhì)上是不可預(yù)測的，而且對決策的解釋很少。這也使自動駕駛等關(guān)鍵用例無法進(jìn)行系統(tǒng)驗證。

人們普遍認(rèn)為，復(fù)雜的黑盒子是必需的，這一假設(shè)受到了挑戰(zhàn)。最近的研究試圖使DNN更易于解釋。

對分布外（out-of-distribution）數(shù)據(jù)的泛化對人類來說是自然的，但對機器來說卻具有挑戰(zhàn)性，因為大多數(shù)學(xué)習(xí)算法都強烈依賴于測試數(shù)據(jù)分布的i.i.d.假設(shè)，而在實踐中這常常因域遷移而遭破壞。域泛化旨在將模型推廣到新領(lǐng)域，但不了解訓(xùn)練期間的目標(biāo)分布。

大多數(shù)現(xiàn)有方法都屬于域?qū)R（domain alignment）的范疇，其主要思想是最小化多個源域之間的差異，學(xué)習(xí)域不變表征。對源域漂移不變的特征也應(yīng)該對任何未發(fā)現(xiàn)的目標(biāo)域漂移魯棒。數(shù)據(jù)增強是一種常見的做法，用于正則化機器學(xué)習(xí)模型的訓(xùn)練，避免過擬合并提高泛化能力，這對于過度參數(shù)化的DNN尤為重要。

神經(jīng)網(wǎng)絡(luò)中的視覺注意可用于突出一個決策中涉及的圖像區(qū)域，并進(jìn)行因果過濾以找到最相關(guān)的部分。

一般來說，DL方法容易出現(xiàn)欠描述；無論模型類型或應(yīng)用如何，都會出現(xiàn)這種問題。雖然方法基準(zhǔn)分?jǐn)?shù)隨模型復(fù)雜度和訓(xùn)練數(shù)據(jù)增加而提高，但使用真實世界的失真進(jìn)行測試會導(dǎo)致較差且變化的性能，這依賴于用于初始化訓(xùn)練的隨機種子。

實際實時處理系統(tǒng)需要在各種低成本硬件的內(nèi)存和計算方面達(dá)到高效。方法包括參數(shù)修剪、網(wǎng)絡(luò)量化、低秩因子分解和模型蒸餾。

行人和自行車使用者等弱勢道路使用者（VRU）存在一個問題：可以非常快速地改變方向和速度，并與車輛不同地與交通環(huán)境交互。

在ITS中實際部署計算機視覺模型的一些主要障礙，是數(shù)據(jù)源的異質(zhì)性、傳感器硬件故障以及極端或異常傳感情況。此外，最新一些框架（如基于邊緣計算的框架）直接暴露了大量無線通信信號，為惡意行為者創(chuàng)造了越來越大的潛在攻擊。已經(jīng)開發(fā)了深度學(xué)習(xí)模型來檢測這些攻擊，但實時應(yīng)用和在線學(xué)習(xí)仍然是積極研究的領(lǐng)域。

IoV面臨著基本的實際問題，這是由于移動車輛在邊緣節(jié)點上呈現(xiàn)可變的處理開銷，而每輛車也可以同時運行許多邊緣和云相關(guān)的應(yīng)用程序。與自動駕駛汽車邊緣計算相關(guān)的其他挑戰(zhàn)包括，協(xié)作感知、協(xié)作決策和網(wǎng)絡(luò)安全。攻擊者可以用激光和明亮的紅外光干擾攝像頭和激光雷達(dá)，改變交通標(biāo)志，并在通信通道重復(fù)攻擊。

如圖是模型挑戰(zhàn)：

陰影、惡劣天氣、背景-前景之間的相似性、現(xiàn)實世界中的強烈照明或不足照明等情況。眾所周知，攝像頭圖像的外觀受到不利天氣條件的影響，如大霧、雨夾雪、暴風(fēng)雪和沙塵暴。

[在惡劣的天氣條件下，交通監(jiān)控攝像頭捕捉到的車輛會出現(xiàn)曝光不足、模糊和部分遮擋等問題。同時，出現(xiàn)在交通場景中的雨滴和雪花增加了算法提取車輛目標(biāo)的難度。在夜間或在車輛朝著攝像頭行駛的隧道中，由于遠(yuǎn)光眩光，場景可能被完全掩蓋。

遮擋是最具挑戰(zhàn)性的問題之一，其中由于另一個前景目標(biāo)的遮擋，一個目標(biāo)僅部分可見于攝像頭或傳感器。遮擋以多種形式存在，從部分遮擋到重遮擋。在AD中，這個目標(biāo)可以被建筑物和燈柱等靜態(tài)目標(biāo)遮擋。諸如移動車輛或其他道路使用者之類的動態(tài)目標(biāo)可能會彼此遮擋，例如人群。遮擋也是目標(biāo)跟蹤中的一個常見問題，因為一旦被跟蹤車輛從視野中消失并再現(xiàn)，被視為不同的車輛，導(dǎo)致跟蹤和軌跡信息不準(zhǔn)確。

在交通基礎(chǔ)設(shè)施的應(yīng)用中，監(jiān)控攝像機的多樣性對基于有限視角攝像機視圖訓(xùn)練的DL方法提出了挑戰(zhàn)。早期對監(jiān)控視頻異常檢測的調(diào)查得出結(jié)論，照明、攝像機角度、異質(zhì)目標(biāo)和缺乏真實世界數(shù)據(jù)集是主要挑戰(zhàn)。用于稀疏和密集交通條件的方法是不同的，并且缺乏泛化性。在多視圖視覺場景中，匹配不同視圖中的目標(biāo)是另一個主要問題，因為多視圖ITS應(yīng)用程序需要處理同時由不同攝像頭捕獲的圖像數(shù)據(jù)。

監(jiān)控攝像機受天氣因素影響。水、灰塵和顆粒物質(zhì)可能積聚在鏡頭上，導(dǎo)致圖像質(zhì)量下降。強風(fēng)會導(dǎo)致攝像頭抖動，導(dǎo)致整個圖像的運動模糊。自動駕駛汽車上的前置攝像頭也面臨這一問題，因為昆蟲會砸到玻璃上，導(dǎo)致攝像頭視野中的盲點。具體而言，目標(biāo)檢測和分割算法受到極大影響，除非在模型中做好準(zhǔn)備，否則錯誤檢測可能會導(dǎo)致AD的嚴(yán)重安全問題，或者錯過監(jiān)視應(yīng)用的重要事件。解決這一問題的一些方法包括使用退化圖像進(jìn)行訓(xùn)練、圖像恢復(fù)預(yù)處理和微調(diào)預(yù)訓(xùn)練網(wǎng)絡(luò)從退化圖像中學(xué)習(xí)。

密集的城市交通場景充滿了復(fù)雜的視覺元素，不僅在數(shù)量上，而且在各種不同的車輛及其交互中。汽車、公共汽車、自行車和行人在同一個十字路口的存在是自動導(dǎo)航和軌跡計算的一個重要問題。不同的大小、轉(zhuǎn)彎半徑、速度和駕駛員行為，被這些道路使用者之間的交互進(jìn)一步加重。從DL的角度來看，很容易找到異構(gòu)城市交通的視頻，但標(biāo)記真值非常耗時。模擬軟件通常無法捕捉此類場景的復(fù)雜動態(tài)，尤其是在密集的城市中心出現(xiàn)的交通規(guī)則破壞行為。

如圖是復(fù)雜交通環(huán)境的挑戰(zhàn)：

應(yīng)用

如表1

今后方向

來自arXiv2211.05120論文。