日本无码免费高清在线|成人日本在线观看高清|A级片免费视频操逼欧美|全裸美女搞黄色大片网站|免费成人a片视频|久久无码福利成人激情久久|国产视频一二国产在线v|av女主播在线观看|五月激情影音先锋|亚洲一区天堂av

  • 手機(jī)站
  • 小程序

    汽車測(cè)試網(wǎng)

  • 公眾號(hào)

    • 汽車測(cè)試網(wǎng)

    • 在線課堂

    • 電車測(cè)試

基于平行視覺的自動(dòng)駕駛認(rèn)知增強(qiáng)系統(tǒng)框架——解決自動(dòng)駕駛中的長(zhǎng)尾問題

2022-02-24 19:16:55·  來源：智車科技  
　
/ 導(dǎo)讀 /近日，中科院自動(dòng)化研究所、西安交通大學(xué)人工智能與機(jī)器人研究所、清華大學(xué)等單位在智能車領(lǐng)域國(guó)際頂級(jí)期刊IEEE Transactions on Intelligent Vehicles
/ 導(dǎo)讀 /
近日，中科院自動(dòng)化研究所、西安交通大學(xué)人工智能與機(jī)器人研究所、清華大學(xué)等單位在智能車領(lǐng)域國(guó)際頂級(jí)期刊IEEE Transactions on Intelligent Vehicles雜志上聯(lián)合發(fā)表了題為“Parallel Vision for Long-Tail Regularization: Initial Results from IVFC Autonomous Driving Testing”的研究文章。文中提出了用于分析和解決自動(dòng)駕駛視覺感知中長(zhǎng)尾問題的理論框架，并基于此構(gòu)建了一個(gè)平行視覺系統(tǒng)，在中國(guó)智能汽車未來挑戰(zhàn)賽（Intelligent Vehicle Future Challenge, IVFC）應(yīng)用驗(yàn)證。
引用格式：J. Wang et al., "Parallel Vision for Long-Tail Regularization: Initial Results from IVFC Autonomous Driving Testing," in IEEE Transactions on Intelligent Vehicles, doi: 10.1109/TIV.2022.3145035.
論文主要研究?jī)?nèi)容和貢獻(xiàn)包括：
  1. 提出了長(zhǎng)尾常態(tài)化(Long-tail Regularization, LoTR)的理論框架，用于分析和解決視覺長(zhǎng)尾問題。
  2. 基于 LoTR 理論構(gòu)建了一個(gè)基于虛實(shí)互動(dòng)和 ACP 閉環(huán)優(yōu)化[1] [2] 的平行視覺系統(tǒng)（Parallel Vision Actualization System, PVAS）用于解決長(zhǎng)尾問題。
  3. 將 LoTR 的理論分析方法和 PVAS 的實(shí)際系統(tǒng)結(jié)合起來應(yīng)用于全球持續(xù)舉辦時(shí)間最長(zhǎng)、無人駕駛賽事參賽隊(duì)伍最多、影響范圍最廣的自動(dòng)駕駛比賽 IVFC 中。
引言
長(zhǎng)尾是某些統(tǒng)計(jì)分布所具有特征的一種形象表示。在“長(zhǎng)尾”分布中，低頻事件的分布范圍很廣，其總的發(fā)生概率和高頻事件相當(dāng)。
在視覺問題中，從數(shù)據(jù)的角度考慮，常規(guī)場(chǎng)景出現(xiàn)的頻率過高，而極端場(chǎng)景出現(xiàn)的頻率非常低，很多現(xiàn)實(shí)世界的長(zhǎng)尾場(chǎng)景只能在特定條件下獲取，訓(xùn)練集多樣性不足以表征現(xiàn)實(shí)世界的長(zhǎng)尾分布；而從模型的角度考慮，許多視覺模型僅在常規(guī)場(chǎng)景中表現(xiàn)較好，對(duì)于突發(fā)的極端場(chǎng)景感知能力欠佳，模型具有不完備的問題。
解決長(zhǎng)尾問題需要在考慮常規(guī)視覺問題的基礎(chǔ)上，更全面地兼顧到長(zhǎng)尾場(chǎng)景的影響，使視覺系統(tǒng)對(duì)存在長(zhǎng)尾效應(yīng)的復(fù)雜場(chǎng)景達(dá)到最大可能的有效智能感知。
傳統(tǒng)的視覺研究在數(shù)據(jù)獲取、模型學(xué)習(xí)與評(píng)估方面存在困難。
從實(shí)際場(chǎng)景中采集和標(biāo)注大規(guī)模多樣性的數(shù)據(jù)集，費(fèi)時(shí)費(fèi)力，手工標(biāo)注也容易出錯(cuò)；另外，實(shí)際場(chǎng)景不可控、不可重復(fù)，無法將場(chǎng)景的每個(gè)組成因素(天氣、光照等)分離出來，單獨(dú)分析對(duì)視覺算法的影響。
由于數(shù)據(jù)獲取的困難，使用規(guī)模和多樣性不足的訓(xùn)練集，很難學(xué)習(xí)到精度高、泛化好的視覺模型；許多模型僅在特定環(huán)境下進(jìn)行了評(píng)估，是非常不完備的。
平行視覺的基本框架及思路
圖1. 平行視覺基本框架[3]
如圖1所示，平行視覺[3] 是復(fù)雜系統(tǒng)建模與調(diào)控的ACP (Artificial systems, computational experiments, and parallel execution) 理論在視覺計(jì)算領(lǐng)域的推廣應(yīng)用，是一種虛實(shí)互動(dòng)的智能視覺計(jì)算方法。
論文中將平行視覺的理論方法引入到自動(dòng)駕駛領(lǐng)域，解決交通視覺場(chǎng)景中的長(zhǎng)尾問題，取得了很好的效果。
平行視覺的主要思路是利用人工場(chǎng)景模擬和表示復(fù)雜且具有挑戰(zhàn)的實(shí)際場(chǎng)景，通過計(jì)算實(shí)驗(yàn)進(jìn)行視覺模型的訓(xùn)練與評(píng)估，最后借助虛實(shí)互動(dòng)的平行執(zhí)行在線優(yōu)化視覺模型，實(shí)現(xiàn)對(duì)復(fù)雜環(huán)境的智能感知與理解。
基于平行視覺的視覺方法可以學(xué)習(xí)到更有效的視覺計(jì)算模型，同時(shí)還可以全面評(píng)估視覺算法在復(fù)雜環(huán)境下的有效性，使模型訓(xùn)練和評(píng)估在線化、長(zhǎng)期化。
通過持續(xù)對(duì)視覺系統(tǒng)進(jìn)行優(yōu)化，可以提高其在復(fù)雜環(huán)境下的運(yùn)行效果，另外通過融合虛擬現(xiàn)實(shí)、機(jī)器學(xué)習(xí)、知識(shí)自動(dòng)化等技術(shù)，可以使視覺系統(tǒng)真正走向?qū)嶋H應(yīng)用。
自動(dòng)駕駛中的長(zhǎng)尾問題及常態(tài)化方法
圖2. LoTR的示意圖。(a) 在理想條件下獲得的LoTR分布的統(tǒng)計(jì)分布直方圖和概率密度曲線。(b) 真實(shí)世界交通事件的統(tǒng)計(jì)分布直方圖和擬合長(zhǎng)尾分布的概率密度曲線。(c) 理想情況下，長(zhǎng)尾分布和LoTR分布結(jié)合起來形成一個(gè)均勻分布。(橫坐標(biāo)表示事件空間?！盋rossroads wo TL” 表示“沒有交通燈的十字路口”）。
如圖2所示，長(zhǎng)尾問題常態(tài)化是基于平行學(xué)習(xí)解決長(zhǎng)尾問題的重要理論，通過在人工世界中利用虛擬數(shù)據(jù)對(duì)真實(shí)數(shù)據(jù)進(jìn)行定向擴(kuò)充，可以彌補(bǔ)由于數(shù)據(jù)不平衡而引起的長(zhǎng)尾問題。圖2(b)為真實(shí)世界交通事件的統(tǒng)計(jì)分布直方圖和擬合長(zhǎng)尾分布的概率密度曲線，滿足長(zhǎng)尾場(chǎng)景的概率質(zhì)量函數(shù)
。圖2(a)為理想條件下，在人工世界中構(gòu)建的長(zhǎng)尾常態(tài)化分布曲線，其概率質(zhì)量函數(shù)
滿足：
其中，
為已知的現(xiàn)實(shí)世界中目標(biāo)場(chǎng)景所滿足的概率質(zhì)量函數(shù)。
此時(shí)，可以構(gòu)建一個(gè)概率質(zhì)量函數(shù)


，我們可以得到：
如圖2(c)所示，
為一個(gè)消除了長(zhǎng)尾效果的均勻分布。
上述推導(dǎo)過程可以從理論上證明，基于平行學(xué)習(xí)的長(zhǎng)尾常態(tài)化理論上可以解決長(zhǎng)尾問題中數(shù)據(jù)的不均衡。
基于平行視覺的自動(dòng)駕駛認(rèn)知增強(qiáng)系統(tǒng)架構(gòu)
圖3. 用于IVFC的PVAS概述流程圖。其中，虛擬世界指的是通過仿真實(shí)現(xiàn)的ParallelEye-CS，真實(shí)世界指的是IVFC的試驗(yàn)場(chǎng)。
如圖3所示，PVAS由兩個(gè)世界和包括人工系統(tǒng)、計(jì)算實(shí)驗(yàn)和平行執(zhí)行在內(nèi)的三個(gè)單元組成，它們一起構(gòu)成了一個(gè)虛實(shí)互動(dòng)的閉環(huán)系統(tǒng)。
在虛擬世界中，早期的工作中已經(jīng)構(gòu)建了一個(gè)名為ParalleEye-CS[4] 的計(jì)算機(jī)仿真環(huán)境。ParallelEye-CS在整體布局上與IVFC中現(xiàn)實(shí)世界的試驗(yàn)場(chǎng)相一致。
在ParallelEye-CS中，通過修改仿真參數(shù)輕易地產(chǎn)生各種場(chǎng)景，這些參數(shù)不同的組合對(duì)應(yīng)著不同的交通場(chǎng)景，因此ParallelEye-CS可以生成各式各樣且?guī)в袠?biāo)注的合成圖像。
根據(jù)LoTR理論，我們可以在虛擬世界中依據(jù)真實(shí)世界的情況模擬出一個(gè)基本滿足長(zhǎng)尾分布的原始數(shù)據(jù)集。
基于ACP的閉環(huán)優(yōu)化方法，不斷調(diào)整虛擬世界中的環(huán)境參數(shù)設(shè)置，和交通對(duì)象位置，可以迭代產(chǎn)生一系列的復(fù)雜交通場(chǎng)景。
在這一過程中，虛擬數(shù)據(jù)集的分布逐漸在一定誤差范圍內(nèi)滿足常態(tài)化后的長(zhǎng)尾分布，同時(shí)自動(dòng)駕駛視覺系統(tǒng)也在虛擬世界中得到了初步的訓(xùn)練和優(yōu)化。
此時(shí)，我們可以將在虛擬世界中成百上千次的實(shí)驗(yàn)經(jīng)驗(yàn)總結(jié)實(shí)施到真實(shí)世界的比賽場(chǎng)景構(gòu)建過程中，設(shè)置合適的比賽任務(wù)和比賽場(chǎng)景，更好地檢驗(yàn)自動(dòng)駕駛汽車的視覺系統(tǒng)能力。
有了來自虛擬世界的寶貴經(jīng)驗(yàn)，在真實(shí)世界中搭建的比賽場(chǎng)景只需要再經(jīng)過一些簡(jiǎn)單的測(cè)試和調(diào)整就可以達(dá)到理想的狀態(tài)。
同時(shí)，虛擬世界中獲得的自動(dòng)駕駛視覺系統(tǒng)也可以作為真實(shí)視覺系統(tǒng)的一個(gè)有效初始狀態(tài)，加快訓(xùn)練過程。
最后，每一屆比賽結(jié)束后積累的經(jīng)驗(yàn)也可以進(jìn)一步指導(dǎo)下一屆比賽準(zhǔn)備過程中虛擬環(huán)境中各種參數(shù)的選擇和設(shè)置，達(dá)到逐年提升的目的，形成虛擬世界與真實(shí)世界之間一個(gè)大的閉環(huán)優(yōu)化過程。
論文中，針對(duì)上述方法和理論進(jìn)行了實(shí)驗(yàn)，同時(shí)結(jié)合歷年比賽數(shù)據(jù)分析，證明了系統(tǒng)的有效性。
拓展：中國(guó)智能車未來挑戰(zhàn)賽實(shí)踐與應(yīng)用
IVFC由中國(guó)自然基金委員會(huì)支持，是國(guó)家自然科學(xué)基金委員會(huì)重大研究計(jì)劃“視聽覺信息的認(rèn)知計(jì)算”的重要組成部分。IVFC創(chuàng)辦于2009年，如圖4所示，該賽事至今已經(jīng)分別在西安、鄂爾多斯、赤峰、常熟等地舉辦了十二屆，是世界范圍內(nèi)持續(xù)時(shí)間最長(zhǎng)的無人車駕駛比賽[5] 。
圖4. IVFC歷屆賽事舉辦地（2009-至今，2021年由于疫情推遲舉辦）
目前，常熟已經(jīng)成為了IVFC的固定比賽站點(diǎn)，如圖5所示，為常熟測(cè)試場(chǎng)地中“田”字城鄉(xiāng)道路比賽場(chǎng)地的實(shí)際展示圖?？梢栽趫?chǎng)地中在平行視覺的指導(dǎo)下搭建出各種各樣不同的真實(shí)交通場(chǎng)景，以測(cè)試自動(dòng)駕駛汽車對(duì)城市和鄉(xiāng)村道路中各種常見場(chǎng)景和長(zhǎng)尾場(chǎng)景的處理能力。另外，常熟測(cè)試中心還設(shè)有近十公里長(zhǎng)的高架道路，用于檢驗(yàn)無人車在高速行進(jìn)間的異常處理能力。
圖5. IVFC常熟測(cè)試基地
參考文獻(xiàn)
  1. 王飛躍. 平行系統(tǒng)方法與復(fù)雜系統(tǒng)的管理和控制[J]. 控制與決策, 2004, 19(005):485-489,514.
  2. Wang F.-Y. Parallel Control and Management for Intelligent Transportation Systems: Concepts, Architectures, and Applications[J]. IEEE Transactions on Intelligent Transportation Systems, 2010, 11(3):630-638.
  3. Wang K, Gou C, Zheng N, Rehg J. M, Wang F.-Y . Parallel vision for perception and understanding of complex scenes: methods, framework, and perspectives[J]. Artificial Intelligence Review, 2017, 48(3): 299-329.
  4. Li X, Wang Y, Yan L, Wang K, Deng F, Wang F.-Y. ParallelEye-CS: A New Dataset of Synthetic Images for Testing the Visual Intelligence of Intelligent Vehicles[J]. IEEE Transactions on Vehicular Technology, 2019, 68(10): 9619-9631.
  5. Li L, Wang X, Wang K, Lin Y, Xin J, Chen L, Xu L, Tian B, Ai Y, Wang J, Cao D, Liu Y, Wang C, Zheng N, Wang F.-Y. Parallel testing of vehicle intelligence via virtual-real interaction[J]. Science Robotics 4, no. 28 (2019).
分享到：
 
反對(duì) 0 舉報(bào) 0 收藏 0 評(píng)論 0
滬ICP備11026917號(hào)-25