日本无码免费高清在线|成人日本在线观看高清|A级片免费视频操逼欧美|全裸美女搞黄色大片网站|免费成人a片视频|久久无码福利成人激情久久|国产视频一二国产在线v|av女主播在线观看|五月激情影音先锋|亚洲一区天堂av

  • 手機(jī)站
  • 小程序

    汽車測(cè)試網(wǎng)

  • 公眾號(hào)

    • 汽車測(cè)試網(wǎng)

    • 在線課堂

    • 電車測(cè)試

ADAS的MR混合現(xiàn)實(shí)應(yīng)用

2020-01-10 19:31:56·  來(lái)源：佐思汽車研究  
　
增強(qiáng)現(xiàn)實(shí)AR是把把虛擬世界疊加到現(xiàn)實(shí)世界，混合現(xiàn)實(shí)MR（Mixed Reality）則是把真實(shí)的東西疊加到虛擬世界。微軟在今后的5到10年，將全力做MR。微軟在MR領(lǐng)域鋪了50
增強(qiáng)現(xiàn)實(shí)AR是把把虛擬世界疊加到現(xiàn)實(shí)世界，混合現(xiàn)實(shí)MR（Mixed Reality）則是把真實(shí)的東西疊加到虛擬世界。微軟在今后的5到10年，將全力做MR。微軟在MR領(lǐng)域鋪了5000多研發(fā)人員，蘋(píng)果有3000多人。
 
AR和MR聽(tīng)起來(lái)好像差不多，都是把現(xiàn)實(shí)和虛擬混到一起，其實(shí)差別很大。因?yàn)榘烟摂M疊加到現(xiàn)實(shí)里比較容易，現(xiàn)在連游戲都有了，就是在真實(shí)的畫(huà)面上顯示虛擬的東西就行。
 
MR要把現(xiàn)實(shí)疊加到虛擬里，就比較難。因?yàn)槭紫鹊冒熏F(xiàn)實(shí)的東西虛擬化，也就是先得用攝像頭捕捉畫(huà)面，但攝像頭捕捉的畫(huà)面都是二維的，畫(huà)面是扁平的，沒(méi)有立體感，所以還得把二維的圖像通過(guò)計(jì)算機(jī)形成三維的虛擬圖像，叫3D建模。只有把現(xiàn)實(shí)物體虛擬化之后，才能把它很好地融合進(jìn)虛擬3D世界里面。
 
2020CES上， Futurus展出了混合現(xiàn)實(shí)全景顯示器，這款產(chǎn)品獲得了 CES 2020 創(chuàng)新獎(jiǎng)。據(jù)Futurus介紹，它能將道路信息、娛樂(lè)信息及人工智能助理形象等投射到透明擋風(fēng)玻璃上，還能整合包括激光雷達(dá)、毫米波雷達(dá)、攝像頭在內(nèi)的諸多傳感器，透明顯示ADAS功能。
 
本文摘編自德國(guó)汽車軟件公司Apostera技術(shù)負(fù)責(zé)人Sergii Bykov 在2019年發(fā)表的演講。Apostera總部位于德國(guó)慕尼黑，在東歐設(shè)有研發(fā)中心，亞洲有辦事處，主要產(chǎn)品是以ADAS為基礎(chǔ)的MR方案。Apostera為ARHUD、導(dǎo)航供應(yīng)商和原始設(shè)備制造商提供混合現(xiàn)實(shí)（MR）解決方案，這一方案基于增強(qiáng)現(xiàn)實(shí)、機(jī)器學(xué)習(xí)、計(jì)算機(jī)視覺(jué)和傳感器融合技術(shù)，為傳統(tǒng)導(dǎo)航系統(tǒng)增加智能分析能力。
 
Apostera公司的軟件將現(xiàn)實(shí)世界與虛擬世界結(jié)合起來(lái)，基于前視相機(jī)和全景顯示的幫助與數(shù)據(jù)智能融合，提供混合現(xiàn)實(shí)導(dǎo)航，保障行車路徑安全和事故提醒。Apostera已經(jīng)可以與TomTom導(dǎo)航工具集成，在駕駛時(shí)應(yīng)用混合現(xiàn)實(shí)，以在HUD中突出顯示最佳路線的車道。
Apostera參與實(shí)施的項(xiàng)目包括：
一、ADAS的挑戰(zhàn)和Apostera的應(yīng)對(duì)方案
當(dāng)前的ADAS嵌入式平臺(tái)面臨如下挑戰(zhàn)：
  • 能耗及性能
  • --側(cè)重于性能且能耗較低
  • 低延遲及高頻率響應(yīng)
  • --對(duì)環(huán)境變化做出快速反應(yīng)對(duì)于實(shí)時(shí)工作至關(guān)重要
  • 魯棒性及質(zhì)量
  • --在有難度的操作情況下保證魯棒性及高質(zhì)量
  • --要求一系列驗(yàn)證場(chǎng)景及自適應(yīng)探索(heuristics)
  • 需要專用嵌入式實(shí)時(shí)系統(tǒng)架構(gòu)
  • --為實(shí)時(shí)要求和可移植性設(shè)計(jì)以適合最有效的硬件平臺(tái)
  • 硬件及軟件傳感器融合
  • --融合可用的數(shù)據(jù)源（傳感器，地圖等）以保證魯棒性及質(zhì)量
  • 大數(shù)據(jù)分析
  • --大量數(shù)據(jù)需存儲(chǔ)用于開(kāi)發(fā)及測(cè)試
  • 現(xiàn)場(chǎng)和非現(xiàn)場(chǎng)自動(dòng)駕駛測(cè)試
  • --自適應(yīng)啟發(fā)式開(kāi)發(fā)
  • --系統(tǒng)驗(yàn)證
  • --收集特殊案例
ADAS機(jī)器學(xué)習(xí)（Machine Learning, ML）也面臨以下五個(gè)方面的挑戰(zhàn)：
  • 機(jī)器學(xué)習(xí)需要大量高質(zhì)量數(shù)據(jù)
  • --有必要保證ML更高穩(wěn)定性及精確度；
  • --某些任務(wù)沒(méi)有海量數(shù)據(jù)，限制了ML使用
  • AI 及期望
  • --理解技術(shù)的局限性
  • --解決替代人類工作的期望
  • 即將量產(chǎn)
  • --從模型化過(guò)渡到量產(chǎn)化的AI解決方案
  • 目前的ML不理解語(yǔ)境
  • --實(shí)時(shí)本地?cái)?shù)據(jù)分析需求增加
  • --需快速再培訓(xùn)ML模型以理解新的數(shù)據(jù)
  • 機(jī)器學(xué)習(xí)安全性
  • --解決安全問(wèn)題，比如信息完整性
Apostera系統(tǒng)的亮點(diǎn)在于
  • 硬件與傳感器無(wú)關(guān)；
  • 融合/可視化可信度估計(jì)；
  • 實(shí)時(shí)且資源消耗低；
  • 延遲補(bǔ)償及預(yù)測(cè)模型：
  • 可為不同的OEM設(shè)計(jì)不同的配置；
  • 可配置邏輯需求（包括模型及地區(qū)）：
  • --用戶界面邏輯考慮可信度及輸入數(shù)據(jù)的可能性；
  • --考慮動(dòng)態(tài)環(huán)境和物體遮擋的邏輯
  • 與不同的導(dǎo)航系統(tǒng)和地圖格式集成
  • --地圖數(shù)據(jù)不精確補(bǔ)償；
  • --精確、相對(duì)及絕對(duì)定位
 
MR對(duì)ADAS攝像頭有一定的要求：低延遲，占用空間小，低能耗，高可靠度。
下表是部分ADAS攝像頭采用的傳感器參數(shù)對(duì)比：
ADAS混合現(xiàn)實(shí)應(yīng)用中，傳感器融合至關(guān)重要。Apostera開(kāi)發(fā)了融合濾波器參數(shù)調(diào)整問(wèn)題的解決方案，以適應(yīng)具有不同底盤(pán)和轉(zhuǎn)向輪模型/參數(shù)的不同車型。方案有以下功能特點(diǎn)：
  • 絕對(duì)及相對(duì)定位；
  • 導(dǎo)航推算；
  • 與車規(guī)級(jí)傳感器（如GPS，方向盤(pán)，方向盤(pán)速度，輪轂傳感器）融合；
  • 導(dǎo)航數(shù)據(jù)融合；
  • 復(fù)雜的方向盤(pán)模型確認(rèn)，且可與現(xiàn)有模型集成；
  • GPS糾錯(cuò)；
  • 復(fù)雜條件（隧道，城市峽谷）下具備穩(wěn)定性及魯棒性
該方案利用先進(jìn)增強(qiáng)目標(biāo)定位技術(shù)，解決地圖精度問(wèn)題。
MR混合現(xiàn)實(shí)中的車道檢測(cè)包括如下工作：
  • 低水平不變特征：
  • --單一攝像頭；
  • --雙目數(shù)據(jù)；
  • --點(diǎn)云
  • 結(jié)構(gòu)分析
  • 概率模型：
  • --真實(shí)世界特征；
  • --實(shí)物；
  • --3D場(chǎng)景重建；
  • --道路情況
  • 3D空間場(chǎng)景融合（不同傳感器輸入）
  • 環(huán)境模型傳播
Apostera正在進(jìn)行的工作包括更多種類（物體）檢測(cè)及可行駛區(qū)域檢測(cè)。道路物體檢測(cè)在保證當(dāng)前檢測(cè)質(zhì)量的基礎(chǔ)上，增加了交通信號(hào)識(shí)別（探測(cè)器+分類器） 和交通信號(hào)燈識(shí)別。
可行駛區(qū)域檢測(cè)運(yùn)用語(yǔ)義分割，模型基于Squeeze-net 和U-net, 目前運(yùn)行參數(shù) （Jetson TX2）為 輸入640*320（lowres）,處理速度75ms/frame。
二、目標(biāo)檢測(cè)算法
目標(biāo)檢測(cè)常用的深度神經(jīng)網(wǎng)絡(luò)算法（DNN）的對(duì)比如下圖所示，檢測(cè)框架包括SSD、Faster RCNN、R-FCN，特征提取器采用了MobileNet，Inception V3, Resnet 101等進(jìn)行對(duì)比。
SSD（Single shot multibox detector）將邊界框的輸出空間離散化為不同長(zhǎng)寬比的一組默認(rèn)框和并縮放每個(gè)特征映射的位置。在預(yù)測(cè)時(shí)，網(wǎng)絡(luò)會(huì)在每個(gè)默認(rèn)框中為每個(gè)目標(biāo)類別的出現(xiàn)生成分?jǐn)?shù)，并對(duì)框進(jìn)行調(diào)整以更好地匹配目標(biāo)形狀。
相對(duì)于需要目標(biāo)提出的方法，SSD非常簡(jiǎn)單，因?yàn)樗耆颂岢錾珊碗S后的像素或特征重新采樣階段，并將所有計(jì)算封裝到單個(gè)網(wǎng)絡(luò)中。這使得SSD易于訓(xùn)練和直接集成到需要檢測(cè)組件的系統(tǒng)中。
SSD模型架構(gòu)
MobileNet作為一個(gè)特征提取器，使用深度可分離的卷積來(lái)構(gòu)建輕量級(jí)深度神經(jīng)網(wǎng)絡(luò)。通過(guò)兩個(gè)全局超參數(shù)，可以在延遲和準(zhǔn)確性之間高效地進(jìn)行折衷。這些超參數(shù)允許模型構(gòu)建者根據(jù)問(wèn)題的約束為其應(yīng)用程序選擇合適的大小模型。在資源和精度折衷方面進(jìn)行了廣泛的實(shí)驗(yàn)，并且與ImageNet分類上的其他流行模型相比，顯示了強(qiáng)大的性能。MobileNets有廣泛的應(yīng)用和案例，包括對(duì)象檢測(cè)，細(xì)粒度分類，人臉屬性和大規(guī)模地理定位等方面證明有效。
SSD-MobileNet組合模型的質(zhì)量從以下幾個(gè)方面考慮：
  • 速度及精確度：SSD-MobileNet 在針對(duì)實(shí)時(shí)處理的模型中擁有mAP優(yōu)勢(shì)。
  • 特征提?。禾卣魈崛∑鞯木_度決定探測(cè)器的精度，但對(duì)于SSD來(lái)說(shuō)不是很重要。
  • 目標(biāo)體積：對(duì)于體積大的目標(biāo)，SSD在只有一個(gè)簡(jiǎn)單提取器的情況下表現(xiàn)更好，在有更好的提取器情況下甚至能夠匹配其他探測(cè)器的精度。但對(duì)于體積小的目標(biāo)而言SSD和其他方法相比不具備優(yōu)勢(shì)。
  • 輸入圖像的分辨率：更高的分辨率可極大地改善體積較小的目標(biāo)檢測(cè)，對(duì)于體積較大的目標(biāo)也有幫助。分辨率減少2倍，精度將降低；減少3倍，推理時(shí)間也將減少。
  • 內(nèi)存使用：MobileNet占用很小的RAM空間，總計(jì)內(nèi)存少于1Gb。
SSD-MobileNet 檢測(cè)質(zhì)量
SSD-MobileNet基本推理性能
推理優(yōu)化方案從ROI、模型深度、運(yùn)行時(shí)間三個(gè)方面進(jìn)行。
1）將輸入水平分辨率減少至640p以下時(shí)會(huì)導(dǎo)致狹窄對(duì)象（比如行人）的精度大幅降低。針對(duì)此采取的推理優(yōu)化方案為僅通過(guò)高度進(jìn)一步減少ROI , 將體積較小的對(duì)象從訓(xùn)練中移除：大多數(shù)道路對(duì)象占據(jù)中心框架的一半；使用水平方向動(dòng)態(tài)幀；SSD可處理被截?cái)?遮擋的近距離物體。
2）MobileNet 提供2個(gè)超參數(shù)，寬度乘數(shù)和分辨率乘數(shù)。寬度乘數(shù)α的作用是在每層均勻地減薄網(wǎng)絡(luò)。通過(guò)減少寬度乘數(shù)α，減薄網(wǎng)絡(luò)并移除多余的卷積。目前道路對(duì)象數(shù)據(jù)庫(kù)選擇的寬度乘數(shù)為0.75。
MobileNet精度及寬度乘數(shù)
2）運(yùn)行時(shí)間和更新從CUDA8.0+cuDNN6 到CUDA9.0 +cuDNN7, 通過(guò)低開(kāi)發(fā)成本實(shí)現(xiàn)性能升級(jí)。
運(yùn)行時(shí)間性能比較
SSD-MobileNet優(yōu)化后性能比較
三、HMI 人機(jī)交互
增強(qiáng)對(duì)象基元
HUD與LCD在硬件局限性（HUD在市場(chǎng)上少見(jiàn)，F(xiàn)OV和體積不同），時(shí)間控制（零延遲，司機(jī)眼睛位置），及司機(jī)感知（虛擬圖像距離，信息平衡）方面都有所不同。
 
HUD及LCD上導(dǎo)航界面設(shè)計(jì)就不一樣：
HUD及LCD上ADAS界面設(shè)計(jì)也完全不同：
MR混合現(xiàn)實(shí)系統(tǒng)需糾正HUD圖像中微小的失真，通過(guò)拍攝一張由HUD投影的測(cè)試圖案的圖像，并由攝像頭記錄定制變形地圖。
應(yīng)用演示
最后總結(jié)一下，混合現(xiàn)實(shí)MR系統(tǒng)的技術(shù)要點(diǎn)：
1）深刻理解基本理論結(jié)果和最終需求之間的交叉與協(xié)同；
2）正規(guī)數(shù)學(xué)方法輔以深度學(xué)習(xí)；
3）堅(jiān)實(shí)的GPU優(yōu)化；
4）集成了車載數(shù)據(jù)的車規(guī)級(jí)解決方案，融合所有數(shù)據(jù)源；
5）在不同的天氣和道路條件下具有高魯棒性；
6）設(shè)計(jì)并執(zhí)行閉環(huán)，以增強(qiáng)每個(gè)組件的速度和魯棒性；
7）與V2X及各種導(dǎo)航系統(tǒng)集成；
8）系統(tǒng)架構(gòu)支持分布式硬件設(shè)置，如有需要可與現(xiàn)有的車載組件 (環(huán)境模型，物體檢測(cè)，導(dǎo)航，定位系統(tǒng)等）集成；
9）分層算法框架設(shè)計(jì)極大優(yōu)化嵌入式平臺(tái)計(jì)算；
10）與科研機(jī)構(gòu)協(xié)作，整合前沿方法
 
 
分享到：
 
反對(duì) 0 舉報(bào) 0 收藏 0 評(píng)論 0
滬ICP備11026917號(hào)-25