廣告
混合視覺語言模型與傳統(tǒng)自動駕駛系統(tǒng)的融合
自動駕駛技術(shù)在近年來取得了長足的進(jìn)步，然而，在城市環(huán)境中，其面臨的挑戰(zhàn)依然嚴(yán)峻。理解復(fù)雜而長尾的場景、挑戰(zhàn)性的路況以及微妙的人類行為是自動駕駛系統(tǒng)必須克服的主要障礙之一。為了增強(qiáng)自動駕駛系統(tǒng)的場景理解和規(guī)劃能力，一種新的方法：利用視覺語言模型（VLM）的自動駕駛系統(tǒng)，其中包括DriveVLM和其改進(jìn)版DriveVLM Dual。
利用視覺語言模型（VLM）的自動駕駛系統(tǒng)是一種新興的技術(shù)，旨在通過結(jié)合計算機(jī)視覺和自然語言處理的方法，提高自動駕駛系統(tǒng)對復(fù)雜場景的理解能力和決策能力。這種系統(tǒng)的核心思想是利用深度學(xué)習(xí)模型對駕駛場景進(jìn)行感知，并通過自然語言處理技術(shù)將感知到的信息轉(zhuǎn)化為語義化的描述，從而使得系統(tǒng)能夠更好地理解場景并做出相應(yīng)的規(guī)劃決策。
具體來說，利用VLM的自動駕駛系統(tǒng)通常包括以下幾個關(guān)鍵步驟：
圖像感知：系統(tǒng)首先通過搭載攝像頭等傳感器設(shè)備來獲取駕駛場景的圖像信息。這些圖像可能包含道路、車輛、行人、交通標(biāo)志等各種元素。
特征提?。航酉聛?，系統(tǒng)利用深度學(xué)習(xí)技術(shù)對獲取的圖像進(jìn)行特征提取，將圖像信息轉(zhuǎn)化為高維的特征向量表示。這些特征向量包含了場景的豐富信息，如物體的位置、大小、形狀等。
視覺語言模型（VLM）處理：得到圖像的特征向量后，系統(tǒng)將這些特征向量輸入到視覺語言模型（VLM）中進(jìn)行處理。VLM是一種能夠?qū)D像與自然語言之間建立聯(lián)系的深度學(xué)習(xí)模型，通常采用Transformer等結(jié)構(gòu)。通過VLM，系統(tǒng)能夠?qū)D像信息轉(zhuǎn)化為語義化的描述，描述場景中的物體、位置關(guān)系、動作等。
場景理解與規(guī)劃：最后，系統(tǒng)利用VLM生成的語義化描述，結(jié)合實(shí)時感知到的駕駛場景信息，進(jìn)行場景理解和規(guī)劃。這包括對道路狀況、車輛行駛狀態(tài)、交通標(biāo)志等進(jìn)行分析，并做出相應(yīng)的駕駛決策，如車輛行駛軌跡規(guī)劃、速度控制、交通規(guī)則遵守等。
然而，DriveVLM也存在一些局限性，特別是在空間推理和計算效率方面的表現(xiàn)并不理想。
為了克服這些局限性，研究者提出了DriveVLM Dual，它是DriveVLM的改進(jìn)版，將VLM與傳統(tǒng)的自動駕駛流水線相結(jié)合。DriveVLM Dual不僅集成了VLM的優(yōu)勢，還融合了傳統(tǒng)的3D感知和軌跡規(guī)劃模塊，從而實(shí)現(xiàn)了更強(qiáng)大的空間理解能力和實(shí)時推斷速度。這一混合系統(tǒng)的出現(xiàn)，極大地提升了自動駕駛系統(tǒng)在復(fù)雜和不可預(yù)測的駕駛條件下的性能表現(xiàn)。
為了驗證DriveVLM和DriveVLM Dual的效果，研究者進(jìn)行了大量實(shí)驗，使用了nuScenes數(shù)據(jù)集和SUP-AD數(shù)據(jù)集。實(shí)驗結(jié)果表明，這兩種系統(tǒng)在復(fù)雜和不可預(yù)測的駕駛條件下均超過了現(xiàn)有的方法。DriveVLM在場景理解和規(guī)劃能力上表現(xiàn)出色，而DriveVLM Dual在空間推理和實(shí)時軌跡規(guī)劃方面更具優(yōu)勢。
總的來說，DriveVLM和DriveVLM Dual代表了自動駕駛技術(shù)領(lǐng)域的最新進(jìn)展，它們的出現(xiàn)為自動駕駛系統(tǒng)的發(fā)展帶來了新的思路和方法。隨著技術(shù)的不斷進(jìn)步和研究的深入，相信這些方法將進(jìn)一步提升自動駕駛系統(tǒng)的性能，使其更好地適應(yīng)各種復(fù)雜的駕駛場景。
廣告 編輯推薦
最新資訊
-
新能源汽車鋰離子電池的熱失控防護(hù)措施及材
2024-08-13 13:59
-
新能源汽車三電系統(tǒng)產(chǎn)品開發(fā)中的虛實(shí)結(jié)合試
2024-08-13 13:56
-
汽車底盤產(chǎn)品系統(tǒng)開發(fā)與驗證的虛實(shí)結(jié)合試驗
2024-08-13 13:54
-
汽車?yán)梅抡婕夹g(shù)輔助的多合一電驅(qū)系統(tǒng)的臺
2024-08-13 13:50
-
汽車多合一電驅(qū)系統(tǒng)載荷的失效關(guān)聯(lián)測試
2024-08-01 15:40
