廣告
LMDrive：基于LLM的自動駕駛系統(tǒng)的訓練與微調(diào)
自動駕駛技術(shù)一直是人工智能領(lǐng)域的研究熱點之一。近年來，隨著大規(guī)模預訓練語言模型（LLM）的崛起，其在自動駕駛系統(tǒng)中的應用逐漸引起關(guān)注。本文介紹了一種名為LMDrive的自動駕駛系統(tǒng)，該系統(tǒng)利用LLM進行動作預測，并通過兩個MLP適配器對未來路點進行預測。為了提高監(jiān)督信號，訓練過程中對歷史幀進行預測。在推理時，系統(tǒng)僅執(zhí)行最新幀的預測。最終的控制信號通過兩個PID控制器實現(xiàn)橫向和縱向控制，按照LBC的方法來跟蹤預測航路點的航向和速度。本文將深入探討LMDrive的訓練目標和兩個關(guān)鍵階段：視覺編碼器的預訓練和指令微調(diào)。
LMDrive的動作預測與微調(diào)
LMDrive的核心在于利用LLM進行動作預測。在接收到指令和視覺tokens序列后，系統(tǒng)通過LLM預測動作tokens。為了提高監(jiān)督信號，系統(tǒng)在訓練期間對每個歷史幀進行預測，而在推理時僅考慮最新幀。此外，為了更準確地預測未來路點，LMDrive使用兩層MLP適配器。這個適配器不僅提高了對未來路點的準確性，還通過一個標志表明給定指令是否已完成。這一設(shè)計使得LMDrive能夠更靈活地應對不同駕駛情境，從而提高系統(tǒng)的魯棒性。
訓練目標與損失項
在微調(diào)LLM及其相關(guān)組件時，LMDrive考慮兩個關(guān)鍵的損失項。首先是L1航路點損失，這個損失項確保系統(tǒng)對預測航路點的準確性有著高度的敏感性。其次是分類損失（交叉熵），用于確定當前幀是否完成了給定的指令。通過這兩個損失項的結(jié)合，LMDrive在訓練過程中能夠更好地理解并適應駕駛?cè)蝿?wù)，從而提高系統(tǒng)的性能。
LMDrive的訓練階段
LMDrive的訓練分為兩個關(guān)鍵階段。首先是視覺編碼器的預訓練階段，該階段旨在通過LLM對駕駛場景進行深度學習表示的學習。這一步為系統(tǒng)提供了對復雜環(huán)境的抽象理解。第二階段是指令微調(diào)階段，系統(tǒng)在這一階段通過與控制信號的對齊來微調(diào)LLM，以更好地適應具體的駕駛指令。這兩個階段的有機結(jié)合使得LMDrive在不同環(huán)境和任務(wù)下都能夠表現(xiàn)出色。
LMDrive作為基于LLM的自動駕駛系統(tǒng)，通過動作預測和微調(diào)兩個關(guān)鍵步驟，取得了顯著的性能提升。未來，我們期待在該領(lǐng)域看到更多基于大規(guī)模預訓練語言模型的創(chuàng)新應用，為自動駕駛技術(shù)的發(fā)展帶來更多的可能性。LMDrive的成功經(jīng)驗為未來自動駕駛系統(tǒng)的設(shè)計和優(yōu)化提供了有益的啟示。
廣告 編輯推薦
最新資訊
-
新能源汽車鋰離子電池的熱失控防護措施及材
2024-08-13 13:59
-
新能源汽車三電系統(tǒng)產(chǎn)品開發(fā)中的虛實結(jié)合試
2024-08-13 13:56
-
汽車底盤產(chǎn)品系統(tǒng)開發(fā)與驗證的虛實結(jié)合試驗
2024-08-13 13:54
-
汽車利用仿真技術(shù)輔助的多合一電驅(qū)系統(tǒng)的臺
2024-08-13 13:50
-
汽車多合一電驅(qū)系統(tǒng)載荷的失效關(guān)聯(lián)測試
2024-08-01 15:40
