7月5日，在2024智能駕駛夏季發(fā)布會(huì)上，理想汽車宣布將于7月內(nèi)向全量理想AD Max用戶推送“全國(guó)都能開”的無圖NOA，并將于7月內(nèi)推送全自動(dòng)AES（自動(dòng)緊急轉(zhuǎn)向）和全方位低速AEB（自動(dòng)緊急制動(dòng)）。

同時(shí)，理想汽車發(fā)布了基于端到端模型、VLM視覺語言模型和世界模型的全新自動(dòng)駕駛技術(shù)架構(gòu)，并開啟新架構(gòu)的早鳥計(jì)劃。

理想汽車的自動(dòng)駕駛?cè)录夹g(shù)架構(gòu)受諾貝爾獎(jiǎng)得主丹尼爾·卡尼曼的快慢系統(tǒng)理論啟發(fā)，在自動(dòng)駕駛領(lǐng)域模擬人類的思考和決策過程，形成更智能、更擬人的駕駛解決方案。

理想汽車提到的端到端模型就是快系統(tǒng)，即系統(tǒng)1；VLM視覺語言模型就是慢系統(tǒng)，即系統(tǒng)2。

那么如何將這套雙系統(tǒng)理論應(yīng)用到自動(dòng)駕駛領(lǐng)域，又有哪些關(guān)鍵的技術(shù)和挑戰(zhàn)呢？

“NE時(shí)代智能車”將分三篇介紹，2024夏季發(fā)布會(huì)上，理想的自動(dòng)駕駛技術(shù)。

本文重點(diǎn)介紹下理想自動(dòng)駕駛的雙系統(tǒng)。

01.快慢系統(tǒng)如何應(yīng)用到自動(dòng)駕駛？

理想方面在闡述雙系統(tǒng)時(shí)介紹說，系統(tǒng)1就是人根據(jù)自己的過去的經(jīng)驗(yàn)和習(xí)慣形成的直覺，還可以做出快速的決策，也可以稱之為快系統(tǒng)或者快思考，比如回答1+1=？，其實(shí)基本不用思考直截了當(dāng)說出答案，開車的時(shí)候，95%占比其實(shí)都是系統(tǒng)1在工作。

系統(tǒng)2是思維推理能力，需要經(jīng)過思考或推理才能解決這種復(fù)雜的問題和應(yīng)對(duì)未知的場(chǎng)景。比如像開車可能只有5%的情況下，才會(huì)使用系統(tǒng)2。

簡(jiǎn)而言之，系統(tǒng)1和系統(tǒng)2形成了人類認(rèn)知、理解和做出決策的基礎(chǔ)，是認(rèn)知世界的能力，這個(gè)能力其實(shí)還是一種理論框架。

具體來看，系統(tǒng)1就是一個(gè)端到端模型，它是直接用來快速響應(yīng)的常規(guī)駕駛問題的模型。系統(tǒng)2是一個(gè)VLM（視覺語言模型），它具備一些邏輯思考的能力。

當(dāng)然，還要考慮如何驗(yàn)證系統(tǒng)1和系統(tǒng)2，一般需要通過云端的世界模型，來驗(yàn)證這個(gè)系統(tǒng)的應(yīng)用能力。

02. 理想端到端的三次迭代

先來看一下系統(tǒng)1，也就是理想端到端大模型。根據(jù)理想汽車的規(guī)劃，端到端大模型要經(jīng)歷三次迭代。

第一代NPN，是個(gè)模塊化的架構(gòu)，有感知有定位、有規(guī)劃、有導(dǎo)航、有NPN，中間拿規(guī)則串在一起，這代架構(gòu)支撐了理想在全國(guó)100個(gè)城市交付了城市NOA。

第二代無圖，分段式端到端。該系統(tǒng)架構(gòu)就是理想最新發(fā)布的無圖NOA。這塊架構(gòu)就只有2個(gè)模型——感知和規(guī)劃，中間也是通過規(guī)則串在一起，去掉先驗(yàn)信息就意味著可以實(shí)現(xiàn)在全國(guó)都能開，有導(dǎo)航就可以開。

第三代就是真正的端到端，只有一個(gè)模型：輸入的是傳感器感知信息，輸出是行駛軌跡。

03. one model的優(yōu)勢(shì)

理想規(guī)劃的第三代端到端結(jié)構(gòu)是one model，只有一個(gè)模型。

為什么要迭代到一個(gè)模型？

根據(jù)理想方面給出的解釋，一個(gè)模型有三大好處。

一是高效的信息傳遞。之前的架構(gòu)里都是有規(guī)則在里面的，規(guī)則其實(shí)就是個(gè)漏斗，它把很多有用的信息都濾掉了，導(dǎo)致整個(gè)系統(tǒng)的上限不太高。而一體化的模型的優(yōu)勢(shì)是，所有的這種信息都在模型內(nèi)部去傳遞，系統(tǒng)上限就會(huì)更高，用戶所能感受到的就是整套系統(tǒng)動(dòng)作、決策更加擬人了。

二是高效的計(jì)算。一個(gè)模型加載到GPU內(nèi)，可以一次性完成推理，那么整體的延遲會(huì)更低，用戶能感受到就是手和眼更加協(xié)調(diào)一致了，反應(yīng)不會(huì)像以前的慢半拍。

三是迭代速度更快了。一體化的模型，中間沒有任何規(guī)則串在一起，則可以實(shí)現(xiàn)端到端的可訓(xùn)，這個(gè)完全的數(shù)據(jù)驅(qū)動(dòng)，這樣可以很輕松的做到周級(jí)的迭代或者是亞周級(jí)的迭代。對(duì)于用戶來說，他的感受就是OTA的速度越來越快了。

體現(xiàn)到具體應(yīng)用中，一個(gè)模型的端到端有四大亮點(diǎn)能力，分別是通用障礙物的理解能力、超視距導(dǎo)航能力、道路結(jié)構(gòu)理解能力和擬人的規(guī)劃能力。

具體來看下，端到端模型的架構(gòu)圖。左側(cè)是輸入，右側(cè)是輸出，左上半部分輸入是常規(guī)的傳感器，包括我們的攝像頭和激光雷達(dá)，進(jìn)入到一個(gè)專門為orin-X優(yōu)化過的CNN的主干網(wǎng)絡(luò)，提取它們的特征并融合在一起。

為了增強(qiáng)BEV空間特征的表達(dá)能力，理想加入了一些記憶模塊，它不僅僅有時(shí)序上的這個(gè)記憶，還有空間上的記憶，類似于4D。

然后除了這兩個(gè)輸入之外，理想還專門外設(shè)計(jì)了另外兩個(gè)輸入，一是自車的狀態(tài)信息；二是導(dǎo)航信息，例如前方兩公里這個(gè)導(dǎo)航信息，包括聽到的一些語言文字，比如前方300米左轉(zhuǎn)，這些信息進(jìn)入到Transformer編碼器之后，與加強(qiáng)后的BEV特征一起解碼出：動(dòng)態(tài)障礙物、道路結(jié)構(gòu)、通用障礙物Occ（占用網(wǎng)絡(luò)）以及規(guī)劃出行駛軌跡。

端到端其實(shí)最終的目的，是把傳感器映射成行駛軌跡。

為何理想要輸出其他三樣感知（障礙物、道路結(jié)構(gòu)和占用網(wǎng)絡(luò)）任務(wù)？

對(duì)此，理想方面解釋是，這三樣感知任務(wù)有兩個(gè)作用：一是，是把周邊的環(huán)境描繪出來，然后通過EID（環(huán)境信息顯示）呈現(xiàn)給用戶，讓用戶放心。

二是，純從技術(shù)上的考量，作為整個(gè)端到端模型的輔助監(jiān)督任務(wù)，可以加速行駛軌跡的收斂，可以在更短的時(shí)間內(nèi)訓(xùn)出一個(gè)更好的模型。

04.端到端的訓(xùn)練

理想的端到端模型如何訓(xùn)練？

需要解決兩個(gè)問題，數(shù)據(jù)和訓(xùn)練方法。

數(shù)據(jù)方面，理想擁有全國(guó)最大的自動(dòng)駕駛車隊(duì)，超過80萬的車主在過去幾年超過了200億公里的行駛里程。

理想方面介紹，為了能夠獲取有效數(shù)據(jù)，他們定義了五星級(jí)司機(jī)的標(biāo)準(zhǔn)，也就是專車司機(jī)的標(biāo)準(zhǔn)。理想按這個(gè)標(biāo)準(zhǔn)去給用戶打分。根據(jù)這一標(biāo)準(zhǔn)，超過90分的車主只占3%，理想將這些優(yōu)質(zhì)的數(shù)據(jù)能輸入到模型中，累計(jì)了超過100萬公里的數(shù)據(jù)，到年底可能超過500萬公里。這遠(yuǎn)遠(yuǎn)超過一個(gè)人類司機(jī)的一生的駕駛里程。

訓(xùn)練方法上，理想有著自己的思考。理想方面認(rèn)為，端到端模型的目的是學(xué)習(xí)行駛軌跡，它不像感知任務(wù)感知任務(wù)是確定性的。因?yàn)橥粋€(gè)司機(jī)在不同的場(chǎng)景、不同的時(shí)間，駕駛行為也不太一樣，如果一味的只是去使用模仿學(xué)習(xí)去模仿，大模型會(huì)出現(xiàn)很多很詭異的駕駛行為。

因此，理想訓(xùn)練過程中加入強(qiáng)化學(xué)習(xí)，讓它知道什么是錯(cuò)的，錯(cuò)的時(shí)候給它懲罰，這樣就可以學(xué)出一個(gè)無論是駕駛技巧還是價(jià)值觀都是非常正確的模型。

05.系統(tǒng)2的作用

根據(jù)理想的表述，系統(tǒng)1只能幫完成95%左右的駕駛場(chǎng)景，那么還有5%比較復(fù)雜的場(chǎng)景，需要用系統(tǒng)2來進(jìn)行理解和判斷。

以天津?yàn)槔?，天津有很多這種潮汐車道，用LED燈或者是文字去表示。老城區(qū)還有很多單行道，單行道上面會(huì)有很多這種文字標(biāo)牌，幾點(diǎn)到幾點(diǎn)是單行道。這些對(duì)于自動(dòng)駕駛來說是非常難的，因?yàn)橄到y(tǒng)它不但要看清楚，而且還要理解上面寫的字，還要做出相應(yīng)的判斷。這個(gè)時(shí)候，就需要系統(tǒng)2的能力。

例如，地面路面是非?？油莶黄?，這時(shí)候系統(tǒng)2會(huì)給系統(tǒng)1發(fā)一個(gè)降速的提醒，并告知駕駛員前方的路面車輛將慢速行駛，減少顛簸，然后使整個(gè)自動(dòng)駕駛系統(tǒng)在過這里的時(shí)候會(huì)更加舒適。

黑天場(chǎng)景，整個(gè)在光線昏暗的情況下，系統(tǒng)2會(huì)讓系統(tǒng)1做限速，然后這樣使得整個(gè)駕駛更加安全可靠。

例如，系統(tǒng)2能夠在主輔路走錯(cuò)的情況下，能判斷出來當(dāng)前是跟導(dǎo)航是不一樣的，導(dǎo)航顯示現(xiàn)在要走輔路，結(jié)果我們?cè)谥髀?，系統(tǒng)2會(huì)說可以切換導(dǎo)航。也就是說，系統(tǒng)2能幫助系統(tǒng)1解決各種走錯(cuò)路的情況，甚至可以預(yù)防系統(tǒng)1走錯(cuò)。

再如，系統(tǒng)2能夠穩(wěn)定的識(shí)別公交車道，不但能知道它的類型，還能知道它的位置，更重要是它還能知道上面的時(shí)間，面向于當(dāng)前時(shí)間做一個(gè)匹配，如果這個(gè)時(shí)間是合理的，系統(tǒng)2可以給出建議，就會(huì)說合理使用這個(gè)車道。

再如，如果這個(gè)地方是潮汐車道，不可同行區(qū)域。系統(tǒng)2會(huì)告訴系統(tǒng)1這個(gè)地方是不能走的，我們也可以保證系統(tǒng)1不會(huì)錯(cuò)過導(dǎo)航。

根據(jù)理想方面介紹，后續(xù)系統(tǒng)2還可以識(shí)別交警的動(dòng)態(tài)手勢(shì)、施工改道等更復(fù)雜的場(chǎng)景。