“十四五”期間，國家出臺了針對人工智能的未來發(fā)展相關(guān)指導(dǎo)方案和激勵政策，涵蓋“新型基礎(chǔ)設(shè)施”建設(shè)、人工智能標(biāo)準(zhǔn)化與法規(guī)以及AI安全體系建設(shè)等。近幾年，智能汽車行業(yè)目前正處于快速發(fā)展階段，預(yù)計到2025年產(chǎn)業(yè)規(guī)模將突破5000億元。智能座艙、智能駕駛、智能底盤已經(jīng)發(fā)展到了技術(shù)的高速“涌現(xiàn)”期，同時也是瓶頸期，有望通過整車智能維度打通三域的感知、硬件、軟件、執(zhí)行隔離，實現(xiàn)全維度融合智能決策，在有限的物理成本下構(gòu)建最大的最大功能收益。

1. 價值與趨勢

1.1 大模型是AI重要的技術(shù)發(fā)展方向

AI成為車輛各域智能化功能實現(xiàn)飛躍的核心動力，大模型的引入為AI提供了泛智能的通用工具，顯著提高了智能深度，從用戶感知維度有了質(zhì)的飛躍，實現(xiàn)了從“偽智能” 到“真智能” 的發(fā)展，達(dá)到了化繁為簡、無感交互、善解人意的用戶體驗，也是實現(xiàn)產(chǎn)品科技賦能的低成本、高收益突破點。根據(jù)對各大主流汽車企業(yè)和新勢力的調(diào)研分析，前瞻領(lǐng)域重點方向包括：

多模感知與功能融合

高自由度的智能控車

高效準(zhǔn)確的類人交互

1.1 大模型已經(jīng)成為人工智能的主流趨勢

現(xiàn)在，我們進(jìn)入了人工智能時代，從過去多個算法、多個任務(wù)、很多模型，走向相對統(tǒng)一的大算法、多模態(tài)，自訓(xùn)練、自監(jiān)督和預(yù)訓(xùn)練的大模型，大模型讓汽車對于人和環(huán)境的理解更加全面和準(zhǔn)確，對于場景的解析和任務(wù)功能的構(gòu)建更加完整和高效。大模型在全過程的能力和優(yōu)勢在于：

語義和意圖解析

環(huán)境變量考慮

基于可調(diào)度的功能智能組合

功能過程中基于人的反饋微調(diào)

1. 應(yīng)用策略

1.2 全局感知是整車智能實現(xiàn)的基礎(chǔ)

大模型的優(yōu)勢在于多模感知和協(xié)同決策?；谟脩舻淖匀徽Z言轉(zhuǎn)化成prompt輸入，結(jié)合車輛交通環(huán)境、艙內(nèi)環(huán)境、駕乘人員狀態(tài)、車輛動態(tài)等多維度，實現(xiàn)功能自動化、程度自適應(yīng)，給出當(dāng)前最優(yōu)功能調(diào)度。全局感知包括了車輛智駕、底盤域的多類傳感器，各種域的傳感器共同協(xié)同大模型判斷當(dāng)前場景的狀態(tài)，應(yīng)該以什么功能或者性能喚起對應(yīng)的功能，準(zhǔn)確合理的解決用戶的需求。

智駕域：前視攝像頭、側(cè)方攝像頭、環(huán)視攝像頭、后攝像頭、Radar、Lidar；

底盤域：加速度傳感器、速度傳感器、轉(zhuǎn)向角傳感器、IMU、位置傳感器、踏板傳感器

駕艙類：艙內(nèi)外溫度傳感器、空氣質(zhì)量傳感器、DMS、OMS

1.3 大小混合模型解決全場景問題

模型越大對物理世界的描述就越準(zhǔn)確，所以大模型可以云端部署，通過V2X實現(xiàn)車端互聯(lián)；小模型車端部署，實現(xiàn)無網(wǎng)、弱信號的功能冗余。在技術(shù)維度，小模型可以幫助大模型快速學(xué)習(xí)，大模型的能力可以傳給小模型，從而實現(xiàn)兩者聯(lián)動和互助，協(xié)同進(jìn)化。

1.4 端云融合解決算力協(xié)同問題

大模型對于算力的消耗較大，對于一部分算力儲備不足的車輛采用端云結(jié)合的方式能夠有效實現(xiàn)功能的梯度化與用戶體驗的優(yōu)化。單車小模型保證了基礎(chǔ)功能的實現(xiàn)（基本智能），云端大模型實現(xiàn)了高維理解和執(zhí)行（高級智能），在網(wǎng)聯(lián)通訊好的情況下通過端云連接能夠?qū)崿F(xiàn)秘書級的全局功能交互，同時保證不消耗車輛算力。基于云端部署的大模型通過知識蒸餾轉(zhuǎn)化成保留核心功能的小模型，通過OTA的方式更新迭代車輛單車小模型，實現(xiàn)單車體驗的可升級。

梯度化高效算力分配、降低單車成本

協(xié)同機(jī)制保證基礎(chǔ)體驗和高級體驗

多用戶訪問的大模型能迅速獲取知識實現(xiàn)微調(diào)

小模型OTA實現(xiàn)了單車功能的可升級

2. 交互和智駕的全新體驗

2.1 基于多模態(tài)實現(xiàn)功能交互，面向整車功能的端到端智能

大模型的應(yīng)用使得自然語音交互不僅能更好的拆解用戶意圖，還能準(zhǔn)確實現(xiàn)功能調(diào)度，提高了用戶對于車內(nèi)功能使用的可用性與易用性。交互最難的地方有兩點：一是對用戶場景的感知和理解，二是該主動推送和組合什么功能滿足實時性需求。大模型對于這兩點恰恰是強項，通過車內(nèi)外多模感知的信息采集，實現(xiàn)全維度的場景綜合理解，構(gòu)建基于當(dāng)前狀態(tài)下的最大概率的功能需求預(yù)測和量化設(shè)置。

過去功能

2.2 智能駕駛逐步開始試探性應(yīng)用，有望解決復(fù)雜場景感知決策

智能駕駛對于大模型的應(yīng)用相對謹(jǐn)慎，但是大模型對于自動駕駛的潛力巨大。對于城市交互、戶外環(huán)境的復(fù)雜感知環(huán)境的理解和判斷有助于大大提示智駕系統(tǒng)的認(rèn)知能力和綜合決策能力，優(yōu)化長尾。

（1）更好的環(huán)境理解：大模型能夠準(zhǔn)確識別車輛周圍的物體，如車輛、行人、道路標(biāo)志等，并自動生成語義信息，幫助自動駕駛系統(tǒng)更好地理解復(fù)雜的城市交通環(huán)境。尤其是復(fù)雜的城市道路場景中，傳統(tǒng)的CNN、LSTM等算法無法非常好的理解交通參與體的意圖和行為，大模型的可以通過全場景要素綜合理解場景，基于經(jīng)驗庫，提高預(yù)測的可能性和準(zhǔn)確性。

（2）長尾場景和進(jìn)化：基于人工代碼的規(guī)控模塊，無法考慮到駕駛場景中所有的corner case，且難以做到車輛動作的“擬人”決策和駕駛。對于城市中的復(fù)雜場景，和層出不窮的新場景，其應(yīng)對能力是一個很大的考驗，需要工程師不停的去優(yōu)化、迭代算法。尤其是遇到未學(xué)習(xí)過的場景，系統(tǒng)會表現(xiàn)得不夠智能或無法應(yīng)對，從而出現(xiàn)不好的處理策略。對于預(yù)測方面，環(huán)境交通參與體的行為具有很高的隨機(jī)性和無邏輯性，在概率估計和配置中，難以用現(xiàn)有的算法模型實現(xiàn)準(zhǔn)確的預(yù)測，所以需要極為靈活的實時應(yīng)對策略，這對于專家模型來說代碼量理論上是極大的。比如典型的“cut in”加塞場景，傳統(tǒng)智駕需要對車道預(yù)插入車輛的橫擺角進(jìn)行實時檢測，結(jié)合其位置和速度預(yù)測其加塞行為，指標(biāo)單一，而且是純表象直推策略。端到端是通過對場景的理解進(jìn)行判斷，比如環(huán)境車輛動態(tài)、車道線、交通燈、轉(zhuǎn)向燈燈，通過多維度的元素，甚至是人類沒有意識到的要素進(jìn)行綜合分析，判斷意圖，所以其理解的天花板更高。

2.3 整車智能維度將拔高多個功能的智能化水平

（1）駕駛安全性：通過大模型分析駕駛行為和行駛環(huán)境，可以實時預(yù)警潛在的安全風(fēng)險，如疲勞駕駛、車道偏離等。同時，大模型還能對車輛狀態(tài)進(jìn)行實時監(jiān)控和預(yù)測性維護(hù)，提前發(fā)現(xiàn)潛在故障，確保行車安全。對于人-車-云多模駕駛能夠強化安全性，實現(xiàn)不同主體駕駛能力的多方位感知、評估和預(yù)測，實現(xiàn)全工況安全駕駛。

（2）網(wǎng)聯(lián)與通訊：大模型還能助力車聯(lián)網(wǎng)服務(wù)的發(fā)展，通過實時數(shù)據(jù)處理和分析，提供實時交通信息、最優(yōu)路線規(guī)劃等服務(wù)。這方面也促進(jìn)了V2X的方案落地，對于端云融合的實時安全性，超視距信息的可靠性等都有較大的提高。此外，大模型可以幫助車輛更好地與其他設(shè)備和服務(wù)連接，實現(xiàn)智能家居控制、遠(yuǎn)程車輛監(jiān)控等功能，實現(xiàn)生態(tài)智能。

（3）個性化與定制化：車載信息娛樂系統(tǒng)將更加智能化。系統(tǒng)不僅能提供傳統(tǒng)的音樂、視頻播放功能，還能根據(jù)用戶的興趣和歷史行為推薦個性化內(nèi)容，甚至能與用戶進(jìn)行深入的對話和互動，極大地豐富了車內(nèi)娛樂體驗。

（4）客戶服務(wù)領(lǐng)域：如通過智能客服機(jī)器人提供在線咨詢服務(wù)，解答用戶的各種疑問，提高服務(wù)效率和用戶滿意度。包括：車輛功能介紹與使用、車輛故障咨詢、車輛功能障礙提示分析與維修推薦、緊急救援。

（5）能源管理的優(yōu)化：對于電動車而言，大模型可以通過分析駕駛模式和能耗數(shù)據(jù)，優(yōu)化能源使用效率，提供更加精準(zhǔn)的續(xù)航預(yù)測和充電建議，幫助用戶更好地管理車輛能源，比如考慮溫度、天氣、行駛道路的海報等因素，使能耗預(yù)估根據(jù)準(zhǔn)確可靠。另一方面，也可以更加合理的規(guī)劃行程中的充電。

4. 優(yōu)劣勢分析

4.1 系統(tǒng)設(shè)計難度低，硬件成本有望降低

從算法架構(gòu)設(shè)計的角度，其具有高度的整合度和一體化，省去了多個模塊的獨立架構(gòu)設(shè)計和算法開發(fā)，降低代碼量和運行所調(diào)度的模塊數(shù)量。另一方面，由于模型直接從原始數(shù)據(jù)中學(xué)習(xí)，而不需要依賴于人工設(shè)計的特征或規(guī)則，所以刪去了枯燥的標(biāo)注工作。最重要的還有一點就是省去了后期無窮盡的規(guī)則補充和場景補充，減少了人工維護(hù)和升級的成本。

4.2 有望實現(xiàn)真正意義上的類人交互

傳統(tǒng)的交互基本是采用專家模型+人工代碼實現(xiàn)的基礎(chǔ)智能體驗，面向真正靈活的“智能體”或者“秘書級”的交互體驗，目前大模型是最好的技術(shù)策略。由于其對語義和場景的理解要遠(yuǎn)好于當(dāng)前的傳統(tǒng)AI交互功能，所以對于座艙的體驗和面向下一代人車關(guān)系至關(guān)重要，在足夠大數(shù)據(jù)量后有望能成為秘書級別的交互能力，包括：

基于艙內(nèi)外環(huán)境和人員的多模態(tài)感知；

場景復(fù)雜工況的綜合理解和預(yù)測；

多變量因素綜合分析下的最佳決策。

4.2 功能達(dá)到高度智能化需要較大的訓(xùn)練資源

缺點也是顯而易見的，端到端架構(gòu)將所有模塊串在一起統(tǒng)一訓(xùn)練，更利于追求“全局最優(yōu)解”，但數(shù)據(jù)的針對性更弱、模型訓(xùn)練的信號更弱，意味著提升性能所需的數(shù)據(jù)量和算力規(guī)模更大。從下邊圖可以看到，端到端的優(yōu)勢在數(shù)據(jù)量達(dá)到一定程度后性能顯著提高，但是缺點是數(shù)據(jù)量較小時候性能上升緩慢，遠(yuǎn)低于解耦的傳統(tǒng)基于專家模型的策略。

圖片來源：2023年CVPR

5. 總結(jié)

綜上所述，大模型在汽車的應(yīng)用具有跨時代的意義，也是通過海量數(shù)據(jù)的訓(xùn)練使得功能形成了真正意義上具有綜合分析能力的智能體。無論是智能駕駛還是智能交互，其都能通過擅長的多模態(tài)感知、綜合分析、科學(xué)決策實現(xiàn)接近人腦思考方式的功能執(zhí)行鏈，滿足多變的場景的無數(shù)的需求。