理想正在掀起智慧駕駛的iPhone4時刻

3月18日,理想汽車自動駕駛技術研發負責人賈鵬在NVIDIA GTC 2025發表主題演講,詳細分享了理想汽車自研VLA模型——MindVLA。賈鵬表示:“就像iPhone 4重新定義了手機,MindVLA也將重新定義自動駕駛”。能為智慧駕駛帶來iPhone 4時刻的重大技術,距離使用者也並不遙遠,在理想汽車2024年第四季度及全年財報業績會上,李想透露MindVLA將計劃今年和首款純電SUV車型理想i8同時釋出。
理想全棧自研MindVLA
 深度融合空間、語言及行為智慧
基於端到端+VLM雙系統架構的最佳實踐,及對前沿技術的敏銳洞察,理想自研VLA模型——MindVLA。VLA是機器人大模型的新正規化,其將賦予自動駕駛強大的3D空間理解能力、邏輯推理能力和行為生成能力,讓自動駕駛能夠感知、思考和適應環境。
MindVLA不是簡單地將端到端模型和VLM模型結合在一起,所有模組都是全新設計。3D空間編碼器透過語言模型,和邏輯推理結合在一起後,給出合理的駕駛決策,並輸出一組Action Token(動作詞元),Action Token指的是對周圍環境和自車駕駛行為的編碼,並透過Diffusion(擴散模型)進一步優化出最佳的駕駛軌跡,整個推理過程都要發生在車端,並且要做到即時執行。
MindVLA六大關鍵技術 
樹立全新技術正規化
MindVLA打破自動駕駛技術框架設計的傳統模式,使用能夠承載豐富語義,且具備出色多粒度、多尺度3D幾何表達能力的3D高斯(3D Gaussian)這一優良的中間表徵,充分利用海量資料進行自監督訓練,極大提升了下游任務效能。
理想從0開始設計和訓練了適合MindVLA的LLM基座模型,採用MoE混合專家架構,引入Sparse Attention(稀疏注意力),實現模型稀疏化,保證模型規模增長的同時,不降低端側的推理效率。基座模型訓練過程中,理想加入大量3D資料,使模型具備3D空間理解和推理能力。為了進一步激發模型的空間智慧,理想加入了未來幀的預測生成和稠密深度的預測等訓練任務。
LLM基座模型獲得3D空間智慧的同時,還需要進一步提升邏輯推理能力。理想訓練LLM基座模型學習人類的思考過程,讓快慢思考有機結合到同一模型中,並可以實現自主切換快思考和慢思考。為了把NVIDIA Drive AGX的效能發揮到極致,MindVLA採取小詞表結合投機推理,以及創新性地應用並行解碼技術,進一步提升了即時推理的速度。至此,MindVLA實現了模型引數規模與即時推理效能之間的平衡。
MindVLA利用Diffusion將Action Token解碼成最佳化的軌跡,並透過自車行為生成和他車軌跡預測的聯合建模,提升在複雜交通環境中的博弈能力。同時Diffusion可以根據外部條件,例如風格指令,動態調整生成結果。為了解決Diffusion模型效率低的問題,MindVLA採用Ordinary Differential Equation(常微分方程)取樣器,實現了2-3步就能完成高質量軌跡的生成。面對部分長尾場景,理想建立起人類偏好資料集,並且創新性地應用RLHF(基於人類反饋的強化學習)微調模型的取樣過程,最終使MindVLA能夠學習和對齊人類駕駛行為,顯著提升安全下限。
MindVLA基於自研的重建+生成雲端統一世界模型,深度融合重建模型的三維場景還原能力與生成模型的新視角補全,以及未見視角預測能力,構建接近真實世界的模擬環境。源於世界模型的技術積累與充足計算資源的支撐,MindVLA實現了基於模擬環境的大規模閉環強化學習,即真正意義上的從“錯誤中學習”。過去一年,理想自動駕駛團隊完成了世界模型大量的工程最佳化,顯著提升了場景重建與生成的質量和效率,其中一項工作是將3D GS的訓練速度提升至7倍以上。
理想透過創新性的預訓練和後訓練方法,讓MindVLA實現了卓越的泛化能力和湧現特性,其不僅在駕駛場景下表現優異,在室內環境也展示出了一定的適應性和延展性。
MindVLA賦能汽車變為專職司機
重塑使用者體驗
MindVLA將為使用者帶來全新的產品形態和產品體驗,有MindVLA賦能的汽車是聽得懂、看得見、找得到的專職司機。“聽得懂”是使用者可以透過語音指令改變車輛的路線和行為,例如使用者在陌生園區尋找超市,只需要透過理想同學對車輛說:“帶我去找超市”,車輛將在沒有導航資訊的情況下,自主漫遊找到目的地;車輛行駛過程中,使用者還可以跟理想同學說:“開太快了”“應該走左邊這條路”等,MindVLA能夠理解並執行這些指令。
 “看得見”是指MindVLA具備強大的通識能力,不僅能夠認識星巴克、肯德基等不同的商店招牌,當用戶在陌生地點找不到車輛時,可以拍一張附近環境的照片傳送給車輛,擁有MindVLA賦能的車輛能夠搜尋照片中的位置,並自動找到使用者。
“找得到”意味著車輛可以自主地在地庫、園區和公共道路上漫遊,其中典型應用場景是使用者在商場地庫找不到車位時,可以跟車輛說:“去找個車位停好”,車輛就會利用強大的空間推理能力自主尋找車位,即便遇到死衚衕,車輛也會自如地倒車,重新尋找合適的車位停下,整個過程不依賴地圖或導航資訊,完全依賴MindVLA的空間理解和邏輯推理能力。
2025年,註定成為自動駕駛元年。當車輛能自主理解“開快點、開慢點”的語音指令;在車庫漫遊找車位,並自主完成泊車;並且看得懂世間萬物時,傳統“人車關係”已被徹底重構——這既是汽車從工具進化為“空間機器人”的里程碑,也是人工智慧跨越數字與物理世界鴻溝的關鍵一躍,正如李想所言:“我們透過人工智慧將物理世界和數字世界進行融合,讓有限的空間實現無限的延伸”。在這場技術革命中,理想汽車不再定位於領跑者,而是規則制定者,當MindVLA真正駛入千家萬戶,一個由AI定義的出行方式、由資料重塑生產力的未來圖景,正加速照進現實。


相關文章