「仿生人會夢見電子羊嗎？」這是科幻界一個聞名遐邇的問題。
現在英偉達給出答案：Yes！而且還可以從中學習新技能。
如下面各種絲滑操作，都沒有真實世界資料作為訓練支撐。
僅憑文字指令，機器人就完成相應任務。
這是NVIDIA GEAR Lab最新推出的DreamGen專案。它所說的“夢境中學習”，是巧妙利用AI影片世界模型生成神經軌跡，僅需少量現實影片，就能讓機器人學會執行22種新任務。
在真實機器人測試上，複雜任務的成功率更是從21%顯著提升至45.5%，並首次實現真正意義上的從0開始的泛化。英偉達掌門人老黃最近也在Computex 2025演講上將其作為GR00T-Dreams的一部分對外正式進行宣佈。
接下來就DreamGen構造我們一一拆解。
在夢境中學習
傳統機器人雖已展現出執行復雜現實任務的巨大潛力，但嚴重依賴人工收集的大規模遙操作資料，成本高且耗時長。純粹的計算機模擬合成數據，也由於模擬環境與真實物理世界差距大，機器人所學會的技能難以直接應用到現實。
於是研究團隊提出要不試試讓機器人在夢境中學習？這個想法也並非空穴來風，早在2016年MIT的一項研究就證實，嬰兒大腦會透過睡眠期間的神經活動進行自發學習。
由此誕生的DreamGen，核心思想就是利用成熟的影片世界模型（如Sora、Veo），對現實影片進行虛擬合成，建立大規模逼真訓練資料。
新正規化主要遵循四步走流程：
透過目標機器人的遠端操作軌跡，捕捉其運動學與動力學特徵，微調影片世界模型。
給定初始幀與語言指令後，生成描述預期行為的海量機器人影片序列，既包含微調後的已知行為，也包括未知場景中的新行為。當然在這一步也要過濾掉那些不聽從指令的噩夢。
利用潛在動作模型或逆動力學模型（IDM）解析偽動作序列，形成神經軌跡。
使用生成的影片-動作序列對（即神經軌跡）訓練下游視覺運動策略。透過DreamGen，團隊實現僅憑單個環境中的單一拾取任務的遙操作資料，就能在10個新環境中生成22個新動作的“夢境”或神經軌跡，例如傾倒、錘擊、摺疊、熨燙衣物、舀取M&M‘s豆等，並訓練機器人“零鏡頭”下執行這些任務。
此外它還可以增強不同機器人系統（如Franka與SO-100）以及不同策略架構（如Diffusion Policy、GR00T N1）在接觸密集型任務中的表現，真正實現了從0到1的零樣本行為泛化和零樣本環境泛化。
實驗結果表明，利用單一動作資料學習新動作的成功率從11.2%升至43.2%，在單環境訓練下，全新環境中的成功率也從0%達到了28.5%（傳統方法幾乎無法完成）。
以RoboCasa為基準的模擬驗證中，神經軌跡規模達到人類演示資料的333倍，策略效能隨軌跡數量呈對數線性提升。
在Fourier GR1、Franka Emika和SO-100機器人等真實平臺上覆雜任務的成功率也提升顯著，均證實了DreamGen的有效性。
另外團隊還開發了首個機器人影片生成評估基準DreamGen Bench，透過指令遵循度（IF）和物理合理性（PA）兩項指標，評估模型生成資料的質量。
英偉達的GR00T-Dreams藍圖
英偉達的野心還遠不止於此，DreamGen作為英偉達進軍物理AI的宏偉藍圖的一部分，將協助新工具GR00T-Dreams從單個影像中生成大量合成運動資料，並透過壓縮動作令牌加速機器人行為學習。
這意味著GR00T-Dreams將會讓GR00T N1.5開發從3個月銳減至36小時，作為英偉達開放、通用、完全可定製的類人推理和技能基礎模型的首次更新，GR00T N1.5將部署在Jetson Thor上，預計於今年底推出。
老黃談到這一發展時表示：從機器人的人工智慧大腦，到用於實踐的模擬世界，再到用於訓練基礎模型的人工智慧超級計算機，NVIDIA為機器人技術發展的每個階段提供了基礎模組。
也許正如網友所說，英偉達一直走在造夢的路上：
論文連結：https://arxiv.org/abs/2505.12705專案連結：
https://research.nvidia.com/labs/gear/dreamgen/
參考連結：[1]https://x.com/DrJimFan/status/1924819887139987855[2]https://x.com/jang_yoel/status/1924805253993488595[3]https://www.youtube.com/watch?v=TLzna9__DnI&t=5059s
文章來源於量子位公眾號，作者鷺羽
聯絡我們>>