

作者 | 許麗思
編輯 | 漠影
繼在春晚舞臺扭秧歌引起全網熱議後,宇樹的人形機器人這次又進軍體育界了。
智東西2月5日報道,這兩天,英偉達與CMU(卡耐基梅隆大學)研究團隊共同釋出了ASAP框架(Aligning Simulation and Real Physics,模擬與真實物理對齊)。這是一個real2sim2real模型,團隊還把這個框架應用於宇樹G1人形機器人,顯著提升了機器人的靈活性與協調性,讓機器人能夠完成多種複雜的類人動作。
應用了ASAP框架的宇樹G1機器人,可以學著科比一氣呵成完成後仰、跳躍、投籃的系列動作,然後平穩著地。

它可以變身足球巨星C羅,完成標誌性的慶祝動作“siu”等。


也會學著像詹姆斯一樣,進行拉伸、胯下運球動作。


緊跟潮流的機器人,還跳上了APT舞。

另外,它還可以完成1.5米立定跳遠、側邊跳躍、踢腿等眾多高難度動作。



英偉達高階研究科學家Jim Fan興奮談道,相較於在網上看到的多數機器人演示影片都是經過加速處理的,團隊特意放慢動作速度,讓公眾能清晰觀賞每個流暢的動作細節。
Jim Fan還介紹,ASAP模型採用了“真實-模擬-真實”方法,具體來說,團隊將預訓練策略部署到實體機器人採集資料,隨後在模擬環境回放動作記錄。雖然回放過程必然產生偏差,但這些誤差恰恰成為修正物理差異的關鍵資料來源。
透過額外神經網路學習差異引數,本質上是對傳統物理引擎進行“動態校準”,使機器人能依託GPU的平行計算能力,在模擬環境中獲得近乎真實的大規模訓練體驗。

Jim Fan還暢想,2030年的人形機器人奧運會必然是一場盛事。

不少網友也在評論區熱議,期待在將來能夠看到機器人拳擊大賽、機器人籃球聯賽。


CMU助理教授、論文共同作者Guanya Shi介紹,ASAP框架分為兩個階段:
第一階段預訓練一個基於相位的動作跟蹤策略,以在模擬中模仿人類動作。第二階段在現實世界中執行該策略以收集資料,學習一個殘差動作模型來補償動力學不匹配,最後用學習到的殘差模型對預訓練策略進行微調。
他解釋,ASAP不僅適用於模擬到現實的遷移,它還提供了一個通用框架來對齊訓練和部署環境中的物理特性。
為了促進不同模擬器之間的平滑遷移,團隊還發布了HumanoidVerse,這是一個多模擬器人形機器人學習框架,能將模擬器、任務和演算法分離並模組化,使得在不同模擬器和任務之間切換時只需最小的工作量。

論文共同一作、CMU機器人研究所的碩士生張遠航提到,real2sim2real無需像sim2real一樣進行無休止的動作調整,能夠彌補sim2real的差距,從而讓機器人能夠模仿許多類人的敏捷動作。

ASAP框架有以下四個具體步驟:
1、運動跟蹤預訓練與真實軌跡收集:先從真人影片中提取動作並重定向到機器人上,預訓練多個運動跟蹤策略,生成真實世界的運動軌跡。
2、Delta動作模型訓練:基於真實世界軌跡資料,訓練Delta動作模型,縮小模擬狀態與真實世界狀態之間的差異。
3、策略微調:Delta動作模型訓練完成後,將其整合到模擬器中,使模擬器能匹配真實世界的物理特性,隨後對之前預訓練的運動跟蹤策略進行微調。
4、真實世界部署:在真實環境中部署微調後的策略,此時不再需要Delta動作模型了。
ASAP框架的提出,為縮小sim2real之間差距提供了全新思路,也有效解決了動力學不匹配問題,讓機器人做出高度類人的敏捷的動作,並顯著降低運動跟蹤誤差,另外,ASAP是完全開源的,有望加速相關技術的研究與應用。
論文地址如下:
https://agile.human2humanoid.com/
