一水 發自 凹非寺
量子位 | 公眾號 QbitAI
現如今機器人又是跑步又是後空翻,但到底什麼時候能做上家務給人類養養老?

現在,為了挑戰這個難題,李飛飛團隊帶來了具身智慧研究最新成果——𝗕𝗘𝗛𝗔𝗩𝗜𝗢𝗥 𝗥𝗼𝗯𝗼𝘁 𝗦𝘂𝗶𝘁𝗲 (𝗕𝗥𝗦),一個解決機器人在家庭任務中全身操作問題的綜合框架。
並且,其核心元件的實現成本還不到500美元。
機器人學習領域中的一個“聖盃”級挑戰是執行通用的日常家庭移動操作任務。藉助一款新型雙臂移動機器人,我們的最新成果——BRS正在嘗試攻克這一極為困難且尚未解決的難題!

擰開門把手,早上出去丟個垃圾:

等大人上班後,再幫忙整理下雜貨架:

順帶收拾下客廳,將髒碗放到洗碗機裡:

然後任勞任怨,再裡裡外外刷乾淨馬桶:

吭哧吭哧一頓收拾下來,一個機器人就把所有家務活包圓了。
而且研究團隊還發現,即使幹活時出了岔子,機器人也能自我糾正。
(一開始手臂範圍無法夠著馬桶蓋,然後有一個向前傾斜身體的動作)

網友們紛紛表示,離實現可通用的家庭機器人又更進一步了。

那麼,李飛飛團隊究竟是如何做到的?
核心瞄準三項全身控制能力
根據論文介紹,透過細緻分析BEHAVIOR-1K(包含1000項日常家庭活動的機器人測試基準),團隊首先確定了機器人成功完成各種家務活動所必需的三項全身控制能力:
-
兩隻機械手臂之間的協同配合能力;
-
穩定精確的導航;
-
機械手臂末端執行器擁有廣泛的可操作範圍和觸及能力;

尤其是最後一項,大多數人可能忽視了末端執行器控制這一關鍵能力。
因為在家庭環境中,日常物品通常位於不同高度和位置,因此機器人也必須相應地調整其伸展範圍。

基於上述考慮,團隊認為給家務機器人配備雙臂、移動底座和靈活軀幹,是實現全身操作的關鍵。
具體而言,他們選擇了Galaxea R1機器人(國內星海圖出品)作為硬體,其具備兩個6自由度手臂(每個手臂都配備了一個平行鉗口夾持器)、4自由度軀幹和全向移動底座,能滿足家庭任務所需的關鍵能力。

不過,這類複雜設計給策略學習方法帶來了重大挑戰,尤其是在資料規模化採集和全身協作方面。
對此,BRS透過兩項關鍵創新來解決軟硬體協同問題:
-
推出JoyLo,一種通用的低成本全身遙操作介面;
-
提出新的學習演算法WB-VIMA;
展開來說,JoyLo(Joy-Con on Low-Cost Kinematic-Twin Arms)透過基於操縱木偶的方法,利用運動學孿生臂和任天堂Joy-Con控制器,實現高效的全身控制。
同時提供豐富的使用者反饋,優化了策略學習資料質量。

在總成本不超過500美元的情況下,團隊在R1機器人上實現了JoyLo的設計目標:
-
高效的全身協調控制系統,實現複雜動作的流暢銜接;
-
豐富的使用者反饋機制,帶來直觀的遠端操作體驗;
-
確保高質量的示範動作,提升策略學習效果;
-
低成本實現方案,大幅提高系統可及性;
-
即時、便捷的控制器設計,確保操作無縫順暢。

而另一項WB-VIMA(Whole-Body VisuoMotor Attention)學習演算法,核心目標是利用機器人的固有運動學層次結構來建模全身動作。
基於Transformer,透過自迴歸全身動作去噪和多模態觀察注意力機制,WB-VIMA能幫助機器人有效學習協調的全身動作。
同時在訓練和部署時,使用特定的最佳化器和噪聲排程器,並在工作站上進行推理以實現低延遲控制。

值得一提的是,WB-VIMA還解決了一個關鍵問題:
尤其在人形機器人中,在移動基座或軀幹動作中出現的微小錯誤會在末端執行器處顯著放大。
對此,WB-VIMA在預測下游元件動作時,不是孤立地進行,而是先分析上游元件當前的動作狀態、位置等資訊,將這些資訊作為條件和依據,去推算下游元件應該做出怎樣的動作,從而實現整體的協調運動。
BRS適用於各種家庭任務
研究團隊在五個具有代表性的家庭任務上評估BRS,包括清潔房屋、清潔廁所、倒垃圾、放置物品到架子上和晾曬衣服。
結果表明,BRS能完成多種家庭任務。


同時,實驗環節還進一步驗證了兩個創新方法的有效性。
整體而言,JoyLo在資料收集效率、策略學習適用性和使用者體驗方面表現出色,WB-VIMA在效能上優於基線方法。
對於JoyLo,團隊對10名參與者進行了全面的使用者研究,以評估JoyLo的效果及其收集資料對策略學習的適用性。
下圖為JoyLo與VR控制器和Apple Vision Pro進行比較的示意:

從結果來看,JoyLo在所有介面中表現出色,任務成功率最高、完成時間最短,其完成任務平均成功率是VR控制器的5倍,而使用Apple Vision Pro無人能完成全部任務。
且在使用者研究中,所有參與者都認為JoyLo是最友好的介面。

另外,WB-VIMA在所有任務中全面超越基準方法。
其端到端任務成功率比DP3高13倍,比RGB-DP高21倍;平均子任務表現分別優於DP3(1.6 倍)和RGB-DP(3.4 倍)。

而且WB-VIMA在任務中出錯的機率更小。它與環境物體的碰撞極少,且幾乎不會因施加過度力量而導致電機失去動力。

最後,關於BRS框架的所有工作已全部開源,感興趣可以進一步瞭解。
專案主頁:
https://behavior-robot-suite.github.io/
論文:
https://arxiv.org/abs/2503.05652
演算法程式碼:
https://github.com/behavior-robot-suite/brs-algo
機器人程式碼:
https://github.com/behavior-robot-suite/brs-ctrl
訓練資料:
https://huggingface.co/datasets/behavior-robot-suite/data
參考連結:
https://x.com/drfeifei/status/1899127976979226835
— 完 —
評選報名|2025年值得關注的AIGC企業&產品
下一個AI“國產之光”將會是誰?
本次評選結果將於4月中國AIGC產業峰會上公佈,歡迎參與!

一鍵關注 👇 點亮星標
科技前沿進展每日見
一鍵三連「點贊」「轉發」「小心心」
歡迎在評論區留下你的想法!