HR-Align團隊 投稿量子位 | 公眾號 QbitAI
“讓機器人看懂世界、聽懂指令、動手幹活”正從科幻走向現實。
基於大規模人類影片資料進行視覺預訓練，是開發真實場景可泛化機器人操作演算法的有效途徑。
核心在於人類操作與機器人動作序列高度相似，因此從人類影片習得的動態表徵可遷移至機器人任務；然而 “從人到機器人” 的遷移面臨關鍵阻礙，即人 – 機器人資料域間差異（Human-Robot Domain Discrepancy）。儘管二者執行任務時動作看似相似，但其形態存在根本差異。
這種差異導致了一個重要問題：即便在海量人類資料上預訓練了模型，這些模型一旦直接用於機器人任務時，其表現卻往往大打折扣，甚至失敗。
來自香港科技大學（廣州）的團隊提出了一個核心問題：
如何減少人-機器人之間的資料域差異影響，使得從人類預訓練中獲得的視覺模型，能夠更有效地幫助機器人完成實際任務？
在這一問題之下，他們提出人類影片預訓練遷移新正規化，利用匹配的人類-機器人操作影片，設計語義對齊方法彌合了這種跨域鴻溝。
其中第一作者周佳明，香港科技大學廣州二年級博士生，研究方向為人類影片動作模仿以及可泛化的機器人操作；通訊作者是梁俊衛，是香港科技大學廣州助理教授。
傳統做法（如圖左）直接用在Ego4D等人類資料集上訓練的模型去處理機器人任務，這種直接遷移的方法自然會受到人類-機器人資料域差異的干擾。
本研究提出的新正規化（如圖右）透過利用語義對齊的人類-機器人影片對，在現有的人類影片預訓練模型中插入Adapter微調模組，透過對比損失將機器人資料上調整的模型的語義和預訓練模型中良好建模的人類動態語義進行對齊，從而減少域差異的干擾。
HR-Align跨越人機語義鴻溝的橋樑
根據提出的預訓練適配新正規化，該工作設計了HR-Align（Human-Robot Semantic Alignment）方法。其核心思想非常簡潔：
如果能夠獲取“同一個任務”的人類操作影片和機器人操作影片，並用它們之間的對應關係來引導模型微調，那就有可能建立起一個人-機器人之間的語義對齊機制。
1. 從“獨立預訓練”到“配對影片語義對齊”
傳統的視覺預訓練方法是在純人類影片上進行訓練，然後將模型“凍結”，直接應用於機器人任務。這種方式忽略了人和機器人領域間的差異。HR-Align打破了這種“直接遷移”的壁壘，主張在預訓練和下游任務之間，引入一個“適配階段”。
在這個階段中，研究者使用了一個具有語義配對的人機資料集，這個資料集中每一個人類動作影片，都有一個對應的機器人操作影片。這種人-機器人影片對提供了一個天然的“語義橋樑”。
2. 引入對比學習機制，實現語義對齊
HR-Align適配的關鍵是人-機器人對比對齊損失。在適配過程中，對於已有的人類影片預訓練視覺編碼器，HR-Align分別從人類影片和機器人影片中提取凍結的語義特徵。同時，使用另一分支在編碼器中引入輕量級Adapter模組在機器人影片上微調，從而提取機器人影片的適配特徵。模型適配的核心約束是，相比機器人影片的凍結特徵，機器人影片的適配特徵與匹配的人類影片特徵應當具有更加相似的語義；
3. 輕量高效，適配通用
與其他需要大規模重新訓練、或者為每種機器人環境單獨調整模型的方案不同，HR-Align具備如下優勢：
引數高效：僅適配小模組，主模型無需大規模更新；通用性強：同一個適配模型可泛化至多個任務和環境，無需逐一定製；資料易得：越來越多的平臺提供人-機器人影片對，為方法的可落地提供保障。
實驗結果
在RLBench的18個模擬任務下，透過HR-Align方法適配的D4R-Align模型相比原來的D4R預訓練模型，平均成功率提升了4.6%；而透過HR-Align方法適配的R3M-Align模型相比未調整的R3M模型，平均成功率提升了8.9%；
在五個真實場景的機器人任務上，D4R-Align和R3M-Align模型相比未適配的預訓練模型，平均成功率分別提升13%和11%；
這些顯著的提升不僅驗證了方法的有效性，也表明該適配策略具有極高的實際應用價值。
核心貢獻總結
-
提出新問題：從大規模人類影片預訓練中學習可泛化機器人操作，人體-機器人資料的域差異問題不可忽視。 -
提出新正規化：透過匹配的人-機器人動作影片，實現人類動作與機器人操作的語義對齊，不再盲目依賴預訓練模型的泛化能力。 -
高效適配方法：引入輕量級Adapter模組，僅需極少引數微調，即可將模型適配到機器人任務中。 -
充分實驗驗證：在20個模擬任務與5個真實機器人任務中均取得超過7%平均成功率提升，適配模型顯著優於未適配版本。
論文連結：https://arxiv.org/pdf/2406.14235專案主頁：https://jiaming-zhou.github.io/projects/HumanRobotAlign/開源倉庫：https://github.com/jiaming-zhou/HumanRobotAlign
一鍵三連「點贊」「轉發」「小心心」
歡迎在評論區留下你的想法！
— 完 —
學術投稿請於工作日發郵件到：
標題註明【投稿】，告訴我們：
你是誰，從哪來，投稿內容
附上論文/專案主頁連結，以及聯絡方式哦
我們會（儘量）及時回覆你
🌟 點亮星標 🌟