AI玩手機越玩越6！西湖大學釋出新智慧體：會自我進化的AppAgentX

2025-04-21 15:11 量子位

西湖大學 投稿

量子位 | 公眾號 QbitAI
人工智慧正迎來前所未有的變革，其中，大語言模型（LLM）的崛起推動了智慧系統從資訊處理向自主互動邁進。
以DeepSeek為代表的LLM，憑藉強大的語言理解與推理能力，在文字創作、程式設計輔助、複雜任務規劃等領域展現出卓越表現。
然而，LLM的潛力遠不止於文字生成，它們正在塑造一種全新的智慧體形態——GUI代理（GUI Agents）。這類智慧體不僅能理解指令，還能像人類一樣直接操作計算機和手機，擺脫對預設規則或API的依賴，帶來更自然、高效的互動方式，使AI真正融入軟體生態，成為智慧作業系統的一部分。
問題在於，目前的LLM代理雖然具備強大的推理能力，卻在任務執行效率上存在明顯瓶頸。
為了解決這個問題，現在，西湖大學AGI實驗室張馳團隊推出了AppAgentX——一款具備自我進化能力的GUI代理。它能夠在不斷執行任務的過程中學習並最佳化自身的行為模式，實現更加高效的操作。
AppAgentX的核心創新在於：
  • 自動歸納高效操作模式：代理能夠在執行任務時，檢測重複性操作模式，並自動總結成更高級別的“一鍵”操作。
  • 任務執行更快，減少重複計算：傳統的LLM代理每次執行任務都需要重新思考操作流程，而AppAgentX能夠記住並複用執行策略，從而避免重複推理，使得任務執行更加流暢高效。
  • 完全基於視覺操作，適用於各種軟體：傳統自動化方法通常需要訪問後端API，而AppAgentX僅依賴螢幕視覺資訊進行操作，無需後端訪問，因此能夠在不同軟體、不同裝置上通用，真正做到“即插即用”。

AppAgentX：讓智慧體學會“進化”

過去，計算機的自動化操作主要依賴RPA（機器人流程自動化），透過預設規則或API進行固定任務的執行。然而，這種方式需要大量手動配置，缺乏靈活性。
GUI代理的出現，改變了這一局面，被譽為軟體世界中的具身智慧。
GUI代理不依賴後端API，而是像人類一樣，透過螢幕視覺、滑鼠和鍵盤直接操作軟體介面。這意味著，智慧體可以自主學習如何操作各種應用程式，甚至能夠在不同軟體之間切換，執行復雜的跨應用任務。例如：
  • 辦公場景：自動整理文件、批次傳送郵件
  • 娛樂與創作：使用Photoshop處理影像、生成影片內容
  • 自動化操作：批次錄入資料、自動處理訂單
  • 跨應用任務：從網頁爬取資訊後填入Excel、在多個軟體之間進行聯動操作
正因如此，GUI代理被視為智慧助手、數字員工、自動化測試等領域的下一代解決方案，但現階段的挑戰也很突出：現有的智慧體聰明但不夠高效。
現有的LLM代理通常採用逐步推理（Step-by-step Reasoning）的方式，即每次執行操作前，模型都要推理下一步動作。例如，在進行網頁搜尋時，它可能會這樣決策：
  1. 識別需要搜尋的資訊；
  2. 點選搜尋框；
  3. 輸入關鍵詞；
  4. 點選搜尋按鈕。
這種方式賦予了智慧體極強的泛化能力，使其能夠適應新任務場景，但也帶來了執行低效、重複計算嚴重的問題。
AppAgentX解決這一痛點的核心思路，是讓智慧體學會“進化”。
下面是一個AppAgentX執行播放音樂的一個例子示意圖，當找到了“一鍵”操作，就不需要每一步都耗費大量時間思考下一步需要做什麼，從而快速完成任務。
‍這裡可以看出智慧體進化出一個高階操作“搜尋”，它取代了一系列低效的低階操作。這種進化避免了重複耗時的逐步推理，顯著提高了代理的效率。

△AppAgentX的功能示意圖

方法介紹

任務軌跡的分解

在執行任務時，AppAgentX會將整個過程分解成多個重疊的三元組（即由三個部分組成的組合）。這些三元組包含了頁面內容和使用者介面（UI）元素的功能描述。
具體來說，智慧體會：
  • 生成功能描述：利用大語言模型（LLM），為每個頁面和介面元素生成詳細的功能描述。這些描述幫助智慧體理解每個部分的作用。
  • 合併重複描述：如果某些頁面的描述是重複生成的，智慧體會將這些描述合併，以減少冗餘資訊。
  • 記錄互動歷史：整個互動過程會被記錄成一個節點鏈，形成一個完整的操作歷史，便於後續呼叫。

進化機制與執行過程

在任務執行過程中，AppAgentX還引入了一種進化機制，使得智慧體能夠更高效地執行操作。這個機制的核心在於生成“捷徑節點”，允許智慧體在執行一系列操作時，跳過逐步推理的過程。具體步驟如下：
  • 生成捷徑節點：當智慧體識別到某些操作具有固定的執行順序時，它會建立捷徑節點。這些節點將多個底層操作整合為一個更高階的動作。
  • 高效執行：透過呼叫這些捷徑節點，智慧體可以快速執行一系列操作，而無需逐步推理每一步。這大大提高了任務執行的效率。
從實驗結果來看，AppAgentX從單步的執行效率到總體的API token消耗，在多個GUI互動任務上展現出了顯著的“降本增效”。
總體來說，AppAgentX作為一項創新的移動終端互動技術，透過構建鏈式知識儲存架構與動態匹配執行機制，在保持大型語言模型代理靈活性的同時顯著提升執行效能，實現了無需後端訪問的圖形介面智慧作業系統。
該技術突破性地解決了傳統智慧體在響應速度與認知能力間的平衡難題，為移動端AI應用開闢了新的技術路徑。此項研究不僅標誌著智慧體技術在效率與智慧動態平衡方面取得重要突破，更為人機互動領域提供了可擴充套件的技術正規化。
專案地址：https://appagentx.github.io/
Github地址：https://github.com/Westlake-AGI-Lab/AppAgentX
Arxiv地址：https://arxiv.org/abs/2503.02268
— 完 —
學術投稿請於工作日發郵件到：
[email protected]
標題註明【投稿】，告訴我們：
你是誰，從哪來，投稿內容‍
附上論文/專案主頁連結，以及聯絡方式哦
我們會（儘量）及時回覆你
一鍵關注 👇 點亮星標
科技前沿進展每日見
一鍵三連「點贊」「轉發」「小心心」
歡迎在評論區留下你的想法！

相關文章