MLNLP社群是國內外知名的機器學習與自然語言處理社群，受眾覆蓋國內外NLP碩博生、高校老師以及企業研究人員。

社群的願景是促進國內外自然語言處理，機器學習學術界、產業界和廣大愛好者之間的交流和進步，特別是初學者同學們的進步。

來源 | 機器之心

近期，大模型智慧體（Agent）的相關話題爆火 —— 不論是 Anthropic 搶先 MCP 正規化的快速普及，還是 OpenAI 推出的 Agents SDK 以及谷歌最新發布的 A2A 協議，都預示了 AI Agent 的巨大潛力。然而，目前的大部分 Agent 應用仍是 LLM 能力的簡單 “封裝” 或延伸，距離真正通用的智慧實體尚有距離 —— 在面對複雜的真實世界時，Agent 往往會暴露出推理規劃、長期記憶、世界模型、自主進化以及安全對齊等核心能力不足的問題。

為了系統性地應對這些挑戰，以構建真正具備通用能力的未來智慧體，MetaGPT & Mila 聯合全球範圍內 20 個頂尖研究機構的 47 位學者，共同撰寫併發布了長篇綜述《Advances and Challenges in Foundation Agents: From Brain-Inspired Intelligence to Evolutionary, Collaborative, and Safe Systems》。

論文連結： https://arxiv.org/abs/2504.01990
Huggingface 連結：https://huggingface.co/papers/2504.01990
Github 連結：https://github.com/FoundationAgents/awesome-foundation-agents

目前該論文已蟬聯 Hugging Face 的 Daily Paper 月榜第一名。

此研究匯聚了來自 MetaGPT、Montréal & Mila 人工智慧研究所、南洋理工大學、美國阿貢國家實驗室、悉尼大學、賓夕法尼亞州立大學、微軟亞洲研究院、伊利諾伊大學厄巴納 – 香檳分校、香港科技大學、南加州大學、耶魯大學、斯坦福大學、佐治亞大學、俄亥俄州立大學、阿卜杜拉國王科技大學、杜克大學、香港理工大學、谷歌 DeepMind 以及加拿大高等研究院（CIFAR）等眾多研究者的集體智慧與前瞻思考。

當前 AI 研究與人類大腦的差異

在這篇論文中，作者們首次定義並提出了基礎智慧體 (Foundation Agent) 這一新概念框架。Foundation Agent 並非具體的智慧體例項，而是一個更宏大且更根本性的技術藍圖及科學理念。它旨在透過認知科學和神經科學的洞見，構建一個由複雜認知、多層記憶、世界模型、獎勵 & 價值、情緒 & 動機、多模感知、行動系統等模組化元件構成的智慧系統。

基礎智慧體（Foundation Agent）的定義

第一部分：智慧體的核心元件 – 構建認知基石

論文首先強調，一個強大的 Foundation Agent 必然是一個複雜的系統，由多個相互協作的核心元件構成。這借鑑了認知科學和神經科學中對大腦模組化功能的理解。作者詳細闡述了七個關鍵元件，它們共同構成了智慧體的認知架構：

Agent 框架（環境，迴圈與內部結構）

1. 認知核心 (Cognition Core)

這是智慧體的 “大腦” 或 “中央處理器”，負責最高層次的決策、推理和規劃。與當前主要依賴 LLM 進行 “思考” 的智慧體不同，Foundation Agent 的認知核心可能是一個更復雜的系統，集成了多種推理能力（如邏輯推理、因果推理、常識推理）和規劃演算法（如任務分解、層級規劃、長期目標管理）。它需要能夠處理不確定性，進行反思和元認知（思考自己的思考過程），並根據環境反饋和內部狀態動態調整策略。這要求認知核心不僅僅是模式匹配，更要具備深刻的理解和靈活的問題解決能力。

智慧體的推理模式

2. 記憶系統 (Memory System)

記憶是智慧的基礎。當前的智慧體往往只有有限的短期記憶（如 Prompt 中的上下文）或簡單的外部向量資料庫。Foundation Agent 則需要一個更復雜、更接近生物體的多層次記憶系統。論文探討了短期記憶、長期記憶與工作記憶等不同型別，包含情景記憶、語義記憶和程式記憶等細分領域。高效的記憶檢索、儲存、遺忘和泛化機制對於 Foundation Agent 至關重要。如何設計能夠支援持續學習、避免災難性遺忘，並能高效檢索相關資訊的記憶系統，是一個核心挑戰。

記憶的生命週期

3. 世界模型 (World Model)

智慧體需要理解其所處的環境以及自身行為可能產生的後果。世界模型正是對環境動態的內部表徵。它可以幫助智慧體進行預測（如果我採取行動 A，會發生什麼？）、規劃（為了達到目標 B，我應該採取什麼行動序列？）和反事實推理（如果當初採取了不同的行動，結果會怎樣？）。一個強大的世界模型需要能夠處理物理規律、社會規範、其他智慧體的行為等多方面資訊，並且能夠根據新的觀測資料不斷更新和完善。構建準確、高效且可泛化的世界模型是實現高階智慧的關鍵一步。

世界模型的四種正規化

4. 獎勵與價值系統 (Reward and Value System)

智慧體的行為需要有目標導向。獎勵系統負責評估智慧體的行為表現，並提供學習訊號。這不僅僅是簡單的標量獎勵，可能涉及到多目標最佳化、內在動機（如好奇心、探索欲）以及對未來價值的預估。價值系統則負責評估不同狀態或行動的長期價值，指導智慧體的決策。如何設計能夠引導智慧體學習複雜行為、符合人類價值觀，並且能夠適應動態環境的獎勵和價值系統，是確保智慧體目標一致性的核心。

獎勵正規化

5. 情緒與動機建模 (Emotion and Motivation Modeling)

雖然在傳統 AI 中較少提及，但論文認為，模擬類人情緒和動機對於構建更魯棒、更具適應性的智慧體可能是有益的。情緒可以作為一種快速評估環境狀態和調整行為策略的啟發式機制，例如，“恐懼” 可能觸發規避行為，“好奇” 可能驅動探索。動機則為智慧體提供持續行動的內在驅動力。當然，如何在 AI 中恰當、可控地實現這些機制，避免產生不可預測的副作用，是一個需要審慎探索的方向。

人類的情緒種類

6. 感知系統 (Perception System)

智慧體需要透過感知系統從環境中獲取資訊。這不僅僅是處理文字，更包括視覺、聽覺、觸覺等多模態資訊的輸入和理解。感知系統需要能夠從原始感官資料中提取有意義的特徵，識別物件、理解場景，並將這些資訊傳遞給認知核心和記憶系統。多模態融合、即時處理以及對噪聲和不確定性的魯棒性是感知系統面臨的主要挑戰。

人類與智慧體的感知

7. 行動系統 (Action System)

智慧體最終需要透過行動系統與環境進行互動。這包括生成自然語言、執行程式碼、控制機器人肢體、在虛擬世界中導航等。行動系統需要將認知核心的決策轉化為具體的、可在環境中執行的操作序列。行動的選擇需要考慮可行性、效率和潛在風險。學習精細的操作技能、處理連續的行動空間以及確保行動的安全可控是行動系統的關鍵要求。

動作的相關概念

第二部分：智慧體的自進化 —— 邁向自主智慧

擁有完善的認知架構只是第一步。Foundation Agent 的核心特徵之一在於其自進化 (Self-Evolution) 的能力，即智慧體能夠透過與環境的互動和自我反思，不斷學習、適應和提升自身能力，而無需持續的人工干預。這部分探討了實現自進化的關鍵機制：

1. 最佳化空間 (Optimization Space)

自進化的前提是定義清楚哪些方面可以被最佳化。論文指出，智慧體的幾乎所有元件都可以成為最佳化的物件：認知策略、記憶內容、世界模型的準確性、感知能力、行動技能等等。其中，提示詞，工作流，智慧體元件是可以被直接最佳化的三個層次。定義清晰的最佳化目標和評估指標是指導自進化過程的基礎。

2.LLM 作為最佳化器 (LLM as Optimizer)

論文提出，強大的大型語言模型不僅可以作為智慧體的認知核心的一部分，還可以扮演最佳化器的角色。LLM 可以透過生成程式碼、修改引數、提出新的策略或結構，來最佳化智慧體自身的其他元件。例如，LLM 可以分析智慧體過去的失敗經驗，提出改進記憶檢索演算法的建議；或者根據新的資料，生成更新世界模型的程式碼。這為智慧體的自我改進提供了一種強大的、基於語言理解和生成能力的全新途徑。

最佳化方法分類

3. 線上與離線自改進 (Online and Offline Self-Improvement)

自進化可以在不同的時間和尺度上發生：智慧體既能在與環境即時互動過程中進行線上改進，透過強化學習最佳化行為策略或根據感知更新世界模型；也能在 "休息" 或專門訓練階段實現離線改進，利用收集的資料進行深層分析和模型更新，可能涉及調整整個認知架構、重構記憶庫，或利用 LLM 作為最佳化器進行大規模模型迭代。

4. 自進化與科學發現 (Self-Evolution in Scientific Discovery)

論文特別提到了自進化在科學發現等複雜問題解決場景中的巨大潛力。一個具備自進化能力的 Foundation Agent 可以自主地提出假設、設計實驗、分析資料、學習新知識，並不斷最佳化其研究策略，從而加速科學探索的程序。這為 AI 在基礎科學領域的應用打開了新的想象空間。

自進化是 Foundation Agent 區別於當前大多數智慧體的關鍵特徵。它強調了智慧體自主學習和適應的核心能力，並提出了利用 LLM 作為最佳化器等創新思路。實現高效、穩定且目標可控的自進化機制，是通往真正自主智慧的關鍵挑戰。

第三部分：協作與進化型智慧系統 – 構建群體智慧

論文進一步將視野擴充套件到由多個 Foundation Agent 組成的多智慧體系統 (Multi-Agent System, MAS)，探討 MAS 的基礎組成、結構、協作正規化和決策機制；以及在多智慧體系統的自主協作 / 競爭中，群體智慧形成的現象 (Collective Intelligence)。最後，論文還系統性梳理了現有的 MAS 評估方法和評估體系，為未來 MAS 的評估與應用實踐提供了理論基礎和方法論支撐。

1. 多智慧體系統設計 (Multi-Agent System Design)

在大模型多智慧體系統（LLM-MAS）中，協作目標與協作規範是塑造系統設計約束、內部智慧體互動模式和整體協作機制的基礎。協作目標定義了智慧體追求的明確目標（個體性、集體性或競爭性），協作規範則確立了系統內智慧體互動的規則、約束和慣例。基於協作目標和規範，多智慧體系統可分為策略學習、建模與模擬、以及協同任務求解三類。論文透過分析和梳理三類 MAS 的典型應用，探討了大語言模型（LLM）如何賦能、影響並改進同質和異質智慧體的行為、互動及決策，並給出了 LLM-MAS 的下一代智慧體協議。

2. 拓撲結構與規模化（Comunication Topology and Scalability）

從系統角度出發，拓撲結構往往決定著協作的效率與上限。論文作者將 MAS 的拓撲分為了靜態和動態兩大類：前者是預定義好的靜態拓撲（層級化、中心化、去中心化）結構，常用於特定任務的解決實現；後者是根據環境反饋持續更新的動態拓撲結構，其可透過搜尋式、生成式、引數式等新興演算法實現。而隨著智慧體數量的增加，科學的規模化方式也將是未來多智慧體系統的重要議題。

3. 協作正規化與機理 (Collaboration Paradigms)

借鑑人類社會中的多樣化互動行為，如共識達成、技能學習和任務分工，論文從互動目的、形式和關係三個維度探討多智慧體協作。多智慧體協作被歸納為共識導向、協作學習、迭代教學與強化，以及任務導向互動。

在不同互動目標和形式下，智慧體之間形成討論、辯論、投票、協商等單向或多向互動。隨著互動的持續，這些過程迭代出決策和互動網路，不同智慧體在協作中增強和更新個體記憶與共享知識。

4. 群體智慧與湧現 (Collective Intelligence and Emergence)

在 MAS 中，群體智慧的產生是一個動態且迭代的過程。透過持續互動，智慧體逐步形成共享理解和集體記憶。個體智慧體的異質性、環境反饋和資訊交換增強了互動的動態性，這對複雜社會網路的形成和決策策略的改進至關重要。透過多輪互動和對共享上下文的反思，智慧體不斷提升推理和決策能力，產生如信任、戰略欺騙、自適應偽裝等湧現行為。按照進化形成機制，可分為基於記憶的學習和基於引數的學習。與此同時，隨著 MAS 的演化，智慧體之間逐漸將形成和演進社會契約、組織層級和勞動分工，從基礎的合作行為轉向複雜社會結構。觀測、理解和研究群體智慧的湧現現象是後續 MAS 研究的重要方向。

5. 多智慧體系統評估 (Evaluation of Multi-Agent Systems)

隨著多智慧體的優勢成為共識，其評估正規化亦需有根本性的變革 ——MAS 評估應聚焦於 Agent 互動的整體性，包括協同規劃的效率、資訊傳遞的質量與群體決策的效能等關鍵維度。由此衍生，作者總結了 MAS 常見的任務求解型 benchmark，以及最新的通用能力評估方式：前者的重點在於，衡量多智慧體在各種環境中的決策協同的推理深度與正確性；後者評估智慧體群在複雜、動態場景下的互動與適應能力。

智慧體的協作與競爭

第四部分：構建安全和有益的 AI 智慧體 —— 對齊與責任

隨著 Foundation Agent 能力的增強，其潛在的風險也隨之增大。論文的最後一部分聚焦於如何構建安全、可控、符合人類價值觀的智慧體，這也是整個 AI 領域面臨的最核心的挑戰之一。

1. 安全威脅與措施

高階智慧體面臨諸多安全威脅，包括對抗性攻擊、越獄與濫用、目標漂移和意外互動等。這些威脅可能導致智慧體做出錯誤行為、繞過安全限制執行惡意任務、在自進化過程中偏離初始目標，或在複雜 MAS 中引發系統級故障。為應對這些挑戰，需要研究部署多層次安全措施，如提高抵抗攻擊能力的魯棒性訓練、檢測阻止有害內容的過濾與監控機制、證明行為符合安全規範的形式化驗證、幫助理解決策原因的可解釋性與透明度設計，以及限制許可權與影響的沙箱與隔離技術。

2. 對齊問題

這是最根本的挑戰：如何確保智慧體（尤其是具備自進化能力的 Foundation Agent）的目標和行為始終與人類的價值觀和意圖保持一致？這涉及到價值學習、意圖理解、倫理推理等多個難題。論文強調了對齊研究的緊迫性和重要性，需要跨學科的努力來解決這一問題。

3. 未來方向

構建安全有益的 AI 是一個持續的過程。未來的研究需要在技術、倫理、治理等多個層面共同推進。包括開發更可靠的對齊技術、建立完善的 AI 安全評估標準、制定相應的法律法規和社會規範等。

安全和對齊是 Foundation Agent 發展不可或缺的基石。如果不能有效解決這些問題，再強大的智慧也可能帶來巨大的風險。這部分內容敲響了警鐘，強調了負責任地發展 AI 的重要性。

智慧體面臨的安全問題

討論：Foundation Agent 的意義與挑戰

通讀整篇論文，讀者可以清晰地感受到作者構建下一代通用智慧體的雄心。Foundation Agent 的概念，是對當前基於 LLM 的智慧體範式的一次深刻反思和重大超越。它不再將智慧體視為 LLM 的簡單應用，而是將其看作一個由認知、記憶、學習、感知、行動等多個核心元件構成的複雜、有機的系統。其核心意義在於提供了系統性框架，強調了自主性，關注協作與生態，並突出了安全與對齊。然而，實現這一願景也面臨著技術複雜度高、需要龐大計算資源、評估困難、自進化可控性問題以及安全與對齊的根本性難題等巨大挑戰。

這篇關於 Foundation Agent 的論文，與其說是一份詳盡的技術指南，不如說是一份高瞻遠矚的研究議程 (Research Agenda)。它清晰地指出了當前智慧體研究的侷限，併為邁向更通用、更自主、更安全的 AI 指明瞭方向。Foundation Agent 的概念提醒我們，通往通用人工智慧的道路需要在智慧體的認知架構、學習機制、協作模式和安全保障上取得根本性突破，這需要跨學科領域的共同努力。雖然前路漫漫，但這篇論文為未來的 AI Agent 研究注入了新的思考和動力，描繪了一個由能夠自主學習、協作進化、並與人類和諧共存的 Foundation Agent 構成的智慧新紀元。