JHU提出最強ToM方法，AutoToM橫掃五大基準

本文有三位共同第一作者，分別為 Zhining Zhang（張芷寧）、Chuanyang Jin（金川楊）、Mung Yao Jia。他們在約翰霍普金斯大學 Social Cognitive AI Lab 共同完成這篇論文。本文的指導老師為 Tianmin Shu（舒天民），是 JHU Social Cognitive AI Lab 的主任。該實驗室致力於構建能夠在現實世界中理解、推理和與人類互動的社會智慧系統，從而推進以人為中心的 AI。

如何讓 AI 像人一樣思考？如何擁有像人一樣的認知能力和社會能力？

心智慧力（Theory of Mind, ToM）是指透過觀察他人的行為來理解他們內心想法的能力，這一能力對開發具備社會智慧的智慧體至關重要。

近日，來自JHU 的研究團隊提出了 AutoToM，一種全自動、開放式的心智推理方法。作為首個面向開放場景的 model-based ToM 方法，以類似人類的思維模式，AutoToM 在 5 個基準測試中都取得了最好成績，並展現出良好的可擴充套件性、魯棒性以及可解釋性。

論文標題：AutoToM: Automated Bayesian Inverse Planning and Model Discovery for Open-ended Theory of Mind
論文地址: https://arxiv.org/abs/2502.15676
專案主頁: https://chuanyangjin.com/AutoToM/
程式碼地址: https://github.com/SCAI-JHU/AutoToM

基於模型的心智推理

當前在實現心智慧力的推理方面主要有兩種方法：

使用大型語言模型（LLM）來推理他人的心理狀態。然而，即使使用了換位思考、變化追蹤和時空推理等提示策略，LLM 在複雜情境中仍然會出現系統性的錯誤。

採用基於模型的推理方法。特別是貝葉斯逆向規劃（Bayesian Inverse Planning, BIP）。BIP 假設 agent 會根據一個貝葉斯心智模型（Bayesian Theory of Mind, BToM）做出理性行為。這個模型使用 MDP、POMDP、I-POMDP 等給定框架描述 observation、belief、action、goal 等心理變數之間的依賴關係，來模擬 agent 做出行為的過程。BIP 透過逆推這個生成過程，來判斷哪些潛在心理狀態可能導致我們觀察到的行為。

JHU 該團隊之前的論文（ACL 2024 傑出論文獎）將 BIP 和 LLM 結合，以實現既具可擴充套件性又穩健的模型化心智推理。這類方法更加穩健，在特定領域中相較於直接使用 LLM 有明顯優勢，但它們依賴的是固定、人工設計的模型，沒有辦法泛化到不同的領域。

不同基準測試中的示例問題及其所需的 BToM 模型。

AutoToM

第一個適應開放場景的 model-based ToM 方法

AutoToM 引入了一種全新正規化。它是一種完全自動化、開放式的基於模型的 ToM 推理方法。AutoToM 實現了對貝葉斯逆向規劃的全流程自動化，包括模型結構的提出與調整、關鍵時間點的識別、假設的生成以及貝葉斯推理的執行。

它無需任何領域知識，可在任意情境中執行，能夠推斷任何心理狀態，推理涉及任意數量的智慧體，並支援任意層級的遞迴推理。這體現了團隊對一種開放、通用且穩健的機器心理理論的願景。

AutoToM 的流程圖。X 是已知的可觀測變數，V 是潛在的心理變數，q 表示問題中查詢的變數。ts:t 表示用於推理的資訊來自 ts 到 t 的時間段。變數 s、o、b、a、g 分別表示 state、observation、belief、action、goal，圖中的實線箭頭表示模型中它們的依賴關係。

全自動的貝葉斯逆向規劃

給定一個貝葉斯心智理論模型（BToM）中，我們引入大語言模型（LLM）作為計算後端，用於實現貝葉斯逆向規劃（BIP）的各個關鍵環節。

假設取樣（Hypothesis Sampling）

傳統的 BIP 方法通常依賴人為設定的假設空間，以及為每個潛在心理變數指定具體的假設表示方式。而我們的假設取樣模組則利用 LLM，根據上下文中可觀測變數及其取值，生成一小集合的高質量假設。隨後，我們還會透過假設篩選機制，去除不太可能的假設，從而壓縮假設空間。

貝葉斯推理（Bayesian Inference）

我們使用 LLM 來估計 BToM 模型中每個區域性條件機率。接著，透過對非目標潛在變數進行邊緣化，我們得到目標變數的後驗機率。與以往方法相比，我們的方法具有更強的通用性：支援任意結構的 BToM 模型，能夠同時考慮多個潛在變數，並支援任意層級的高階的心智推理。

在給定的 BToM 模型下，AutoToM 進行全自動的貝葉斯逆向規劃。

全自動的模型發現與改進

之前的方法依賴於人工設計的 BToM 模型，這限制了它們在特定領域外的適用性。相比之下，AutoToM 能夠自動提出模型，並動態調整模型結構，從而在推理過程中兼顧有效性（即準確地推斷出智慧體的心理狀態）和高效性（即儘可能簡化模型和計算複雜度）。

資訊提取

資訊提取模組會處理給定的資訊，識別可觀測變數的取值，包括狀態、動作和言語等資訊，並按時間順序組織。

提出初始模型

我們使用 LLM 根據已有的資訊和任務提出一個初始的 BToM 模型。基於該模型，我們執行自動化的 BIP。如果該模型的效用超過某個閾值，我們便接受該模型的推理結果，否則將進行後續的模型調整。

模型調整

我們透過兩種方式迭代式地最佳化初始模型：變數調整和時間節點調整。

變數調整：在某個具體時間點上，我們會引入新的、相關的潛變數來擴充套件模型結構，從而緩解推理過程中的不確定性。每引入一個變數，我們都會重新計算模型效用，並選擇提升效用最大的修改方案進行保留。

時間節點調整：以往的研究通常假設所有歷史都是相關的，而 AutoToM 能夠在上下文中發現相關的歷史資訊，這種能力對於 AutoToM 在長上下文環境中成功進行心理理論推理並降低計算成本至關重要。從最小的時間範圍開始，如果在當前的時間範圍內，變數調整仍無法顯著提升模型效用，我們會考慮加入新的時間節點以引入更多上下文資訊。在考慮新的時間節點後，會在此基礎上繼續執行變數調整。