Cell子刊《Patterns》最新綜述：大語言模型AttentionHeads的可解釋性研究

自從大語言模型（LLMs）在各種任務中展現出卓越效能以來，其內部機制的解讀已經成為領域內的熱門話題。儘管許多研究人員從各個方面做出了嘗試並得到了一些結論，但現階段仍缺乏一個全面的視角來對現有成果進行系統化的歸納與總結。

為此，上海創新演算法研究院大模型中心聯合清華大學、中國電信研究院釋出了綜述論文《Attention Heads of Large Language Models》，整合了當前關於注意力頭的研究進展，提出創新性的分析框架，從全域性視角揭示注意力頭的功能與工作機制，為研究者提供了清晰的方向參考和理論支援。該工作已在 Cell 旗下的資料科學子刊《Patterns》發表。

文章地址：

https://www.cell.com/patterns/fulltext/S2666-3899(25)00024-8

Github專案地址：

https://github.com/IAAR-Shanghai/Awesome-Attention-Heads

為什麼關注“注意力頭”？

在 Transformer 結構中，注意力頭是其推理能力的關鍵元件，它透過選擇性地關注輸入序列中的相關部分，從而實現上下文理解。然而，不同注意力頭在推理中的具體功能與協作方式尚不明確。深入研究注意力頭不僅有助於揭示大模型的內部邏輯，還為大模型的可解釋性研究提供了理論基礎。

核心內容與創新亮點

全新四階段認知框架

該綜述創新性地提出了一個認知框架用於描述人類大腦解決特定問題的過程。該框架將人腦的推理過程分為知識召回（Knowledge Recalling）、上下文識別（In-Context Identification）、潛在推理（Latent Reasoning）以及表達準備（Expression Preparation）四個階段。

這一框架不僅定義了每個階段的具體作用，同時也指明瞭這些階段之間存在的關聯，為人腦相關機制研究提供了新的視角。

詳盡的注意力頭分類

藉助提出的認知框架，該綜述首次將認知神經科學的原理融入大模型可解釋性研究中，清晰定義了不同注意力頭在推理過程中的具體功能。例如，某些注意力頭專注於跨句子的上下文對齊，另一些則負責增強模型的記憶能力，還有一些承擔了核心的推理工作。

這樣的分類不僅幫助研究者更好地理解模型的內部機制，還為構建更高效的模型提供了設計靈感。

實驗方法的系統化總結

該綜述還深入梳理了探索注意力頭機制的實驗方法，分為 Modeling-Free 和 Modeling-Required 兩大類。

前者不需要構建新的模型，僅在原模型的基礎上做一些修改，如修改模型內部隱藏層的數值；後者則需要構建特定的模型來進行研究，根據是否需要進行額外的訓練，可以再細分為 Training-Required and Training-Free 兩大類。

評估基準的全面收錄

為了驗證某個注意力頭是否具有特定的功能，該綜述也總結了多種評估基準和評估資料集。

根據研究目的的不同，這些基準也可以被分為 Mechanism Exploration Evaluation 和 Common Evaluation 兩大類，前者旨在評估特定注意力頭的運作機制，而後者則評估增強或抑制某些特定注意力頭的功能是否可以提高 LLM 的整體效能。這些評估基準為後續的相關研究提供了設計思路。