本工作由中科院計算技術研究所團隊主導完成，旨在為未來的上下文感知智慧體系統提供清晰的理論基礎與系統藍圖。
論文標題：
A Survey of Context Engineering for Large Language Models
論文全文：
https://arxiv.org/abs/2507.13334
配套資源庫：
https://github.com/Meirtz/Awesome-Context-Engineering
Hugging Face 頁面：
https://huggingface.co/papers/2507.13334
Motivation與背景
大型語言模型（LLMs）的效能從根本上取決於其在推理過程中獲得的上下文資訊。隨著 LLMs 從簡單的指令遵循系統發展為複雜應用的推理核心，如何設計和管理其資訊有效載荷已演變為一門正式的學科。
傳統的“提示工程”（Prompt Engineering）概念已不足以涵蓋現代AI系統所需的資訊設計、管理和最佳化的全部範圍。這些系統處理的不再是單一、靜態的文字字串，而是一個動態、結構化且多方面的資訊流。
上下文工程（Context Engineering）的出現，旨在超越簡單的提示設計，系統性地最佳化供給 LLMs 的資訊有效載荷。
然而，上下文工程領域的研究雖然發展迅速，卻呈現出高度專業化和碎片化的特點。現有研究大多孤立地探討特定技術，如檢索增強生成（RAG）、智慧體系統（Intelligent Agent Systems）或長上下文處理等，缺乏一個統一的框架來系統地組織這些多樣化的技術，闡明其內在聯絡。
為了應對這一挑戰，本篇綜述對超過 1400 篇研究論文進行了系統性分析，首次對 LLMs 的上下文工程進行了全面和系統的回顧，旨在為研究人員和工程師提供一個清晰的技術路線圖，促進對該領域的深入理解，催化技術創新。
論文內容詳解
本綜述的核心貢獻是提出了一個將上下文工程分解為基礎元件（Foundational Components）和系統實現（System Implementations）的分類框架。
2.1 上下文工程的定義與形式化
我們首先對上下文工程進行形式化定義。對於一個自迴歸的 LLM，其模型引數為 θ，在給定上下文 C 的條件下，生成輸出序列 的過程可以表示為最大化條件機率：
傳統提示工程將上下文 C 視為一個單一的文字字串，即 C=prompt。上下文工程則將 C 重新概念化為一個由多個資訊元件 動態構成的結構化集合。
這些元件由一系列函式進行獲取、過濾和格式化，並最終由一個高階的組裝函式 A 進行編排：
這些元件 對應了本綜述的核心技術領域：
-
：系統指令和規則。 -
：透過 RAG 等功能檢索到的外部知識。 -
：可用外部工具的定義和簽名。 -
：來自先前互動的持久化資訊。 -
：使用者、世界或多智慧體系統的動態狀態。 -
：使用者的即時請求。
基於此，上下文工程的最佳化問題可以定義為：尋找一組最優的上下文生成函式集合 F（包括 A、檢索、選擇等函式），以最大化 LLM 輸出質量的期望值。給定任務分佈 T，其目標是：
其中， 是一個具體的任務例項， 是由函式集 F 為該任務生成的上下文， 是理想的輸出。這個最佳化過程受到模型上下文長度限制 等硬性約束。
2.2 上下文工程的基礎元件
基礎元件是上下文工程的基石，我們將其分為三個關鍵階段：
2.2.1 上下文檢索與生成（Context Retrieval and Generation）
該元件負責獲取相關的上下文資訊，包含三個主要機制：
-
提示工程與上下文生成：設計有效的指令和推理框架，如思維鏈（Chain-of-Thought, CoT）、思維樹（Tree-of-Thoughts, ToT）和思維圖（Graph-of-Thoughts, GoT）等，以引導模型的思考過程。
-
外部知識檢索：透過檢索增強生成（RAG）等技術，動態訪問外部資訊源，如資料庫、知識圖譜和文件集合，以克服模型引數化知識的侷限性。
-
動態上下文組裝：將獲取到的不同資訊元件（如指令、知識、工具）編排成一個連貫的、為特定任務最佳化的上下文。
2.2.2 上下文處理（Context Processing）
該元件負責轉換和最佳化獲取到的資訊，主要包括：
-
長上下文處理：解決 Transformer 架構中自注意力機制帶來的 O(n2) 複雜度問題，透過架構創新（如狀態空間模型 Mamba）、位置插值和最佳化技術（如 FlashAttention）來處理超長序列。
-
上下文自精煉與適應：使 LLMs 能夠透過迭代反饋迴圈（如 Self-Refine 框架）來改進輸出，或透過元學習（Meta-Learning）和記憶增強機制實現對新任務的快速適應。
-
多模態及結構化上下文：將文字以外的資料模式（如影像、音訊）和結構化資料（如知識圖譜、表格）整合到統一的上下文中，是當前面臨的核心挑戰之一。
2.2.3 上下文管理（Context Management）
該元件關注上下文資訊的有效組織、儲存和利用，包括：
-
基本約束：應對有限上下文視窗帶來的“中間遺忘”（lost-in-the-middle）現象和計算開銷等根本性限制。
-
記憶層次與儲存架構：借鑑作業系統的虛擬記憶體管理思想，設計分層的記憶系統（如 MemGPT），在有限的上下文視窗和外部儲存之間進行資訊交換。
-
上下文壓縮：透過自編碼器、迴圈壓縮或基於記憶的方法減少上下文的計算和儲存負擔，同時保留關鍵資訊。
2.3 上下文工程的系統實現
基礎元件是構建更復雜的、面向應用的系統實現的基石。本綜述探討了四種主要的系統實現方式：
2.3.1 檢索增強生成（Retrieval-Augmented Generation, RAG）
RAG 系統將外部知識源與 LLM 的生成過程相結合，已從簡單的線性流程演變為更復雜的架構：
-
模組化 RAG：將 RAG 流程分解為可重新配置的模組，實現了靈活的元件互動和定製化。
-
智慧體 RAG（Agentic RAG）：將自主 AI 智慧體嵌入 RAG 流程，透過持續的推理、規劃和工具使用來動態管理檢索策略。
-
圖增強 RAG（Graph-Enhanced RAG）：利用知識圖譜等結構化知識表示來捕捉實體關係，支援多跳推理，並減少上下文漂移和幻覺。
2.3.2 記憶系統（Memory Systems）
記憶系統使 LLMs 能夠超越無狀態的互動模式，實現資訊的持久化儲存、檢索和利用。這些系統通常被劃分為短期記憶（在上下文視窗內操作）和長期記憶（利用外部資料庫或專用結構）。記憶增強的智慧體在個性化對話、任務規劃和社交模擬等領域展現了巨大潛力。
2.3.3 工具整合推理（Tool-Integrated Reasoning）
該實現將 LLMs 從被動的文字生成器轉變為主動的世界互動者。透過函式呼叫（Function Calling）機制，LLMs 能夠利用外部工具（如計算器、搜尋引擎、API）來克服其內在的知識過時、計算不準確等侷限性。這要求模型能夠自主選擇合適的工具、解釋中間輸出並根據即時反饋調整策略。
2.3.4 多智慧體系統（Multi-Agent Systems）
多智慧體系統是協作智慧的頂峰，允許多個自主智慧體透過複雜的通訊協議、編排機制和協調策略進行協作，以解決單個智慧體無法完成的複雜問題。LLMs 的引入極大地增強了智慧體在規劃、專業化和任務分解方面的能力。
小結與未來展望
本綜述透過建立一個統一的分類框架，系統性地梳理了上下文工程這一新興領域。我們的分析揭示了一個關鍵的研究空白：當前模型在理解複雜上下文方面表現出色，但在生成同等複雜的長篇輸出方面存在明顯侷限。彌合這一“理解-生成”差距是未來研究的重中之重。
未來的研究方向和挑戰包括：
-
基礎研究挑戰: 建立統一的理論基礎和數學框架，研究上下文工程的縮放定律，並解決多模態資訊的整合與表示問題。
-
技術創新機遇: 探索新一代架構（如狀態空間模型），發展更高階的推理與規劃能力，並實現智慧化的上下文組裝與最佳化。
-
應用驅動的研究: 針對特定領域（如醫療、科研）進行深度專業化，實現大規模多智慧體的協調，並促進人與AI的協同。
-
部署和社會影響: 解決可擴充套件性、安全性、魯棒性和倫理等在生產部署中面臨的實際問題。
總之，上下文工程是推動 AI 系統從理論走向現實、從單一能力走向綜合智慧的關鍵。我們希望這篇綜述能為從事大模型系統、Agent 設計、RAG 架構、結構化資料融合等研究的讀者提供系統性參考，也歡迎關注我們的持續更新和後續研究進展。
更多閱讀
#投 稿 通 道#
讓你的文字被更多人看到
如何才能讓更多的優質內容以更短路徑到達讀者群體，縮短讀者尋找優質內容的成本呢？答案就是：你不認識的人。
總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋樑，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發出更多的可能性。
PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優質內容，可以是最新論文解讀，也可以是學術熱點剖析、科研心得或競賽經驗講解等。我們的目的只有一個，讓知識真正流動起來。
📝 稿件基本要求：
• 文章確係個人原創作品，未曾在公開渠道發表，如為其他平臺已發表或待發表的文章，請明確標註
• 稿件建議以 markdown 格式撰寫，文中配圖以附件形式傳送，要求圖片清晰，無版權問題
• PaperWeekly 尊重原作者署名權，並將為每篇被採納的原創首發稿件，提供業內具有競爭力稿酬，具體依據文章閱讀量和文章質量階梯制結算
📬 投稿通道：
• 投稿郵箱：[email protected]
• 來稿請備註即時聯絡方式（微信），以便我們在稿件選用的第一時間聯絡作者
• 您也可以直接新增小編微信（pwbot02）快速投稿，備註：姓名-投稿
△長按新增PaperWeekly小編
🔍
現在，在「知乎」也能找到我們了
進入知乎首頁搜尋「PaperWeekly」
點選「關注」訂閱我們的專欄吧
·