Zoom Communications 的一組研究人員已開發出了一項突破性技術，有望大大降低 AI 系統處理複雜推理問題所需的成本和計算資源，從而徹底改變企業大規模部署 AI 的方式。
這種方法名為草稿鏈（CoD），它使大語言模型（LLM）能夠用最少的單詞來解決問題——在保持甚至提高準確性的同時，僅使用當前方法所需的 7.6% 的文字。
這一研究發現上週發表在研究論文庫 arXiv 上的一篇論文中。
以 Zoom 的研究人員徐思磊（Silei Xu）為首的論文作者寫道：“透過減少冗繁程度，並專注於關鍵見解，CoD 在準確性上比肩甚至超過思維鏈（CoT），同時只使用 7.6% 的 token，大大降低了處理各種推理任務的成本和延遲。”
草稿鏈（紅色）的準確性比肩甚至超過思維鏈（黃色），同時在處理四項推理任務中使用的 token大大減少，這表明簡潔的 AI 推理可以在不犧牲效能的情況下降低成本。
CoD 從人類解決複雜問題的方式中獲得靈感。
在解決數學問題或邏輯難題時，人們通常只以縮寫的形式記下重要的資訊，而不是清晰地表達每一個細節。
研究人員解釋道：“在解決複雜的任務時——無論是數學問題、起草論文還是編寫程式碼，我們通常只記下有助於我們推動任務解決的關鍵資訊。透過模仿這種行為，LLM可以專注於逐漸得出解決方案，而無需冗繁推理帶來的開銷。”
該研究團隊在眾多基準測試中測試了其方法，包括算術推理（GSM8k）、常識推理（日期理解和運動理解）以及符號推理（拋硬幣任務）。
在 Claude 3.5 Sonnet 處理運動相關問題的一個引人注目的例子中，CoD 方法將平均輸出從 189.4 個 token 減少到了僅僅 14.3 個 token，足足減少了 92.4%，同時將準確率從 93.2% 提高到了 97.3%。
AI 研究員 Ajith Vallath Prabhakar 在分析論文時寫道：“對於一家每月處理 100 萬個推理查詢的企業來說，CoD 可以將成本從 3800 美元（2.8 萬元人民幣）（CoT）降低到 760 美元（5525 元人民幣），每月省下 3000 多美元（2.2 萬元人民幣）。”
這項研究正值當下企業部署 AI 的關鍵時刻。
隨著企業越來越多地將複雜的 AI 系統整合到業務運營中，計算成本和響應時間已成為阻礙 AI 廣泛採用的兩大因素。
目前最先進的推理技術透過將複雜問題分解為逐步推理，極大地提高了 AI 解決複雜問題的能力，比如 2022 年亮相的 CoT 技術。但這類方法會生成冗繁的解釋，因而消耗大量的計算資源，並增加響應延遲。
Prabhakar 寫道：“CoT 提示的冗繁特性導致了大量的計算開銷，增加了延遲，還增加了操作費用。”
對於企業來說，CoD 尤其值得注意的地方在於實施起來簡單。不像許多 AI 進展需要昂貴的模型再訓練或改變架構，CoD 只需簡單地修改提示就可以立即部署在現有模型中。
Prabhakar 解釋道：“已經使用 CoT 的組織只需簡單地修改提示，就可改用 CoD。”
這項技術對於即時客戶支援、移動 AI、教學工具和金融服務等對延遲敏感的應用領域尤其具有價值。在這些應用領域，哪怕小小的延遲都會嚴重影響使用者體驗。
然而業內專家表示，其帶來的影響不僅限於節省成本。透過使先進的 AI 推理更普及開來，CoD 可以使小組織和資源受限的環境更容易獲得先進的 AI 功能。
隨著 AI 系統不斷發展，CoD 等技術突顯了業界越來越強調效率和原始能力的事實。對於面對快速變化的 AI 領域的企業來說，這種最佳化可能與底層模型本身的改進一樣重要。
Prabhakar 總結道：“隨著 AI 模型不斷發展，最佳化推理效率將與提高原始能力一樣重要。”
研究程式碼和資料已在 GitHub 上公開（https://github.com/sileix/chain-of-draft），方便組織使用自己的 AI系統來實施和測試該方法。
參考資料：
https://venturebeat.com/ai/less-is-more-how-chain-of-draft-could-cut-ai-costs-by-90-while-improving-performance/
https://ajithp.com/2025/03/02/chain-of-draft-llm-prompting/#:~:text=For%20an%20enterprise%20processing%201,AI%20queries%20without%20excessive%20costs.
https://github.com/sileix/chain-of-draft
