夢晨 發自 凹非寺
量子位 | 公眾號 QbitAI
推理token減少80%-90%，準確率變化不大，某些任務還能增加。
Zoom團隊提出思維鏈替代品“草稿鏈”，顯著降低延遲和算力成本。
原理很簡單，要求模型為每個推理步驟生成簡潔、資訊密集的token。
這一思路受到人類解題過程啟發，人類通常不會詳細闡述每一個細節，只是簡單幾下關鍵的中間結果，作為草稿來輔助思考。
此外，草稿鏈方法簡單且易於實現，不需要修改模型、微調或強化學習，只需更新提示詞中的示例即可，相關程式碼和資料已在GitHub上開源。
研究團隊認為，與另一種降低延遲和計算成本的方法“在連續潛空間推理”相比，草稿鏈保留了可解釋性，且可以應用於閉源的黑盒模型。
第三方分析測算，對於每個月處理100萬個推理請求的企業， 可以將成本從思維鏈的3800美元降低到760美元，每月節省超過3000美元。
實驗驗證：準確率不降，成本大幅降低
實驗遵循原始思維鏈論文，評估3類任務：算術推理、常識推理和符號推理。
算數推理任務選擇GSM8k資料集，從準確率看，標準提示下GPT-4o和Claude 3.5 Sonnet的準確率分別僅53.3%和64.6%，思維鏈使兩者均超95%，草稿鏈也達到91%左右。
在token使用上，思維鏈生成約200個token/響應，草稿鏈僅約40個，減少約80%。
延遲方面，草稿鏈使GPT-4o和Claude 3.5 Sonnet的平均延遲分別降低76.2%和48.4%。
常識推理選擇BIG-bench 的日期理解和運動理解任務也取得了相似的結果，特別值得注意的是Claude 3.5 Sonnet在草稿鏈下準確率還有所上升。
符號推理選擇拋硬幣任務，由於原資料集未公開，作者合成了250個示例的測試集。
草稿鏈在保持100%準確率的情況下大幅減少了推理token和延遲。
但草稿鏈方法也有一定的侷限性：在零樣本設定下有效性會顯著下降。
此外，在引數量小於30億的小模型上，雖然草稿鏈仍能有效減少每個回答所需的token數並提高準確率，但與思維鏈相比，效能差距更大。
研究團隊推測，可能是由於訓練資料中缺乏草稿鏈風格的推理模式，在不提供few-shot樣本指導的情況下，很難生成簡潔而有幫助的”草稿”。
論文地址：
https://arxiv.org/abs/2502.18600v2參考連結：
[1]
https://ajithp.com/2025/03/02/chain-of-draft-llm-prompting/— 完 —
評選報名｜2025年值得關注的AIGC企業&產品
下一個AI“國產之光”將會是誰？
本次評選結果將於4月中國AIGC產業峰會上公佈，歡迎參與！
一鍵關注 👇 點亮星標
科技前沿進展每日見
一鍵三連「點贊」「轉發」「小心心」
歡迎在評論區留下你的想法！