本文深入分析了 prompt tuning 的推理機理，並針對分析結果提出了動態提示擾動的方法，提升 LLMs 在複雜推理任務中的表現。
論文標題：
Improving Complex Reasoning with Dynamic Prompt Corruption: A soft prompt Optimization Approach
期刊/會議：
ICLR 2025
論文地址：
https://arxiv.org/pdf/2503.13208
作者機構：
阿里雲智慧-飛天實驗室
引言
大語言模型（LLMs）可以透過 “思維鏈（Chain-of-Thought, CoT）” 來解決複雜的推理問題，但對於不同型別的任務，往往需要人工設計的 “提示（prompt）” 來引導 LLMs 進行有效的推理思考。
這些提示，就像是老師在學生解題時給予的微妙提示，能夠激發學生的思考，幫助他們找到問題解決的鑰匙。
Prompt tuning 透過微調的方法習得這個任務的 Soft Prompt。傳統的 Prompt Tuning 方法雖然在常規任務中表現出色，但在複雜推理任務中效果有限，甚至可能降低模型效能。從個體例項的角度來看，soft prompt 對某些例項可能帶來正面影響，但對其他例項可能產生負面作用。
如圖 1 所示，模型在沒有 soft prompt 的情況下可以正確作答，而 soft prompt 可能透過中間推理步驟引導其得出錯誤答案。因此，判斷 soft prompt 對推理的影響是積極還是消極至關重要。然而，理解為何某些推理成功而另一些失敗仍然具有挑戰性。
▲ 圖1：輸入相同的問題以引導 LLM 作答。模型本可正確回答，但在新增 Soft prompt 後，其推理出現錯誤。
問題分析
如何解構 Soft Prompt 的在推理中的機理，以判斷具體影響？問題的核心在於，判斷 soft prompt 在何時會引導正確的推理，而何時會失敗。這需要深入分析模型的內部工作機制，包括資訊如何在模型的不同層和不同組成之間流動，以及這些流動如何影響最終的推理結果。
研究者將模型的 CoT 推理過程的三個關鍵部分 Soft Prompt，Question，Rationale，以分析其中的互動關係。具體而言，文章採用了一種基於顯著性分數（saliency score）的方法來分析資訊流，這種方法可以幫助分析模型在處理語言任務時是如何在不同元件間傳遞和處理資訊的。
如圖2所示，顯著矩陣透過將注意力矩陣與損失函式進行 hardmark 積得到：
透過結合梯度與注意力值的顯著分數，可以評估（SP,Q,R）三者之間的互動關係及其對輸出的影響，從而揭示資訊流動的機制。幫助理解模型在推理過程中如何依賴輸入的不同部分。
▲ 圖2：輸入相同的問題以引導 LLM 作答。模型本可正確回答，但在新增 Soft prompt 後，其推理出現錯誤。
2.1 機理分析
透過度量了如下的資訊流動，包括：
1. 軟提示到問題（Soft prompt-to-Question）：這⼀路徑反映了軟提示中的知識資訊如何被聚合到問題中的
2. 軟提示到推理（Soft prompt-to-Rationale）：這⼀路徑揭示了軟提示如何影響推理步驟：
如圖 3 左所示，透過視覺化各層的顯著性分數，揭示了提示資訊如何流向問題和論證部分。最強的影響發生在淺層網路中，特別是在第 2 到第 10 層之間，此時軟提示資訊的聚集最為密集。
為了進一步理解這一現象，需要對這些層級中的資訊流動進行精細分析。如圖 3 右，淺層的顯著性矩陣顯示，某些 soft tokens 對推理過程產生了顯著的影響，這表明它們在塑造模型輸出方面發揮著關鍵作用。研究者把這種顯著性矩陣中的列狀現象，稱為資訊堆積。
▲ 圖3：左圖展示了軟提示到問題及軟提示到推理的逐層顯著性分數。右圖則揭示了軟提示中資訊的顯著堆積現象，其中某個特定 token 對問題和推理均產生了強烈影響。
如圖 4 所示，透過大量例項分析發現，正確案例與錯誤案例在處理機制上呈現顯著差異：正確案例在淺層階段能夠保持資訊提取的平衡性，避免關鍵資訊的遺漏或冗餘；而深層推理時則主動將注意力聚焦於早期推理的關鍵步驟與核心問題，最終提升結果的準確性。
相比之下，錯誤案例往往在淺層階段因資訊堆積導致冗餘特徵過度集中，這種現象會干擾模型深層正常資訊流動，迫使模型在深層推理時過度依賴預設的 Soft prompt 進行補償性推理，最終引發輸出偏差。這種處理模式的差異直接導致了結果的準確性差異。
▲ 圖4：正確答案（左）表現出平衡的注意力分佈，從軟提示逐步轉向推理過程和問題本身。錯誤答案（右）則呈現淺層注意力過度堆積和深層資訊流紊亂，最終導致錯誤。
透過對於正負樣本例項的分析，發現淺層和深層的存在不同的資訊流動模式。並且之間的關聯性可以能的影響最終的推理。因此接下來著重探究了以下兩個問題，來進一步驗證資訊堆積對於最終推理的影響：
資訊積累與資訊流模式變化的關係是什麼？
如圖 5 左所示，透過計算顯著性分數，分析了資訊堆積與深層資訊流變化的相關性。在取樣的 100 個案例中，在淺層出現資訊堆積時，深層資訊流模式發生變化的機率明顯高於未觀察到資訊積累的情況,這表明資訊堆積的出現與深層資訊流模式的變化之間存在強相關性。
資訊積累與資訊流模式變化的關係是什麼？
如圖五右所示，分析了 50 個正確案例和 50 個錯誤案例。答案正確的例項中，深層的推理 token 對 soft prompt token 的關注程度較低；而在錯誤答案的例項中，soft prompt token 對深層的推理 token 的影響更大。
當模型在深層時更多地依賴早期步驟（如問題本身或初步推理）而非 soft prompt 時，更可能得到正確答案；相反，深層時受到 soft prompt 顯著影響時，模型可能會出現錯誤答案。
▲ 圖5：左圖展示了淺層資訊積累與深層資訊流變化之間的關係，中間圖呈現了正確與錯誤案例中從軟提示到後續推理步驟的資訊流強度差異，右圖則對比了二者整體資訊流強度的差別。
2.2 Dynamic Prompt Corruption
基於上述的分析驗證，本文提出了動態提示擾動的方法（DPC），透過檢測軟提示中的資訊堆積，識別錯誤的資訊流模式。
基於動態觸發策略，它可以確定受影響的推理過程，並定位對干擾影響最大的軟提示 token。為緩解錯誤，DPC 透過遮蔽已定位的 token 的嵌入值來實施定向擾動，有效緩解有害堆積的負面影響。
▲ 圖6：動態提示擾動（DPC）透過識別錯誤的資訊流模式，並在資訊堆積點有針對性地擾動軟提示 token，從而緩解其負面影響。
2.3 實驗結果
研究者們對不同的模型（如 LLaMA-2-13B，LLaMA-3-8B, Mistral-7B）進行了較為全面的測試，涉及多種不同複雜推理資料集。結果顯示，DPC 方法在 prompt tuning 的 scope 中有了一致性的提升。
主要貢獻
-
本文透過顯著性分數分析軟提示,問題和推理過程之間的相互作用，探討了軟提示資訊積累對錯誤推理的影響。研究發現，更深的軟提示影響會增加答案錯誤的可能性。
-
提出了一種基於資訊流分析結果的動態提示擾動（DPC），這是一種例項級提示調整策略，能夠動態緩解軟提示的負面影響。
-
透過在不同 LLMs 和 資料集上的大量實驗驗證了 DPC 在複雜推理任務上顯著優於基礎提示調優，突顯了其有效性和優越性。
結論與展望
透過基於 Saliency 的資訊流分析發現，當soft prompt 深刻影響推理的後期階段時，模型更有可能得出錯誤答案。提出了 DPC，能夠例項級動態識別並減輕由 soft prompt 引起的負面影響。未來可以進⼀步利用該分析方案應用於其他領域。
更多閱讀
#投 稿 通 道#
讓你的文字被更多人看到
如何才能讓更多的優質內容以更短路徑到達讀者群體，縮短讀者尋找優質內容的成本呢？答案就是：你不認識的人。
總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋樑，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發出更多的可能性。
PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優質內容，可以是最新論文解讀，也可以是學術熱點剖析、科研心得或競賽經驗講解等。我們的目的只有一個，讓知識真正流動起來。
📝 稿件基本要求：
• 文章確係個人原創作品，未曾在公開渠道發表，如為其他平臺已發表或待發表的文章，請明確標註
• 稿件建議以 markdown 格式撰寫，文中配圖以附件形式傳送，要求圖片清晰，無版權問題
• PaperWeekly 尊重原作者署名權，並將為每篇被採納的原創首發稿件，提供業內具有競爭力稿酬，具體依據文章閱讀量和文章質量階梯制結算
📬 投稿通道：
• 投稿郵箱：[email protected]
• 來稿請備註即時聯絡方式（微信），以便我們在稿件選用的第一時間聯絡作者
• 您也可以直接新增小編微信（pwbot02）快速投稿，備註：姓名-投稿
△長按新增PaperWeekly小編
🔍
現在，在「知乎」也能找到我們了
進入知乎首頁搜尋「PaperWeekly」
點選「關注」訂閱我們的專欄吧
·