新智元報道
新智元報道
編輯：犀牛 定慧
【新智元導讀】研究發現，推理模型（如DeepSeek-R1、o1）遇到「缺失前提」（MiP）的問題時，這些模型往往表現失常：回答長度激增、計算資源浪費。本文基於馬里蘭大學和利哈伊大學的最新研究，深入剖析推理模型在MiP問題上的「過度思考」現象，揭示其背後的行為模式，帶你一窺當前AI推理能力的真實邊界。
推理模型越來越成為主流了。
像GPT-4.5這樣沒有推理功能的大語言模型則越來越少見，就連OpenAI自身也將重心放到了推理模型o系列上面。
原因在於推理模型透過在回答之前先「思考」，從而能夠獲得更加優秀的效果。
然而，現在的推理模型還不是很成熟，尤其是面對缺乏前提條件的病態問題 （MiP）時，回答長度會顯著增加，變得冗長且低效。
比如，哪怕是「1加2等於幾」這樣的問題，現在的推理模型也可能生成數百個token的回答。
這種現象嚴重違背了「test-time scaling law」（測試時擴充套件）。
而像GPT-4.5這樣並非專門為推理訓練的模型在MiP場景下表現反而更好，它們生成的回答更短，能迅速識別出問題的不合理性。
這就揭示了當前推理型語言模型的一個關鍵缺陷：它們沒有高效思考，導致思考模式被濫用。
這種針對病態問題的推理失敗通常稱為「缺失前提下的過度思考」（MiP-Overthinking）。
為了深入探究這些失敗背後的原因，馬里蘭大學和利哈伊大學的研究人員對不同型別語言模型的推理長度、過度思考模式以及批判性思維的位置進行了細緻的分析。
論文地址：https://arxiv.org/abs/2504.06514
舉個簡單的例子，像圖1左邊展示的問題：「a的值是多少？」。
在沒有任何關於a的資訊的情況下，這個問題顯然無解。然而，DeepSeek-R1卻為這個問題生成了數千個token的回答，耗費幾分鐘的思考計算。
這暴露出了一種風險：那些被訓練用來深度思考的模型，可能會濫用思考模式，缺乏質疑問題有效性的批判性思維。
理想情況下，一個具備批判性思維的模型應該能識別出缺失的前提，迅速要求澄清或優雅地表示無法繼續解答。
例如，圖1右邊展示了一個來自GSM8K的定義明確的問題和它的MiP變體，在條件缺失時推理模型觸發了token數量的劇增，遠超普透過度思考。
此外，研究人員觀察到，即使推理模型偶爾能注意到缺失前提，它們的無效和冗餘思考也常常無法停止，這違背了測試時擴充套件定律的預期。
研究人員設計了一套專門的MiP問題，目的是以可控的方式觸發模型的「過度思考」失敗。
為了確保研究結果的普適性，他們對各種最先進的語言模型進行了測試，涵蓋了從推理型模型到非推理型模型、從開源模型到專有模型。
主要透過三個指標來評估模型表現：生成回答的長度、在明確問題上的準確率，以及在包含MiP的「病態問題」上的「放棄率」。
核心發現：
-
當問題缺少前提時，推理型模型會生成明顯更長的回答（比一般過度思考多2到4倍的token）。但這些額外的token並不能幫助它們識別MiP問題，這與人們常討論的「測試時擴充套件定律」（test-time scaling law）相悖。
-
相比之下，非推理模型在面對MiP問題時，生成更短的回答，並能更快識別出缺失前提，表現出對關鍵資訊缺失的更強魯棒性。
-
推理型模型在明確問題和MiP問題上的反應截然不同：對於明確問題，它們通常能穩定地進行「思維鏈」推理；但在MiP問題上，它們往往陷入「自我懷疑迴圈」，反覆重審問題、猜測使用者意圖，導致生成的token數激增。
-
推理型模型通常能注意到MiP的存在，甚至在早期就能識別出來，但它們往往猶豫不決、不敢果斷下結論，繼續輸出無效的思考內容。
缺失前提的定義
簡單說，「缺失前提」（Missing Premise, MiP）其實是在描述一種問題：你本來需要一些關鍵資訊（前提）來明確回答一個問題，但如果其中一個關鍵資訊被拿掉了，問題就變得沒法準確回答了。
舉個例子： 假如問題Q是：「小明買了蘋果和香蕉一共花了多少錢？” 」
前提P是一組資訊，比如：
P1：蘋果2元一個，小明買了3個蘋果。
P2：香蕉1元一個，小明買了2個香蕉。
有了這些前提，你可以算出：3×2+2×1=8元，答案是唯一的，問題很好解決。
但如果我們把其中一個前提拿掉，比如去掉 P2（關於香蕉的資訊），你就只知道蘋果的價格和數量，但不知道香蕉的價格或數量。
這時候，問題就變成了「缺失前提問題」，因為光靠剩下的資訊，你沒法確定小明一共花了多少錢。
按照這個定義，一個聰明的推理系統應該能很快發現「哎呀，缺了點關鍵資訊，我沒法得出一個確定的答案」，然後就停下來，不去瞎猜。
但實際上，很多高階模型卻會在這時候「想太多」，不停地繞圈子，試圖硬湊出一個答案，結果白費力氣也沒用。
資料集的構建
研究團隊精心設計了一套可控的MiP問題。這些問題來自三個不同難度的數學資料集，另外他們還建立了一個合成數據集。
這些資料涵蓋了三種難度級別和三種策略：
1. 基於規則生成：這種方法透過公式構建過程生成MiP問題，其中未賦值的變數就是缺失的前提。
2. 主體-問題互換：故意讓問題的主體和提問部分不匹配，製造邏輯上的矛盾。這樣，問題的前提和提問就完全不搭邊。
3. 移除關鍵前提：透過仔細分析原本完整的問題，找出一條對解決問題至關重要的前提，然後把它去掉。這樣問題結構還在，但沒法解答。
具體來說包括這幾個部分（表1）：MiP-Formula（公式資料集）、MiP-SVAMP（小學數學資料集）、MiP-GSM8K（更復雜的數學資料集）、MiP-MATH（競賽級數學資料集）。
對於GSM8K和MATH資料集，透過去掉原始問題中的一個前提（標為刪除線）來建立MiP問題
在缺失假設下的過度思考
為了系統地評估模型在缺失前提（MiP）條件下的響應，對於每個模型，研究團隊分析計算了不同資料集中響應的以下指標：
-
響應長度：響應中的平均token數量，包括推理步驟和最終答案部分。
-
MiP問題的放棄率：模型明確識別出缺失前提，並選擇不提供答案或請求解決問題所需額外資訊的答案比例。
-
明確定義問題的準確率：模型產生的確定性響應與參考答案一致的比例。
對於沒有參考答案的資料集（MiP-Formula和MiP-SVAMP），僅計算問題的放棄率。響應評估使用GPT-4o作為自動評估器進行。
主要結果
圖2展示了多種先進大型語言模型（LLMs）在平均回答長度、明確問題上的準確率，以及MiP問題上的「放棄率」（即識別無解並選擇不答的比率）的對比，揭示了模型行為中的幾個重要規律。
推理模型在缺失前提（MiP）問題上容易「想太多」，生成過長回答卻無法有效識別無解情況。非推理模型回答較短，更能快速發現資訊不足，表現出更強的魯棒性
比較不同MiP資料集的響應長度和放棄率，更短的長度和更高的放棄率是首選。
對於每一列，前三個優選值用綠色標註，其他用紅色標註。
MiP過度思考（以較長響應和低放棄率為特徵）在所有資料集的大多數現有推理模型中普遍存在（紅色所標註的模型），表明了現有推理模型的一個關鍵缺陷。
首先，現有的推理模型在面對MiP問題時表現出響應長度的爆炸性增長，通常產生比明確定義問題的一般過度思考多2-4倍的Tokens。
例如，QwQ-32B和DeepSeek-R1在明確定義的問題上已經有較長的推理路徑（簡單GSM8K問題約1,000個Tokens），在缺失前提條件下產生更長的輸出（超過3,000個Tokens）。
相比之下，非推理模型不存在類似問題，它們對明確定義和MiP問題生成的Tokens數量相似。
這種現象直接說明了推理模型的MiP過度思考現象。
其次，比較推理模型和非推理模型在明確定義問題上的Tokens長度，推理模型傾向於產生更長的響應，即使是簡單問題，這凸顯了現有推理模型的低效和冗長響應特點。
例如，非推理模型僅需約200個Tokens就能生成明確定義問題的響應，而DeepSeek-R1需要1,000個Tokens，QWQ-32B需要1,800個Tokens來回答完全相同的問題。
然而，額外Tokens的爆炸性增長並未帶來相應的大幅準確率提升，突顯了一般過度思考的問題。
最後，MiP問題的放棄率（紅線）顯示，儘管一些推理模型（如GPT-o1）在放棄MiP問題方面表現出良好能力，但大多數其他推理模型即使有極長的推理路徑，也無法正確放棄給定的MiP問題。
這種現象表明，雖然大多數現有推理模型在某種程度上具備思考和推理能力，但它們缺乏「拒絕」不當問題的批判性思維能力。
相比之下，非推理模型雖然沒有專門為推理而訓練，但往往能取得更好的平衡，生成更短的答案，並且在問題構造不當時更可能承認MiP。
這種現象揭示了測試時擴充套件定律的一個令人驚訝的矛盾。
此外，表2進一步展示了整理的其他MiP資料集在長度和放棄率方面的比較。
首選結果用綠色標註（對於MiP問題，更短的響應和更高的放棄率），較差的結果用紅色標註。
從中可以輕易發現，推理模型傾向於在所有資料集中生成長響應，同時保持低放棄率，表明現有推理模型持續存在MiP過度思考問題。
此外，透過比較模型在不同資料集上的行為，可以觀察到，對於相對較難的資料集（MiP-MATH），所有模型生成的響應相對更長，獲得的放棄率更低，表明更難的MiP問題需要更強的推理能力。
透過Tokens分析思考模式
為了深入瞭解MiP過度思考問題，比較了MiP-GSM8K資料集上與推理相關的Tokens分佈。
如表3所示，分解了幾個與思考過程相關的Tokens模式的平均使用情況，以及每個模型解決給定問題的步驟數。
具體而言，「alternatively」、「wait」、「check」和「but」的值可以直接從模型響應中計數，包括推理模型的思考路徑。
「Hypothesis」類別包括幾個關鍵詞，包括「perhaps」、「maybe」和「might」。步驟表示由「\n\n」分隔的步驟計數。
推理模型表現出更高頻率的「alternatively」、「wait」、「check」等Tokens使用，而非推理模型的頻率接近於零，這表明了它們的高階思考能力。
從明確定義問題轉向MiP問題時，推理模型在推理相關Tokens上出現爆炸性增長，表明思考模式存在大量冗餘。
此外，在比較步驟變化時，推理模型對MiP問題表現出步驟數的大幅增加，而非推理模型通常顯示更少的步驟，這表明它們能快速得出問題無法回答的結論。
結合這種差距和非推理模型始終較好的放棄率，得出結論：冗長的推理步驟大多是多餘的，表明推理模型存在自我懷疑的思考模式。
為了進一步評估在MiP條件下生成內容的冗餘程度，檢查了模型在MiP-GSM8K資料集上響應的步驟級相似性。
具體來說，將每個響應分為由「\n\n」分隔的離散步驟，並使用all-MiniLM-L6-v2生成的嵌入計算成對餘弦相似度分數。
視覺化如圖3所示，熱圖矩陣中的每個值代表相應步驟索引之間的平均餘弦相似度。明確定義問題的平均相似度分數為0.45，MiP響應為0.50。方差分別為7.9e-3和8.2e-4。
如圖所示，MiP問題的響應在各個步驟之間具有更高的整體相似性和更低的標準方差，表明內容存在相當大的冗餘。
這意味著，在許多情況下，模型會重新訪問類似的部分推理或僅做微小改動重複前面的句子，顯示出潛在的自我陷阱問題。
總的來說，這些模式證實MiP問題在推理模型中導致高度重複的內容。
模型沒有及早終止並得出前提不足的結論，而是用重複的重新檢查和重述填充其推理路徑，顯著增加Tokens使用量，但並未改善實際放棄率。
透過示例分析思考模式
為了進一步理解推理模型在面對構造不當的輸入時推理鏈中發生的情況，在圖4中展示了推理模型對MiP問題響應的一個示例。
總結了在示例中發現的五種主要思考模式，並用不同顏色突出顯示它們。
可以從示例中觀察到，模型濫用這些模式生成長響應，而這些響應不僅冗餘，而且對模型放棄給定的MiP問題也沒有幫助。
該響應展現了五種不同的思考模式，用不同顏色突出顯示：
-
重新審視問題（黃色）：模型重新審視原始問題；
-
訪問知識（紅色）：模型訪問領域特定知識；
-
提出假設（藍色）：模型提出並研究各種假設；
-
自我懷疑（綠色）：模型質疑自己的推理過程並表達不確定性；
-
暫停/檢查（紫色）：模型暫停以回顧先前的步驟。
這些模式展示了模型在面對缺失前提條件時的複雜但可能低效的推理過程。
模型是否知道前提缺失？
為了研究推理模型在其推理過程中是否能夠識別問題的潛在不可解性，研究團隊對它們的推理鏈進行了詳細分析。
為確保評估的穩健性，使用GPT-4o對每個步驟進行了三次評估，並使用多數投票作為最終的步驟級結果。該分析的定量結果如表4所示。
從表中可以看出，大多數現有的推理模型在推理過程的早期階段就懷疑給定問題可能無法解決，這表明推理模型具有識別潛在MiP問題的能力。
然而，這些推理模型缺乏批判性思維能力：它們傾向於透過反覆重新審視問題和相關定義來繼續深挖給定的無解問題，而不是質疑給定問題的可解性。
因此，如圖5所示，儘管現有的推理模型對大多數給定的MiP問題表示懷疑，但它們只放棄了其中很小一部分。
基於上述觀察，得出結論：推理模型實際上具備發現給定MiP問題不可解的能力，但它們「不敢」放棄這些問題。
MiP（過度思考）問題表明了推理模型缺乏批判性思維能力。
MiP-Overthinking現象在基於強化學習（RL）和基於監督微調（SFT）的推理模型中都有體現。
假設這種現象主要源於基於規則的強化學習階段中長度約束不足，隨後透過蒸餾傳播到SFT模型中。
當前的基於RL的推理模型主要採用基於規則的訓練，專注于格式和準確性獎勵，其中一些模型加入了步驟或長度獎勵以促進深入推理。
這種方法可能導致獎勵破解（reward hacking），即模型探索過度的推理模式以獲得正確答案。
為了證明這種行為透過蒸餾的可傳播性，使用DeepSeek-R1在MiP-Formula資料集上生成的50個MiP響應對Qwen-2.5-7B-Instruct進行了小規模微調。
如圖6所示，在GSM8K上評估時，微調後的模型表現出明顯的MiP-過度思考特徵：MiP和定義良好的問題的響應長度顯著增加，MiP和定義良好響應之間出現了原始模型中不存在的長度差異，以及棄權率下降。
結果表明，在微調過程中僅接觸少量MiP示例後，模型就迅速表現出MiP-Overthinking（過度思考）行為。
這些「聰明」的模型雖然能在早期階段察覺到前提缺失，卻缺乏「批判性思維」來果斷中止無效推理，陷入自我懷疑、過度假設和冗餘探索的迴圈。
真正的AGI還任重道遠。
本文作者
Chenrui Fan
華中科技大學計算機科學與技術工學學士，美國馬里蘭大學帕克分校理學碩士。
曾在Lehigh University、武漢大學大資料智慧實驗室及騰訊實習，從事可信賴的機器學習研究。
Ming Li
馬里蘭大學計算機科學系的二年級博士生，導師是Tianyi Zhou教授。2020年從西安交通大學獲得計算機科學學士學位，2023 年在德州農工大學獲得碩士學位，導師是Ruihong Huang教授。
研究興趣廣泛涉及機器學習（ML）、自然語言處理（NLP）和大型語言模型（LLM）。他還對視覺-LLMs微調、代理、效率和推理感興趣。
參考資料：
https://www.alphaxiv.org/overview/2504.06514
https://arxiv.org/pdf/2504.06514