簡單示例提升DeepSeek-R1美國數學邀請賽AIME分數：以步驟為粒度對齊上下文學習與推理

BoostStep團隊投稿

量子位 | 公眾號 QbitAI

僅需簡單提示，滿血版DeepSeek-R1美國數學邀請賽AIME分數再提高。

上海交大、港中文、上海AI實驗室等帶來最新成果BoostStep對齊推理和上下文學習粒度，大幅提升上下文學習效能，突破少樣本學習上限。

大語言模型使用多步推理解決複雜數學問題，即先將複雜問題分解為多個步驟並逐步進行推理。

研究人員實驗發現後者是推理效果的瓶頸：大模型雖能進行有效的問題拆解，但在單步推理時往往出現錯誤。

上下文學習則透過引入相似例子為大語言模型提供完整思路與單步推理的指導，而傳統的上下文學習在步驟粒度沒有與推理進行對齊，在輔助關鍵的單步推理時仍有顯著缺陷。

具體而言，傳統的少樣本學習往往以題目為粒度進行檢索與指導，因此會缺乏解決關鍵推理步驟所需的示例。此外，無關的步驟甚至還對推理有負面影響。

為此，來自上海交通大學，香港中文大學和上海人工智慧實驗室的研究人員提出BoostStep策略，以步驟為粒度對上下文檢索和推理的粒度進行了對齊，透過“首次嘗試”策略為每個推理步驟提供高度相關的ICL示例。

BoostStep提供了更細粒度的指導，避免無關資訊干擾，在不同數學測試集上為GPT-4o帶來4.6%的提升，大幅超過傳統少樣本學習的1.2%。

此外，BoostStep具有傳統少樣本學習不具備的“簡單指導困難”的潛力，僅用MATH資料集簡單示例就能幫助Deepseek-R1-671B模型在美國數學邀請賽（AIME）上獲得2.2%的提升。

△圖1：BoostStep效果與應用場景總覽

動機：傳統的少樣本學習無法有效提升單步推理能力

上下文學習是提升模型數學推理能力常用的策略。

具體而言，引入相似的例題有兩種指導效果，其一是可以給模型提供大致的推理思路，其二是在具體單步推理時提供指引，這也對應模型在解決複雜問題時採用的多步分解，逐一推理策略。

研究人員實驗發現後者是制約當前模型推理的關鍵：給GPT-4o-mini提供標準解答過程，讓其判斷另一段錯誤的解答過程是由於總體推理思路出錯還是具體單步推理有誤。

針對較弱的模型（如LLama-3.1-8B），有91.3%的錯誤是由於單步推理，而到了更加先進的模型（如GPT-4o），這個數字提升到了99.2%這個誇張的比例，說明相較於問題分解，單步推理能力是目前大模型推理的短板。

然而，以題目為粒度的上下文學習很難在單步推理時的指導有限。由於傳統的少樣本學習是以整道題目為粒度進行檢索和引導，無法在更細粒度的步驟層面確保例題和正在進行的推理依然具有強相關性，而這些無關的步驟甚至還會對推理產生負面作用。此外，例題是在推理開始前就提供給模型，因此缺乏在推理過程中的即時指導。

由此，研究人員提出BoostStep策略，將上下文學習中檢索和指導的粒度由整道題目細化到每一個步驟，來確保提供的示例在步驟粒度仍然高度一致。

方法：透過“初次嘗試”策略以步驟為粒度提供指導

想要實驗步驟粒度的上下文學習，需要構建步驟粒度的題庫，並設計出更加合適的檢索策略，以下會對BoostStep的方法進行詳細闡述。

步驟粒度題庫的構建

目前的開源數學資料集往往只包含題目和其對應的完整解答過程，並沒有細分到每一步。某些方法（如PRM800K）透過明確的語義分割，如句號、換行符等將一段完整的解答分割為不同的步驟。這種策略簡潔有效，然而，其並不符合步驟的本質。步驟之所以成為推理的原子粒度，正是由於每一步只負責解決一個很小的目標，包含一個完整的思維過程。而透過語義分隔符會破壞這種原子性，如將一個完整的列舉過程拆成很多步。

由此，研究人員以推理內容本身為依據，透過提示詞讓GPT-4o進行步驟的分解，這種策略保證了分割好的步驟的粒度與未來進行的推理高度一致，從而能夠給出全面而有效的指導。實驗證明這種策略相較於語義分割策略有顯著的優勢，在AMC和MATH評測集上能獲得約3.5%的提升。

“首次嘗試”檢索策略

上下文學習的核心在於檢索到高度相關的例子，因而檢索策略對上下文學習的效果至關重要。傳統以題目為粒度的少樣本學習通常是從題庫中搜索與待測題目最為接近的題目，這種策略簡潔有效，因為相似的題目往往包含相似的解答過程。

然而，到了更加細粒度的步驟粒度，情況則更加複雜。以上一步為檢索根據會搜尋到無關的步驟，這是由於步驟之間具有一定的獨立性，相似的上一步完全可以用於得到截然不同的下一步。而根據之前所有步驟進行檢索又會喪失對當下步驟的突出，無法檢索到最合適的例子。

研究人員認為最準確的預估當下步驟的策略正是讓模型嘗試進行一次推理，並基於此提出了“首次嘗試”的檢索策略。

具體而言，在每一步進行推理時，模型首先進行一次零樣本嘗試，並根據該嘗試從題庫中檢索得到最相似的步驟，在這一步的指導下完成最終的推理。

下圖是一個BoostStep進行首次嘗試、例題查詢與再次推理的具體示例。在首次嘗試時正切公式運用錯誤，但得以精確瞭解當前步驟的推理內容，從而檢索到合適的例子，並在正式推理時正確應用正切公式。

實驗：BoostStep在效能、潛力、泛化等方面均大幅優於傳統的少樣本學習

3.1效能

BoostStep能夠在推理中根據當前的step即時提供更加合適的步驟示例，因而能提供更加有效的引導。BoostStep在不同數學評測集上能夠為GPT-4o和Qwen2.5-Math-72B帶來4.6%與2.2%的進一步提升，遠遠超過傳統題目粒度的少樣本學習。

△圖3：在不同數學評測集與不同基模型上BoostStep的效果均優於傳統少樣本學習

3.2潛力

傳統的少樣本學習很難做到透過簡單的示例提升困難問題上的推理效能，這限制了上下文學習的潛力。而BoostStep透過將引導細分到步驟層級突破了這層限制。藉助MATH資料集中較為簡單的示例，BoostStep能夠幫助最強的推理模型Qwen-QwQ和DeepseekR1在最難的美國數學邀請賽（AIME）上分別獲得平均3.4%和2.2%的提升。

△圖4：BoostStep能夠利用簡單示例提升強推理模型在高難度評測集上的推理效能

3.3 泛化性

傳統的少樣本學習需要提供的例子與待解決的問題高度相似，否則不僅無法提供有效的引導，甚至會對推理帶來負面效果，這大大限制了上下文學習的泛化性。而由於不同的題目仍然可能包含高度相似的步驟，BoostStep可以有效降低對題目相似性的要求，從而大幅提升上下文學習的泛化性。研究人員以MATH中的題目為示例，嘗試指導模型在多模態數學評測集MathVision和MathVerse上的推理。當例題與待解決問題不相似時，傳統的少樣本學習甚至不如直接推理，而BoostStep能夠取得持續可觀的提升。