OpenAI沒做到，DeepSeek搞定了！開源引爆推理革命

新智元報道

編輯：KingHZ

【新智元導讀】100多天前，DeepSeek-R1憑藉低訓練成本，名噪一時。而強化學習演算法GRPO，是背後最大的功臣之一。然而，開源界對強化學習演算法的探索並沒有終結。

DeepSeek-R1引爆了LLM推理革命。

至今，過去一百多天了，引發了持續複製DeepSeek-R1的熱潮。

DeepSeek-R1的秘籍在於強化學習微調演算法：群體相對策略最佳化（Group Relative Policy Optimization，GRPO）。

未來，LLM的訓練將不再是單純的資料訓練，而是將推理能力作為標準流程。

那為什麼強化學習能提高LLM的推理能力？

DeepSeek-R1的GRPO，有哪些身前身後事？

在後DeepSeek-R1時代，GRPO又引發了哪些奇思妙想？

什麼是推理模型？

首先要面對的核心問題是：什麼是推理？

簡單來說，推理是一種透過推導和訓練手段，使大語言模型（LLMs）更擅長處理複雜任務的能力。

技術一點的說法是：

推理是指LLM在給出最終答案之前，能先生成一系列中間步驟的能力。

這個過程通常被稱為「思維鏈」（Chain-of-Thought，簡稱CoT）推理。

在CoT推理中，模型會顯式地生成一系列結構化的陳述或計算步驟，來說明它是如何得出結論的。

下圖展示了這一定義及其示意。

大語言模型（LLM）處理多步驟推理任務示意圖

在多步驟推理任務，與直接回憶某個事實不同，推理模型需要結合多箇中間推理步驟，才能得出正確的結論。

這些中間推理步驟是否展示給使用者，取決於具體的實現方式。

LLM強化學習黑話小抄

RLHF基礎：一切的起點

用於構建和最佳化推理模型的強化學習（RL）訓練方法，基本上都與人類反饋強化學習（RLHF）有關——

這也是目前用來開發和對齊傳統大語言模型（LLMs）的主流手段。

因此，在深入討論基於強化學習的推理最佳化方法之前，我們先簡要回顧一RLHF是如何工作的。

傳統LLM的三階段訓練流程：

預訓練（Pre-training）：使用大規模語料讓模型學習通用語言模式和知識。
監督微調（Supervised Fine-tuning）：用人工標註的任務資料進一步訓練模型，讓AI更擅長完成具體任務。
對齊階段（Alignment，通常透過RLHF）：讓模型更符合人類偏好，提升互動體驗與安全性。

RLHF訓練流程會從預訓練模型開始，然後透過監督學習進行微調。

這一步還不屬於強化學習，而是為後續的RL打下基礎的前置步驟。

接下來，RLHF會使用強化學習演算法，進一步對LLM進行對齊。

這是本文的重點。

整個RLHF流程分為三大步驟：

RLHF第一步（前置步驟）：監督微調預訓練模型

這一步的目標是透過人工標註的資料對模型進行有監督學習，構建一個適合後續RLHF微調的基礎模型

RLHF第二步：構建獎勵模型（Reward Model）

收集多個回答並讓人類標註哪一個更好，以此訓練一個模型，能夠根據輸出內容給出高或低的「獎勵分數」。

RLHF第三步：強化學習微調

使用獎勵模型的評分結果作為獎勵訊號，利用PPO等演算法更新語言模型的策略，使其輸出更符合人類偏好。

RLHF第一步要建立或從已有資料集中取樣一批提示語（prompts），然後由人類標註者為這些提示語編寫高質量的參考回答。

接著，我們使用這些人工標註的資料對預訓練語言模型進行監督微調（SFT）。

正如前面提到的，這一步並不屬於強化學習，而是作為後續RLHF微調的前置準備。

RLHF第二步將第一步微調後的模型用於構建一個獎勵模型（Reward Model）。如下圖所示：

我們讓人類對多個模型生成的回答進行排序，然後用這些排序資料來訓練獎勵模型，讓它能根據回答的質量輸出相應的評分。

這個獎勵模型將在接下來的強化學習微調中，作為模型行為的評估依據。

RLHF第三步（也是最後一步）使用在第二步中訓練好的獎勵模型，為模型生成的回答打分，然後基於這些評分，使用近端策略最佳化（PPO）等演算法對SFT模型進行強化學習微調。

這是強化學習發揮作用的地方。

透過強化學習，模型會逐步調整其輸出策略，使其更傾向於生成高獎勵（即更符合人類偏好）的回答，從而實現真正的人類反饋對齊訓練。

OpenAI的PPO

一開始，RLHF採用的是近端策略最佳化PPO。

PPO在架構中使用了四個不同的語言模型：

一個策略模型（正在訓練的模型）、

一個參考模型（原始模型的凍結副本）、

一個獎勵模型（基於人類偏好進行訓練）

和一個值模型（估計長期獎勵）。

這些模型都包含需要反向傳播來最佳化的可訓練引數，這消耗大量的GPU記憶體和計算週期，使得訓練過程變得笨重且昂貴。

監督學習能夠快速定義損失函式，且通常無需大量超引數調整。整個過程直觀、穩定、可控。

但在強化學習中，成功的路徑就不那麼明確了：

強化學習演算法往往包含許多相互依賴的模組，除錯困難。

而且要想獲得良好結果，通常需要投入大量的精力進行調參和結構調整。

這也是PPO被廣泛採用的原因之一——

它在實現簡便性、樣本效率和調參難度之間取得了較好的平衡。

PPO的核心思想是：

在每一步中計算一次策略更新，既能最小化代價函式，又能確保新策略與舊策略之間的偏差不會過大。

OpenAI提出了全新目標函式，增強了PPO演算法的穩定性和實用性。

其主要公式如下：

其中：

(q,a)是資料分佈D中的一個問答對。
πθ表示新策略模型輸出的機率。
行為策略πθold表示舊策略模型的輸出機率。
πθ/πθold是重要性取樣比（importance ratio），主要用於確保新舊模型的分佈不會相差太大。
ε是用於裁剪重要性比值的引數，用來限制模型分佈的變化，防止變化過大或過小。
^A_t是優勢函式（advantage function），主要來源於獎勵模型和價值模型的評分。
R_l是獎勵模型的評分。
V是價值模型的評分。

圖1：在RL訓練過程中，應用Clip-Higher策略前後，AIME測試集上的準確率和演員模型生成機率的熵對比

圖1展示了在使用與不使用裁剪引數的情況下，模型在AIME資料集上的表現和生成的熵值對比；可以明顯看到，加入裁剪引數後，模型效能和熵值都有顯著提升。

DeepSeek的GRPO

傳統PPO訓練方法往往代價高昂，需要消耗大量GPU計算時數，導致訓練成本居高不下，實際應用門檻遠超個人開發者和小型研究團隊的承受範圍。

突破性進展來自DeepSeek。

他們推出了PPO演算法的改進「平替版本」GRPO：

在提升數學推理能力的同時，顯著最佳化了PPO的記憶體使用效率。

DeepSeek-R1訓練流程

創新的核心動機在於提升計算效率。

該效率提升主要透過以下方式實現：

剔除「評論家」（價值模型）：即傳統用於計算價值函式（預期未來收益）的大語言模型元件

採用相對質量評估：透過對策略模型本身生成的多組答案進行質量對比，直接計算優勢函式，取代傳統依賴額外模型估算獎勵的方法

這一創新顯著降低了訓練推理模型的計算需求，即使是「GPU資源匱乏」的團隊，也能開發出複雜的推理能力。

其公式如下：

GRPO的主要變化包括：

每個提示語（prompt）取樣多次形成一個組，然後使用該組中獎勵值的標準化結果作為優勢值。
引入KL散度作為正則項，對策略變化加以限制。
由於GRPO主要用於數學或邏輯推理類問題，它使用的獎勵模型也是基於規則的。例如：

其中，y是標準答案，y^是預測答案。

GRPO的開源升級版：DAPO

然而，當前頂尖推理型大模型的關鍵技術細節（如OpenAI的o1技術部落格和DeepSeek-R1技術報告中的內容）仍處於黑箱狀態，導致學術界難以復現他們強化學習訓練成果。

於是，開源的解耦裁剪與動態取樣策略最佳化（Decoupled Clip and Dynamic sAmpling Policy Optimization，DAPO）問世了。

DAPO為每個與答案a配對的問題q取樣一組輸，並透過以下目標函式最佳化策略：

DAPO包含以下幾個關鍵技術點：

Clip-Higher（高限裁剪）：提升系統多樣性，避免熵崩潰。在策略梯度損失中提高重要性取樣比率（importance sampling ratio）的上裁剪限值，以緩解該問題。
Dynamic Sampling（動態取樣）：提升訓練效率與穩定性。動態取樣策略可以過濾掉準確率為1或0的提示組（prompt groups），並在各批次中保持有效梯度提示的數量一致。
Token-level Policy Gradient Loss（Token級策略梯度損失）：在長鏈思維推理（long-CoT）強化學習場景中至關重要。
Overlong Reward Shaping（過長獎勵重塑）：降低獎勵噪聲，穩定訓練過程。