夢晨 發自 凹非寺量子位 | 公眾號 QbitAI
一個7B獎勵模型搞定全學科，大模型強化學習不止數學和程式碼。
o1/r1的強化學習很強，但主要探索了數學和程式碼領域，因為這兩個領域的資料結構化程度高，獎勵函式/獎勵模型比較好設計。
那麼，想提升大模型在其他學科領域的能力該怎麼辦？
騰訊&蘇州大學團隊提出新框架RLVR，將強化學習訓練擴充套件到醫學、化學、法律、心理學、經濟學等多學科。
RLVR使用基於生成模型的軟獎勵，與傳統基於二元規則的獎勵相比，在泛化、穩健性和可擴充套件性方面有顯著的提升。
除論文外，還開源了獎勵模型和多學科資料集。
7B獎勵模型搞定全學科
研究基於一個有趣的發現：當任務有客觀參考答案時，不同大型語言模型在做二元判斷(正確/錯誤)時表現出高度一致性。
這或許意味著，並不需要在每個領域都訓練一個大規模的獎勵模型。相反，直接用現成的大語言模型來充當驗證器就能有效。
像這樣的二元獎勵雖然簡單直接，但在參考答案缺乏結構化的領域又不直接適用。
於是研究團隊進一步引入基於模型的軟獎勵（model-basedsoft scroing），相比直接給出0或1的二元硬標籤，軟獎勵根據生成式驗證器判斷的置信度打分，有了更高的靈活性。
受啟發於“大模型判斷高度一致”的發現，團隊用72B引數的Qwen2.5-Instruct蒸餾出一個7B的獎勵模型。蒸餾過程不需要領域特定的標註，完全依靠線上探索階段採集的資料進行訓練。
整個過程分為3步流水線：
實驗資料從ExamQA中隨機取樣了6000個問題，廣泛分佈於理工人文各學科。
實驗對比基礎模型（Base）、微調基礎模型（SFT）、基於規則的RL、使用SFT模型作為驗證器，以及本文蒸餾的RM-7B模型作為驗證器的多種方法，有以下結論：
-
RM-7B在自由形式答案任務中表現出色 -
基於模型的獎勵在處理非結構化參考答案場景中優於基於規則的獎勵 -
軟獎勵在處理多學科任務中，面對複雜判斷時比二元獎勵表現更好
此外實驗還驗證了基於模型的獎勵在資料量增加時可擴充套件性更好。
在討論部分，作者指出本研究中未使用思維鏈推理（CoT），雖然CoT在有參考和無參考的場景中都有用，但對於評估同語言的參考答案和模型響應之間的語義等價性，深入的推理依據是否必要仍有待研究。此外，在RLVR的過程獎勵建模中，當中間步驟缺乏直接監督時，如何分配獎勵也是一個開放問題。
本研究也不對參考答案或模型響應設定格式約束，這樣做好處是減少了資料標準化和模式設計的人力投入，但格式相關約束和獎勵在這種情況下的作用仍需重新審視。
One More Thing
論文作者騰訊塗兆鵬發帖介紹了這篇文章，探討強化學習是否可以擴充套件到數學和編碼任務之外。
評論區有網友指出很有可能成立，因為不同的訓練方法可以看成有不同邊界條件的學習空間。
塗兆鵬也認為這個視角與RLVR方法的觀點一致。
論文地址：https://arxiv.org/abs/2503.23829
HuggingFace：https://huggingface.co/collections/virtuoussy/rlvr-67ea349b086e3511f86d1c1f
參考連結：[1]https://x.com/tuzhaopeng/status/1906975869538914570
一鍵星標