MLNLP

社群是國內外知名的機器學習與自然語言處理社群，受眾覆蓋國內外NLP碩博生、高校老師以及企業研究人員。

社群的願景是促進國內外自然語言處理，機器學習學術界、產業界和廣大愛好者之間的交流和進步，特別是初學者同學們的進步。

來源 | 新智元

今天給大家重磅推薦一個突破性的視覺強化微調開源專案 —— Visual-RFT (Visual Reinforcement Fine-Tuning)。

論文地址: https://arxiv.org/abs/2503.01785
程式碼地址: https://github.com/Liuziyu77/Visual-RFT

視覺強化微調 Visual-RFT 將 DeepSeek-R1 背後的基於規則獎勵的強化學習方法和 OpenAI 的強化微調（Reinforcement Fine-Tuning，RFT）正規化成功從純文字大語言模型拓展到了視覺語言大模型（LVLM）。透過針對視覺的細分類、目標檢測等任務設計對應的規則獎勵，Visual-RFT 打破了 DeepSeek-R1 方法侷限於文字、數學推理、程式碼等少數領域的認知，為視覺語言模型的訓練開闢了全新路徑！

圖 1 用一張包含許多寶可夢的圖片展示了這一過程，當透過多模態強化微調 Visual-RFT 訓練的模型被提問什麼寶可夢可以釋放技能十萬伏特時，模型透過 < think > 推理過程準確找出皮卡丘對應的座標框，展示出模型的泛化能力。

圖 1. Visual-RFT 首次實現將強化微調能力遷移到多模態模型中，只需 10～1000 條資料就能透過思考過程和基於規則的監督提升多模態大模型的效能

從 R1 到 Visual-RFT：強化學習的多模態突破

OpenAI o1 主打的強化微調能力（Reinforcement Fine-Tuning）能只用少量樣本就將 o1 遷移到新的任務上。最近 DeepSeek-R1 解釋了 o1 模型背後的強推理能力來自基於可驗證獎勵（Verified Rewards）/ 規則獎勵（Rule-based Verifier）的強化學習策略。不過，目前主流的認知在於這種基於規則獎勵的方法只適用於數學推理、程式碼等少數便於驗證的任務。我們在 Visual-RFT 中，將這一策略遷移到了視覺語言模型。透過對細分類、目標檢測等任務建立對應的可驗證規則獎勵，我們解決了傳統方法在視覺領域中的侷限性，只需少量微調樣本就實現了更高效、泛化性更強的視覺理解與推理能力。

傳統的視覺指令微調（Visual Instruction Tuning/Supervised Fine-Tuning，SFT）需要海量資料對模型微調，在資料量有限（例如某些難以收集資料的特定學科場景）的情況下帶來的提升有限。我們提出的視覺強化微調（Visual Reinforcement Fine-Tuning）具有少樣本學習能力和更強的泛化性，在資料量有限的場景下相比指令微調具有很大的優勢。

為驗證 Visual-RFT（視覺強化微調）的泛化能力和普適性，力求對視覺領域的全面覆蓋，我們在多個視覺感知任務上對 Visual-RFT 進行驗證，包含 Detection，Classification，Grounding 等。其中，Visual-RFT 在 open vocabulary，few-shot learning 等設定下，僅僅透過非常少量的資料就取得了顯著的效能提升，輕鬆實現能力的遷移，且結果明顯優於 SFT 的微調方法。在 reasoning grounding (推理定位) 的測試中，Visual-RFT 展現出強大的視覺推理能力。評測結果如圖二所示，詳細實驗資訊歡迎參見論文。

圖 2. Visual-RFT（視覺強化微調）在各種任務上顯著超越 SFT：包括目標檢測（OD），開放目標檢測（OVD），少樣本檢測與分類（FSOD/IC），推理定位（Reasoning Grounding）

圖 3. 框架圖：Visual-RFT（視覺強化微調）透過 IoU 和 cls 獎勵和強化學習策略（例如 GRPO）更新模型引數

為了在視覺多模態領域驗證可驗證獎勵的作用，我們提出了使用基於 IoU 的 verified reward 獎勵應用於 detection 和 grounding 等任務，使用基於分類正確判斷的 cls reward 用於 classification 任務（如圖三所示）。

圖 4. 部分推理定位結果展示，透過引入思考過程和強化學習策略 Visual-RFT（多模態強化微調）顯著超越 SFT，更加準確地定位物體。

圖 5. 部分推理細粒度分類結果展示，透過引入思考過程和強化學習策略，（多模態強化微調）Visual-RFT 顯著超越 SFT，更加準確地定位物體。

部分模型輸出結果展示如圖 4 和圖 5 所示，相比於傳統的視覺指令微調（Visual Instruction/Supervised Fine-Tuning），Visual-RFT（視覺強化微調）透過強化學習方法，對問題進行深入的 think 分析取得更佳推理效能，相較於傳統的指令微調（SFT）方法取得顯著提升。如詢問模型圖中的運動員在水下依然保持清晰的視野需要帶什麼物體時，透過傳統指令微調的方法模型直接將整個運動員框出。而 Visual-RFT 透過引入推理過程準確地指出防水眼鏡及其所在的位置並準確框出。

Visual-RFT 實驗結果

Visual-RFT（視覺強化微調）在各大圖文感知任務中均展現出強大的效能。我們的實驗主要基於視覺語言大模型基座 QWen2-VL 2B/7B 模型，和傳統的監督微調（Supervised Fine-Tuning）方法進行對比。在開放目標檢測，少樣本檢測，細粒度分類和推理定位任務上 Visual-RFT 相比 SFT 全面實現了效能提升。值得一提的是，我們的測試資料既包含 COCO、LVIS 等通用場景，又包含從網際網路中收集的卡通人物等開放場景資料。只需要幾十條資料，模型透過 Visual-RFT 可以學會檢測某動漫中的史萊姆形象。實驗結果廣泛驗證了 Visual-RFT 的卓越效能和魯棒性。