影像生成迎來CoT時刻！港中文首次提出文生圖的o1推理和inferencescaling新正規化

2025-05-18 12:34 PaperWeekly

隨著 OpenAI o1 向社群展示了思維鏈 Chain-of-Thought（CoT）對於大模型推理能力的強大提升，各種基於強化學習 RL 和提升 test-time 推理成本的方案已經在大模型理解領域取得了很大的進展。

然而，在影像生成（Image Generation）領域，例如文生圖（Text-to-Image）與文生影片（Text-to-Video），我們是否也可以借鑑 CoT 相關的策略，來提升圖片或影片的質量和文字一致性呢？ 
來自香港中文大學、北京大學、和上海 AI Lab 的研究者們透過 Verify 和 Reinforce 的方案，系統地探索了“CoT 推理+文生圖”的結合與潛力。研究結果表明，這些方法能夠有效提升自迴歸（Autoregressive）影像生成的質量。
作者也提出了兩種專門針對該任務的新型獎勵模型——潛力評估獎勵模型（Potential Assessment Reward Model, PARM） 及其增強版本  PARM++，後者引入了反思機制（Reflection Mechanism），進一步優化了影像生成質量。
論文標題：
Can We Generate Images with CoT? Let’s Verify and Reinforce Image Generation Step by Step
論文連結：
https://arxiv.org/pdf/2501.13926

程式碼連結：
https://github.com/ZiyuGuo99/Image-Generation-CoT

研究背景與挑戰
目前，CoT 推理已廣泛應用於大語言模型（LLM）和多模態大模型（LMM），尤其在數學推理、科學計算等任務上展現出卓越的能力。然而，在自迴歸影像生成任務中，如何有效地驗證（Verify）和強化（Reinforce）影像生成過程，仍是一個尚未解決的問題。
下圖左邊部分是目前領域使用“CoT 推理+解數學題”的方案概述，而右邊部分則是本文對於“CoT 推理+文生圖”的全面探索。研究團隊觀察到，自迴歸影像生成與 LLM/LMM 具有類似的推理架構，即： 
1. 離散化 Token 表示：無論是語言還是影像資料，自迴歸模型都將其量化為離散 Token，並透過逐步預測的方式進行生成。 
2. 逐步解碼（Step-by-Step Decoding）：類似於 CoT 在數學問題上的逐步推理，自迴歸影像生成也可以逐步生成中間影像，並在生成過程中進行驗證與最佳化。

CoT如何應用於影像生成？

考慮到 Autoregressive 影像生成和 LLM 在資料表徵和推理架構的相似性，論文調研了包括使用 ORM 和 PRM 的 Test-time Verification、構造 Preference Ranking Data、和透過 DPO 進行偏好對齊等方案，首次證明了“CoT+文生圖”的可行性！
本文也提出了兩種新型的 reward model，PARM 和 PARM++，來最佳化影像生成質量。如下圖所示，透過本文探索的推理策略，大幅度提升了 Autoregressive Image Generation 的效果。

具體方案

本文的探索以“文生圖”為任務場景，並使用了 Show-o 來作為 baseline 模型，主要分為 3 個部分： 
3.1 測試時驗證（Test-time Verification） 
首先，論文探索如何使用獎勵模型（Reward Model, RM） 來進行 Test-time Verification，實現了 Outcome Reward Model（ORM，下圖左邊部分）和 Process Reward Model（PRM，下圖中間部分）方案，並在兩者的基礎上提出了一種全新的針對於影像生成任務的 Potential Assessment Reward Model（PARM，下圖右邊部分）。

3.1.1 結果獎勵模型（Outcome Reward Model, ORM）

論文提出了 2 種方案，均使用 Best-of-N 的方式進行驗證，即進行多次完整路徑的生成，並從中選擇出質量最高的最終圖片。 
Zero-shot ORM：基於 LLaVA-OneVision 強大的影像理解能力，作者使用了其 7B 模型，直接作為 zero-shot ORM 使用，並透過下面的 prompt 來激發其作為文生圖質量評估的能力：
Fine-tuned ORM：為了進一步增強 ORM 的專業效能，作者也構建了大規模的圖文 reward data 來得到 fine-tuned ORM，資料形式如下圖所示：
3.1.2 過程獎勵模型（Process Reward Model, PRM）
作者使用了類似 ORM 的方案，同樣嘗試了 Zero-shot 和 Fine-tuned 兩種方案，並對每個 step 進行 Best-of-N 的方案，即逐步選擇出質量最高的中間階段的生成圖片。
然而，作者發現這種 naive 的 PRM 無法對影像生成有顯著的提升。透過視覺化，作者發現：PRM 在早期生成階段由於影像模糊而難以評估，而在後期生成階段不同路徑的圖片趨於相似，導致辨別能力受限，如下圖所示。
3.1.3 潛力評估獎勵模型（Potential Assessment Reward Model, PARM）
為了同時結合 ORM 的簡潔和有效性，以及 PRM 細粒度逐個 step 驗證的思想，作者提出了一個專門針對 Autoregressive 影像生成任務的 reward model：Potential Assessment Reward Model（PARM）。PARM 透過以下三步提升影像生成質量： 
1. 清晰度判斷（Clarity Judgment）：識別哪些中間步驟的影像已經足夠清晰，可用於後續評估。 
2. 潛力性評估（Potential Assessment）：分析當前步驟是否有潛力生成高質量的最終影像。 
3. 最佳選擇（Best-of-N' Selection）：在高潛力路徑中選擇最佳的最終影像。
3.1.4 潛力評估獎勵模型++（Potential Assessment Reward Model++，PARM++）
如下圖所示，在 PARM 的基礎上，作者提出了 PARM++，使模型能夠在生成錯誤時進行自我修正。
具體來說，基於 PARM 選出的最終圖片，作者首先使用 PARM++ 評估生成圖片是否符合文字描述；若圖片不符合要求，會要求 RM 提供詳細的錯誤描述，並根據該描述，要求生成模型進行自我修正（Self-correction），即模型接收反饋，並參考錯誤資訊重新生成結果。
結果表明，PARM++ 進一步提升 GenEval +10%。如下圖右邊所示，生成結果在物體數量、顏色、空間關係等方面更加準確。

3.2 直接偏好最佳化（Direct Preference Optimization, DPO）Alignment
作者進一步引入 DPO 偏好對齊，即使用大規模排名資料訓練模型，使其生成結果更符合人類偏好。研究團隊構建了 288K 條圖文排名資料（Text-to-Image Ranking Data）用於訓練。具體來說，訓練過程是採用最大似然最佳化，調整模型輸出，使其更偏向人類偏好。
同時，論文也進一步使用迭代 DPO（Iterative DPO），在模型最佳化後重新生成新資料進行再次訓練。結果表明，初次 DPO 訓練使模型在 GenEval 效能提升 +9%，而迭代 DPO 進一步提高至 +12%，超越 Fine-tuned ORM。
3.3 Test-time Verification + DPO Alignment
在前述兩種方法的基礎上，作者探索了將 Test-time Verification 與 DPO 對齊相結合的策略，以實現端到端的最佳化。在 DPO 訓練的模型基礎上，進一步應用 Test-time Verification 進行篩選，使生成影像質量更高，文字一致性更強。
實驗結果表明，結合 DPO 和 Test-time Verification 後，模型在 GenEval 指標上的整體提升達 +27%，超越單獨使用 DPO 或 Test-time Verification 的方案。
總體效果對比
4.1 推理準確性表現
下表展示了模型在 GenEval 基準上的總體效能比較，相比於現有的擴散模型和自迴歸模型，結果證明了在文字生成影像任務中使用 CoT 推理策略的潛力。
結論
本研究首次系統性探索了 CoT 推理策略在自迴歸影像生成中的適應性及潛力。透過全面的實驗分析證明了不同的推理策略（如測試時驗證、偏好對齊及其結合）能夠有效提升影像生成質量。
基於這些觀察，本文進一步提出了兩種專門針對自迴歸影像生成的獎勵模型——潛在評估獎勵模型（PARM）和 PARM++，前者能夠對逐步生成過程進行自適應獎勵評分，後者則結合了反思機制（Self-reflection），實現自我修正的影像生成。
實驗結果表明，CoT 推理在自迴歸影像生成任務中展現出了巨大的潛力，為該領域的發展開闢了新的方向, 也為大模型推理能力的進一步提升奠定了基礎！
更多閱讀

#投 稿 通 道#
 讓你的文字被更多人看到 
如何才能讓更多的優質內容以更短路徑到達讀者群體，縮短讀者尋找優質內容的成本呢？答案就是：你不認識的人。
總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋樑，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發出更多的可能性。 
PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優質內容，可以是最新論文解讀，也可以是學術熱點剖析、科研心得或競賽經驗講解等。我們的目的只有一個，讓知識真正流動起來。
📝 稿件基本要求：
• 文章確係個人原創作品，未曾在公開渠道發表，如為其他平臺已發表或待發表的文章，請明確標註 
• 稿件建議以 markdown 格式撰寫，文中配圖以附件形式傳送，要求圖片清晰，無版權問題
• PaperWeekly 尊重原作者署名權，並將為每篇被採納的原創首發稿件，提供業內具有競爭力稿酬，具體依據文章閱讀量和文章質量階梯制結算
📬 投稿通道：
• 投稿郵箱：[email protected] 
• 來稿請備註即時聯絡方式（微信），以便我們在稿件選用的第一時間聯絡作者
• 您也可以直接新增小編微信（pwbot02）快速投稿，備註：姓名-投稿
△長按新增PaperWeekly小編
🔍
現在，在「知乎」也能找到我們了
進入知乎首頁搜尋「PaperWeekly」
點選「關注」訂閱我們的專欄吧
·
·
·

相關文章