何愷明團隊新作MeanFlow：單步影像生成SOTA，效能提升高達50％！

2025-06-24 19:01 CVer

點選下方卡片，關注“CVer”公眾號

AI/CV重磅乾貨，第一時間送達
點選進入—>【頂會/頂刊】投稿交流群

新增微訊號：CVer2233，小助手會拉你進群！
掃描下方二維碼，加入CVer學術星球！可以獲得最新頂會/頂刊上的論文idea和CV從入門到精通資料，及最前沿應用！發論文/搞科研/漲薪，強烈推薦！

轉載自：機器之心 ｜編輯：陳萍
這段時間，大神何愷明真是接連不斷地釋出新研究。
這不，5 月 19 日，他又放出一篇新作！作者團隊來自 CMU 以及 MIT。
  • 論文標題：Mean Flows for One-step Generative Modeling 
  • 論文地址：https://arxiv.org/pdf/2505.13447v1
文章提出了一種名為 MeanFlow的單步生成建模框架，透過引入平均速度（average velocity）的概念來改進現有的流匹配方法，並在 ImageNet 256×256 資料集上取得了顯著優於以往單步擴散 / 流模型的結果，FID 分數達到 3.43，且無需預訓練、蒸餾或課程學習。
生成模型旨在將先驗分佈轉換為資料分佈。流匹配提供了一個直觀且概念簡單的框架，用於構建將一個分佈傳輸到另一個分佈的流路徑。流匹配與擴散模型密切相關，但關注的是引導模型訓練的速度場。自引入以來，流匹配已在現代生成模型中得到廣泛應用。
本文提出了一種名為 MeanFlow 的理論框架，用於實現單步生成任務。其核心思想是引入一個新的 ground-truth 場來表示平均速度，而不是流匹配中常用的瞬時速度。
文章提出使用平均速度（在時間間隔內的位移與時間的比值）來代替流匹配中通常建模的瞬時速度。然後本文推匯出平均速度與瞬時速度之間存在一個內在的關係，從而作為指導網路訓練的原則性基礎。
基於這一基本概念，本文訓練了一個神經網路來直接建模平均速度場，並引入損失函式來獎勵網路滿足平均速度和瞬時速度之間的內在關係。
本文進一步證明，該框架可以自然地整合無分類器引導（CFG），並且在取樣時無需額外成本。
MeanFlow 在單步生成建模中表現出了強大的效能。在 ImageNet 256×256 資料集上，僅使用 1-NFE（Number of Function Evaluations）就達到了 3.43 的 FID 分數。這一結果顯著優於之前同類方法的最佳水平，相對效能提升達到 50% 到 70%（見圖 1）。
此外，MeanFlow 是一個自成一體的生成模型：它完全從頭開始訓練，沒有任何預訓練、知識蒸餾或課程學習。該研究大幅縮小了單步擴散 / 流模型與多步研究之間的差距。
方法介紹
MeanFlow 核心思想是引入一個代表平均速度的新場。
平均速度 u 可表示為：
其中，u 表示平均速度，v 表示瞬時速度。u (z_t,r,t) 是一個同時依賴於 (r, t) 的場。u 的場如圖 3 所示：
平均速度 u 是瞬時速度 v 的函式，即

，它是由 v 誘導的場，不依賴於任何神經網路。

進一步的，為了得到適合訓練的公式，本文將 Eq.(3) 改寫為：
然後兩邊對 t 求導，把 r 看作與 t 無關的變數，得到：
其中左側的運算採用乘積法則，右側的運算採用微積分。重新排列項，得到恆等式：
這個方程稱為 MeanFlow 恆等式，它描述了 v 和 u 之間的關係。
圖 1 給出了最小化損失函式的虛擬碼。
單步取樣
實驗效果如何？
實驗是在 256×256 ImageNet 資料集上進行的。
圖 1 中，本文將 MeanFlow 與之前的單步擴散 / 流模型進行了比較，如表 2（左）所示。總體而言，MeanFlow 的表現遠超同類：它實現了 3.43 的 FID，與 IMM 的單步結果 7.77 相比，相對提升了 50% 以上。
如果僅比較 1-NFE（而不僅僅是單步）生成，MeanFlow 與之前的最佳方法（10.60）相比，相對提升了近 70%。不難看出，本文方法在很大程度上縮小了單步和多步擴散 / 流模型之間的差距。
在 2-NFE 生成中，MeanFlow 實現了 2.20 的 FID（表 2 左下）。這一結果與多步擴散 / 流模型的領先基線模型相當，即 DiT （FID 2.27）和 SiT （FID 2.15），兩者的 NFE 均為 250×2（表 2 右）。
這一結果表明，few-step 擴散 / 流模型可以媲美其多步模型。值得注意的是，本文方法是獨立的，完全從頭開始訓練。它無需使用任何預訓練、蒸餾或課程學習，就取得了出色的結果。
表 3 報告了在 CIFAR-10（32×32）上的無條件生成結果，本文方法與先前的方法相比具有競爭力。
表 1 為消融實驗結果：
最後，展示一些 1-NFE 的生成結果。
更多詳情請參閱原論文。

何愷明在MIT授課的課件PPT下載
在CVer公眾號後臺回覆：何愷明，即可下載本課程的所有566頁課件PPT！趕緊學起來！

CVPR 2025 論文和程式碼下載

在CVer公眾號後臺回覆：CVPR2025，即可下載CVPR 2025論文和程式碼開源的論文合集

ECCV 2024 論文和程式碼下載

在CVer公眾號後臺回覆：ECCV2024，即可下載ECCV 2024論文和程式碼開源的論文合集
CV垂直方向和論文投稿交流群成立
掃描下方二維碼，或者新增微訊號：CVer2233，即可新增CVer小助手微信，便可申請加入CVer-垂直方向和論文投稿微信交流群。另外其他垂直方向已涵蓋：目標檢測、影像分割、目標跟蹤、人臉檢測&識別、OCR、姿態估計、超解析度、SLAM、醫療影像、Re-ID、GAN、NAS、深度估計、自動駕駛、強化學習、車道線檢測、模型剪枝&壓縮、去噪、去霧、去雨、風格遷移、遙感影像、行為識別、影片理解、影像融合、影像檢索、論文投稿&交流、PyTorch、TensorFlow和Transformer、NeRF、3DGS、Mamba等。
一定要備註：研究方向+地點+學校/公司+暱稱（如Mamba、多模態學習或者論文投稿+上海+上交+卡卡），根據格式備註，可更快被透過且邀請進群

▲掃碼或加微訊號: CVer2233，進交流群
CVer計算機視覺（知識星球）人數破萬！如果你想要了解最新最快最好的CV/DL/AI論文、實戰專案、行業前沿、從入門到精通學習教程等資料，一定要掃描下方二維碼，加入CVer知識星球！最強助力你的科研和工作！

▲掃碼加入星球學習
▲點選上方卡片，關注CVer公眾號
整理不易，請點贊和在看


相關文章