一秒十圖！英偉達MIT聯手重新整理SOTA，一步擴散解鎖即時高質量可控影像生成

2025-04-22 00:03 新智元

新智元報道  

編輯：LRS 好睏
【新智元導讀】SANA-Sprint是一個高效的蒸餾擴散模型，專為超快速文字到影像生成而設計。透過結合連續時間一致性蒸餾（sCM）和潛空間對抗蒸餾（LADD）的混合蒸餾策略，SANA-Sprint在一步內實現了7.59 FID和0.74 GenEval的最先進效能。SANA-Sprint僅需0.1秒即可在H100上生成高質量的1024×1024影像，在速度和質量的權衡方面樹立了新的標杆。
擴散生成模型通常需要50-100次迭代去噪步驟，效率很低，時間步蒸餾技術可以極大提高推理效率，「基於分佈的蒸餾」方法，如生成對抗網路GAN及其變分分數蒸餾VSD變體，以及「基於軌跡的蒸餾方法」（如直接蒸餾、漸進蒸餾、一致性模型）可以實現10-100倍的影像生成加速效果。
但仍然存在一些關鍵難點，比如基於GAN的方法由於對抗動態的振盪特性和模式坍塌問題，訓練過程不穩定；基於VSD的方法需要聯合訓練一個額外的擴散模型，增加了計算開銷；一致性模型雖然穩定，但在極少數步驟（例如少於4步）的情況下，生成質量會下降。
如何開發一個能夠兼顧效率、靈活性和質量的蒸餾框架成了模型部署的關鍵。
論文地址：https://arxiv.org/pdf/2503.09641
專案主頁：https://nvlabs.github.io/Sana/Sprint/
基於OpenAI提出的連續時間一致性模型（sCM）的方法，研究人員提出SANA-Sprint，進一步結合了LADD的對抗蒸餾技術，幫助模型在蒸餾過程中更好地保留細節資訊，從而實現超快速且高質量的文字到影像生成，同時避免了離散化帶來的誤差，保留了傳統一致性模型的優勢。
SANA-Sprint的核心在於其創新的混合蒸餾框架和對ControlNet的整合，主要貢獻包括：
  1. 混合蒸餾框架：設計了一種新穎的混合蒸餾框架，將預訓練的流匹配模型無縫轉換為TrigFlow模型，集成了連續時間一致性模型（sCM）和潛在對抗擴散蒸餾（LADD）。
    sCM確保了模型與教師模型的一致性和多樣性保留，而LADD則增強了單步生成的保真度，從而實現了統一的步長自適應取樣。
  1. 卓越的速度/質量權衡：SANA-Sprint僅需1-4步即可實現卓越的效能。在H100上，SANA-Sprint僅需0.10-0.18秒即可生成1024×1024的影像，在MJHQ-30K資料集上實現了7.59的FID和0.74的GenEval分數，超越了FLUX-schnell（7.94FID/0.71GenEval），速度提升了10倍。
  1. 即時互動式生成：透過將ControlNet與SANA-Sprint整合，實現了在H100上僅需0.25秒的即時互動式影像生成。這為需要即時視覺反饋的應用（如ControlNet引導的影像生成/編輯）提供了可能，實現了更好的人機互動。
SANA-Sprint不僅在速度和效能上表現出色，生成的影像質量也非常高。
SANA-Sprint
SANA-Sprint方法主要包括以下四個關鍵步驟：

1. 無訓練轉換到TrigFlow

研究人員提出了一種簡單的方法，透過直接的數學輸入和輸出轉換，將預訓練的流匹配模型轉換為TrigFlow模型。這使得可以直接使用已有的預訓練模型，無需額外的TrigFlow模型的訓練。
動機是，雖然sCM使用TrigFlow公式簡化了連續時間一致性模型的訓練，但大多數基於分數的生成模型（如擴散模型和流匹配模型）並不直接支援TrigFlow。
為了克服這一挑戰，SANA-Sprint提出了一種無需重新訓練的轉換方法，透過數學變換將流匹配模型轉換TrigFlow模型，從而避免了複雜的額外演算法設計和額外的計算成本。

2. 混合蒸餾策略

混合蒸餾策略結合了sCM和LADD兩種蒸餾方法。sCM利用TrigFlow的公式簡化了連續時間一致性模型的訓練，而LADD則透過對抗訓練在潛在空間中直接進行判別，進一步提升了生成質量。

3. 穩定訓練的關鍵技術

  1. 密集時間嵌入（Dense Time-Embedding）：為了穩定連續時間一致性模型的訓練，SANA-Sprint採用了密集時間嵌入設計。透過將噪聲係數

    調整為

    Query-Key歸一化（QK-Normalization）：在Transformer模型的自注意力和交叉注意力機制中引入了RMS歸一化，進一步穩定了訓練過程，尤其是在大模型和高解析度場景下。

    1. 4. 整合ControlNet

將SANA-Sprint的訓練流程應用於ControlNet任務，利用影像和文字提示作為條件，實現了SANA-ControlNet模型，並透過蒸餾得到SANA-Sprint-ControlNet，支援即時的影像編輯和生成。
實驗結果
研究人員採用了兩階段的訓練策略，詳細的設定和評估協議在論文附錄中進行了概述。
教師模型透過剪枝和微調SANA-1.5 4.8B模型得到，然後使用文中提出的訓練正規化進行蒸餾，使用包括FID、MJHQ-30K上的CLIP Score和GenEval在內的指標評估效能。
實驗結果表明，SANA-Sprint在速度和質量方面均達到了最先進的水平。
  1. 效率與效能對比：在4步推理下，SANA-Sprint 0.6B實現了5.34個樣本/秒的吞吐量和0.32秒的延遲，FID為6.48，GenEval為0.76；SANA-Sprint 1.6B 的吞吐量略低（5.20個樣本/秒），但GenEval提升至0.77，優於更大的模型如FLUX-schnell 12B，其吞吐量僅為0.5個樣本/秒，延遲為2.10秒。
  2. 單步生成效能：SANA-Sprint在單步生成方面也表現出色，實現了7.59的FID和0.74的GenEval分數，超越了其他單步生成方法。
  3. 即時互動式生成：整合ControlNet的SANA-Sprint模型在H100上實現了約200毫秒的推理速度，支援近乎即時的互動。
結論與展望
SANA-Sprint是一款高效的擴散模型，用於超快速的單步文字到影像生成，同時保留了多步取樣的靈活性。透過採用結合了連續時間一致性蒸餾（sCM）和潛在對抗蒸餾（LADD）的混合蒸餾策略，SANA-Sprint在一步內實現了7.59的FID和0.74的GenEval分數，無需針對特定步驟進行訓練。
該統一的步長自適應模型僅需0.1秒即可在H100上生成高質量的1024×1024影像，在速度和質量的權衡方面樹立了新的標杆。
展望未來，SANA-Sprint的即時反饋特性將為即時互動應用（如響應迅速的創意工具和AIPC）開啟新的可能性。
參考資料：
https://nvlabs.github.io/Sana/Sprint/

相關文章