©PaperWeekly 原創 · 作者 | 汪遠
單位 | 中國科學技術大學
研究方向 | 影像生成
當前，AI 影像生成技術迅猛發展，各類圖文生成模型讓使用者能憑藉簡單文字描述創作出精美的影像。然而，這也引發了諸多問題，比如有人藉此剽竊藝術風格、醜化 IP 角色和名人，甚至生成不安全影像。如何以低成本且高效的方式，精準快速地從生成影像中去除這些不想要的概念，成為亟待解決的難題。
這一概念擦除任務有兩個關鍵要求：一是擦除效果，需在生成過程中徹底清除與目標概念相關的語義；二是先驗保護，即擦除目標概念時儘量不影響無關概念的生成。但現有方法難以平衡二者。
為此，中國科學技術大學聯合曼徹斯特大學等機構的研究團隊，提出了一種名為自適應值分解器（AdaVD）的 training-free 方法。在無需額外訓練的前提下，它實現了對目標概念的精準擦除，同時最大程度地保護了先驗知識，相較於現有 SOTA 方法，先驗保護能力提升 2 到 10 倍。該成果已被 CVPR2025 接收。
論文標題：
Precise, Fast, and Low-cost Concept Erasure in Value Space: Orthogonal Complement Matters
論文連結：
https://arxiv.org/pdf/2412.06143
程式碼連結：
https://github.com/WYuan1001/AdaVD
現有方法的困境
現有概念擦除方法主要分為基於訓練（training-based）和無訓練（training-free）兩類。基於訓練的方法需要對模型引數進行微調，儘管擦除效果較好，但成本高昂，且處理速度較慢，難以滿足線上 T2I 平臺的即時需求。此外，這類方法往往難以在擦除目標概念的同時保護非目標概念。
而無訓練方法，如 NP、SLD 和 SuppressEOT，雖然能夠實現快速擦除，但各自存在不足。例如，NP 的擦除精度有限，SuppressEOT 需要使用者手動指定目標概念的位置，而 SLD 在保護非目標概念的先驗資訊方面表現不佳，影響影像的整體質量。
AdaVD 如何破局
核心原理：正交補運算
作為一種無需訓練的概念擦除方法，AdaVD 透過經典的正交補運算，在擴散模型 UNet 的值空間內進行精準擦除。具體而言，它將原始文字提示所對應的值投影到目標概念的正交補空間，從而剝離目標概念的語義，同時最大程度地保留其他內容。
此外，AdaVD 採用逐 token 計算方式，以確保對每個 token 的擦除精度，實現更靈活細緻的概念擦除。
創新機制：自適應擦除移位
為了在保證擦除效果的同時進一步增強先驗知識保護，AdaVD 還引入了自適應擦除移位機制（Adaptive Token Shift）。該機制基於文字 token 與目標概念 token 之間的語義相關性計算移位因子，從而動態調整擦除強度。
若某個 token 與目標概念的語義關聯較低，AdaVD 會減少對其的擦除，從而在精準擦除目標概念的同時，最大程度地保留先驗知識。
效果驚豔，實力驗證
實驗結果顯示，AdaVD 在多個概念擦除任務中均表現出色，涵蓋 IP 角色、藝術風格、NSFW 內容及名人相關概念等場景。與其他方法相比，AdaVD 在 CLIP Score（CS）和 FID 評分上均表現優異，前者反映擦除效果，後者衡量先驗保護能力。
此外，在多概念擦除實驗中，AdaVD 也展現出卓越的效能。例如，在同時擦除“Snoopy”“Mickey” 和 “Spongebob” 時，其 CS 和 FID 均優於其他方法，即便同時擦除 40 個概念，也能有效保護非目標概念，展現出強大穩定的擦除和先驗保護能力。
效率與可解釋性兼具
在時間消耗層面，AdaVD 由於無需模型微調，在執行速度上遠超基於訓練的方法。雖然比 SLD 略慢，但換來的卻是更優的擦除效能，整體價效比更高。
此外，研究團隊透過視覺化擦除部分，深入探究了 AdaVD 的可解釋性。結果顯示，AdaVD 能夠精準定位語義空間中與目標概念相關的語義資訊。對於無關概念，其對應的擦除部分呈現出無意義的資訊特徵。這一現象進一步證實，AdaVD 不僅可以精準擦除目標概念，還能實現擦除效果與先驗保護的良好平衡。
多場景應用拓展
AdaVD 的能力不僅限於概念擦除，還可拓展至多個影像生成任務。例如，在隱式概念擦除中，它能去除 “rainy” “foggy” 等隱含概念；在影像編輯任務中，可精準移除 “glasses”“mustache” 等外觀特徵；在屬性抑制任務中，可去除 “red” 等耦合顏色概念，如讓蘋果或玫瑰褪色。
此外，AdaVD 還能與多種擴散模型相容，如 Chilloutmix、DreamShaper、RealisticVision 和 SD v2.1，適用性極為廣泛。
更多閱讀
#投 稿 通 道#
讓你的文字被更多人看到
如何才能讓更多的優質內容以更短路徑到達讀者群體，縮短讀者尋找優質內容的成本呢？答案就是：你不認識的人。
總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋樑，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發出更多的可能性。
PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優質內容，可以是最新論文解讀，也可以是學術熱點剖析、科研心得或競賽經驗講解等。我們的目的只有一個，讓知識真正流動起來。
📝 稿件基本要求：
• 文章確係個人原創作品，未曾在公開渠道發表，如為其他平臺已發表或待發表的文章，請明確標註
• 稿件建議以 markdown 格式撰寫，文中配圖以附件形式傳送，要求圖片清晰，無版權問題
• PaperWeekly 尊重原作者署名權，並將為每篇被採納的原創首發稿件，提供業內具有競爭力稿酬，具體依據文章閱讀量和文章質量階梯制結算
📬 投稿通道：
• 投稿郵箱：[email protected]
• 來稿請備註即時聯絡方式（微信），以便我們在稿件選用的第一時間聯絡作者
• 您也可以直接新增小編微信（pwbot02）快速投稿，備註：姓名-投稿
△長按新增PaperWeekly小編
🔍
現在，在「知乎」也能找到我們了
進入知乎首頁搜尋「PaperWeekly」
點選「關注」訂閱我們的專欄吧
·
·
·
