Adobe也加入內卷戰場，推出AI影像生成產品Firefly，宣稱自己是沒有原罪的AI模型

幾個小時前，Adobe 剛剛釋出了自家的 AI影像生成模型套件 Adobe Firefly，現在還不能開放給使用者使用，但可以申請 waitlist （不需要是 Adobe CC 的使用者）firefly.adobe.com

目前可以申請內測的兩個工具

1. 像 Midjourney 或 Stable Diffusion 那樣的傳統文字到影像生成

2. 給文字加上AI生成的紋理和圖案，類似於AI輔助的 WordArt

讓我們來看看效果（以下作品都來自內測使用者的分享，並經過了人為的編輯挑選）

：

Adobe 宣稱自己將擁抱時代變革。會將AI生成深度整合到自己的產品中，而不是做一個旁觀者。過去的一年中，各種AI生成模型的湧現，對 Adobe 的典型使用者——數字藝術創意工作者，造成了非常大的衝擊，無論是正在發生的創意工作流的改變，還是整個行業的發展方向的不確定性。

目前 Adobe Firefly Beta 的生成服務還只能透過網站獲得，但 Adobe 的生成AI和Sensei副總裁 Alexandru Costin 說，Firefly 將和 Photoshop、Illustrator 和 Premiere 緊密整合在一起，這樣客戶就不需要知道背後是否為 AI 生成。

除了上面兩個典型工具，在Firefly 官網，Adobe 還給出了未來可能包含在自家AI模型套件中的工具，包括

用文字提示給向量影像重新上色
將素描稿轉化為上色高
從文字提示直接生成可編輯的向量影像
內嵌於影像處理工具的 inpainting 和 outpainting
基於3D模型生成圖案（我猜類似於在將 blender 裡的3D物件生成為深度圖後做輸入控制）
從文字提示生成無縫圖案、筆刷、模板等
多圖混合 mixup
AI 驅動的點陣圖放大

Inpainting

Extend Image (outpainting)

3D 生成影像

草稿上色

無縫紋理生成

用文字生成向量影像

上傳影像用於 fine-tune

Adobe 努力使起AI生成工具比競爭對手的更好用，當然它也更好的條件實現這一點，直接將AI融合到現有的成熟創意工作流中。

從官方釋出的demo影片看，Firefly 將現在常見 T2I模型裡 prompt 的修飾詞（modify）按型別轉化為 GUI 介面，比如風格、色調、構圖、燈光這些修飾詞，都變成了在介面上點選的選項。可想未來 inpaint 這些功能可以直接與各種選區及筆刷工具整合，AI生成出來的圖案和筆刷樣式、草稿上色、區域性放大也可以直接無縫應用。

Firefly 目前能產生的最大解析度的圖片為 2000*2000 畫素。使用 Firefly 生成的影像將包含一個內容憑證（Content Credentials），包含創作者資訊、該影像是否由AI生成，以及模型資訊、用於生成時的操作指令及相關資源。

另外內測期間，使用Firefly生成的影像和文字不可用於商業用途。

Firefly 釋出的另一個焦點是 Adobe 宣稱自己沒有盜用藝術家的作品來訓練模型。自己用於訓練模型的資料要麼是版權過期的，要麼有許可，要麼是Adobe Stock相簿中的。Costin表示公司有權使用這些資料，以此讓其品牌免受侵權的指責，不惹惱自己的主要付費使用者——數字藝術家們。

Adobe 的官方釋出稿裡，最後一句話寫著：“因此，Adobe Firefly是友軍，更是友軍裡的最強輔助！讓我們拭目以待。”

但聯想到今年1月份，反AI art 的使用者發現了 Adobe 服務的一個隱私和資料分享的設定，預設開啟，使得使用者內容可被 Adobe 用於包含機器學習在內的產品改善。從條款的 learn more 可以發現，這個首選範圍包括使用者上傳到 Adobe cloud 上的所有圖片音樂影片、工程檔案、資源庫；釋出到 Adobe stock 相簿網站上售賣的圖片和影片素材和釋出到 Behance 個人主頁上（Adobe旗下的數字藝術家線上畫廊）的所有作品。

當時這個發現立刻在數字藝術家圈裡炸了鍋，Adobe 成了 Anti AIart 的新靶子，邪惡科技巨頭的新典型。許多對AI 持敵對態度的使用者宣稱已將或會將自己的作品從 adobe 的相關網站上下降，或棄用服務。

這個隱藏頗深且 “預設開啟” 的資料授權協議，不禁讓人與今天 Adobe 宣稱的“ 自己訓練資料都獲得了創作者許可” 這一表態有所聯想。因為同時 Costin 也表示，Adobe計劃在內測結束後向為訓練資料做出貢獻的藝術家做出某種形式的補償。

Firefly 另一個可能引起爭議的計劃：Adobe 希望讓藝術家幫助訓練 Firefly 以生成符合藝術家個人風格的內容 (fine-tune?)。但這有被濫用的潛在風險——冒用且上傳別人的作品以克隆他們的風格。Costin 表示 Adobe 正在考慮如何處理這個問題。他提出了將上傳的影像與 Adobe 擁有的 Behance 進行比較，以捕捉潛在的藝術盜竊者的想法。但目前還沒有最終決定。

同時計劃讓藝術家用自己的作品對模型幫助訓練，以幫助他們生成有個人風格的結果，但這有被濫用的潛在風險：冒用且上傳別人的作品以克隆他們的風格。

對此，Adobe的想法是與 Behance 主頁上（Adobe旗下的數字藝術家線上畫廊）上藝術家本人作品進行比較，鑑別冒用行為，但目前還沒有最終決定。我個人感覺這一計劃的可行性漏洞很大。

Adobe 還計劃發起 "Do Not Train" 協議，提供工具讓藝術家將拒絕訓練的申明嵌入影像的元資料中，這樣將不會被納入之自家模型的訓練資料中。但目前還沒有其它模型的建立者或訓練者同意尊重這一協議。

與此對照，Stabilility AI (開發訓練 Stable Diffusion 的公司) 已經承諾在 SD V3版本中，支援 Spawing.ai 聯盟中藝術家們的訓練退出請求，這個聯盟提供了 “ Have I Been Trained？” 這一網站工具，幫助藝術家們查詢 SD用於訓練的開源 5B Laion 圖片語料庫裡是否包含了自己的作品，如果包含，則這些作品可能被用於 SD模型的訓練。

Spawning 宣佈自己已經跟 ArtStation 及 Shutterstock 合作，接受在這兩個網站上釋出作品的藝術家們的退出請求，目前已經收集了涉及近八千萬張影像的退出申請。

相關連結

https://firefly.adobe.com/faq

https://www.theverge.com/2023/3/21/23648315/adobe-firefly-ai-image-generator-announced

https://spawning.substack.com

https://twitter.com/spawning_/status/1603126330261897217?lang=en