大家好，今天繼續聊聊科技圈發生的那些事。
一、ToonCrafter
ToonCrafter 可以透過預訓練的影像到影片擴散先驗來插值兩個卡通影像。通俗點說，就是給出起始幀，給出結束幀，ToonCrafter會幫你補全中間的部分，生成一段完整的影片影像。另外，它還有個功能，基於給出的草圖，給草圖中的內容上色。
ToonCrafter基於影像條件的擴散模型，透過豐富的運動先驗來合成複雜的非線性運動和現象。主要包括三個關鍵的技術：
-
卡通矯正學習：透過對預訓練的生成模型進行微調，使其能夠更好地理解動畫的上下文，並生成與卡通風格匹配的內容。 -
細節注入與傳播解碼：引入一個基於雙參考的3D解碼器，使用混合注意力殘差學習機制，將有損的幀潛在變數轉換回畫素空間，並注入輸入影像中的細節資訊。 -
基於草圖的可控生成：ToonCrafter配備了一個幀獨立的草圖編碼器，使使用者能夠透過草圖輸入來引導生成過程。
我們來看一個具體的例子：
將這兩張圖作為起始幀和結束幀，讓 ToolCrafter 進行補全。
成功補全風中凌亂的髮型，效果生動逼真，靈動飄逸，毫無違和感。
這個工具最優秀的特點是，生成出的gif圖體積極小，給出的這些demo示例大多都只有幾百KB的大小。同時，還能兼顧生成質量。
專案已經開源，也已經有了 HuggingFace 的線上體驗，感興趣的小夥伴，可以體驗看看。
線上體驗地址：
https://huggingface.co/spaces/Doubiiu/tooncrafter
專案地址：
https://github.com/ToonCrafter/ToonCrafter
二、Stable-Diffusion-3-Medium
備受矚目的Stable Diffusion 3，終於開源了！
SD3 自從二月份釋出以來，其優秀的效能就一直好評不斷。而在幾天前的6月12日，Stability AI 正式宣佈開源 SD3！
據悉，本次開源的Stable Diffusion 3 Medium 包含20萬億個引數，代表了Stability AI目前的最高水準。在 HuggingFace 上已經可以下載到模型權重檔案了。
話不多說，我們先來看看效果：
SD3相比起前代，主要提升了生成影像的細節處理，影像的質量會很高。同時，模型的尺寸非常優秀，即使是在常見的消費級GPU上，也有非常卓越的效能。
順提一句，SD3已經能支援8k生成了，不過整出來的檔案過大，這裡就不直接放效果圖了。
不過目前也有訊息稱，SD3在人像生成方面可能會出現一些比較“驚悚”的現象，針對整個人體的生成，SD3似乎有些不著調，就像這樣…
或許是資料集的問題，SD3無法理解完整的人類影像，在生成此類影像的時候，就略顯尷尬了。
不過，拋開這個問題不談，SD3絕對是一款優秀的文字生成影像模型！無論是生成影像的精細程度，還是生成效率，都有很大的提升。感興趣的小夥伴，可以自行體驗一下。
線上體驗地址：
https://huggingface.co/spaces/stabilityai/stable-diffusion-3-medium
三、consistent-character
今天咱們要說的第三個專案 consistent-character，是一個偏娛樂向的專案。
這個專案在 HuggingFace 上的介紹非常簡單：Create images of a given character in different poses，也就是讓影像上的角色以不同的姿勢出現。當然，既然要提供prompt生成，常見的換衣服功能也是必不可少的。
所以，我們要第N次請出咱們的皮衣刺客了，每次不知道拿誰當輸入素材的時候，總會找到老黃的…
作為示例，咱們就用預設的prompt吧，換身衣服就可以了。
這裡一定要記得開啟這個選項，讓生成的影像能有隨機的pose，注入專案的靈魂。
效果還不錯！咱們的皮衣刀客瞬間斯文了一把，穿上了筆挺的西裝，一副大佬樣。可以看到，專案生成的圖片給老黃換了幾個不同的姿勢，甚至是個“無死角”的帥哥呢。
那麼，如果我們再換一個prompt，來點不一樣的風格呢？
a man, Mohican hairstyle, rocker style undershirt.
男子，莫西幹髮型，搖滾風格打底衫
畫風突變！這感覺，令人有點無法言說。
這個專案目前還沒有開源，這裡給出
HuggingFace 的地址，可以放上自己想操作的照片，給出prompt，就可以試試這個奇妙的效果了。不過，如果照片解析度太高，等待時間可能會比較長。感興趣的小夥伴可以自行體驗看看！
HuggingFace 的地址，可以放上自己想操作的照片，給出prompt，就可以試試這個奇妙的效果了。不過，如果照片解析度太高，等待時間可能會比較長。感興趣的小夥伴可以自行體驗看看！
線上體驗地址：
https://huggingface.co/spaces/fffiloni/consistent-character
好了，本期的內容就是這麼多，我們下期再見！
