後悔沒有及時更新公眾號文章，最近積累的 demo 越來越多，現在我已經很難找到一個敘事線可以把她們串起來了。
今天會和大家分享我透過 AI 在畫風、角色和應用上三個維度的可能性嘗試，囊括了我最近做的 8 個 demo，接下來請大家聽我報菜名。
一、畫風嘗試：從 “美影廠” 模型 到 “敦煌”
會做這個方向的嘗試是因為看到了一個很棒的國風水墨畫 LoRA 模型：墨心。[1] 這個 LoRA 模型相信很多朋友都知道，可以謂之為目前表現中國山水畫最強的 AI 模型了。
作者是我的朋友，由於其本人的期望，就不在這裡署名了。他分享給我了一些經驗，都是非常有價值的思考，所以也分享給大家。
1. 取法乎上得其中，讓 AI 臨摹的物件一定要選大師。墨心的資料集選的是明清兩代的絕頂大師，包括：吳昌碩、鄭板橋、任伯年等人。墨心能有一定的效果，其實是 AI 機器學習大師的筆意得來的。
2. 在資料集標註上一定要花功夫認真去描述，在自動生成的基礎上，我是用 ChatGPT 幫我翻譯成英文替換進去的。
上圖是墨心作者提供的資料集案例，一共使用了 209 張圖，對於每一張圖都進行了領域內詳細的標註，每張圖訓練了 100 次。資料集大多都是山水草木鳥，但 AI 學習了其中技法後將其 apply 到了肖像繪畫中，這真是神奇之處。
按照墨心作者的方式，我用 70 多張上海美影廠早期作品的截圖，以 Deliberate 模型作為底模，透過 LoRA 的微調方式做了一個上海美影廠的 LoRA，並且用其生成了一些迪士尼的公主和王子。效果還不錯。
在這件事上，我還感受到墨心作者對於國畫本身深厚的瞭解，我想這是讓他能夠訓練出這個模型的主要原因。我想起前不久去北京看敦煌的壁畫展。
此次最大的震撼不是在於壁畫自然氧化後留存下來顏色的美感，而是敦煌壁畫的敘事方式：他會把一個故事不同時間點的事件放在一張圖裡。
比如《九色鹿》是從畫面兩端雙線敘事，到畫面中點處雙線匯合後迎來大結局。而《捨身飼虎圖》則是因果和輪迴都放在了同一張圖裡。
這讓我想起了特德姜的小說《你一生的故事》，我猜測敦煌時期人們的世界觀會不會也是：“我生活在人生的所有時刻。”
目前的演算法模型的產出很符合我們現在看待世界的線性的方式，呈現的是“此刻” 或者“某個狀態”。現在已經有很多很好的繪畫產品能夠仿製出敦煌的風格。
但是 AI 知道文殊菩薩騎獅子、普賢菩薩騎大象嗎？如果我們真的有所謂 legacy 可以留給後代或者 AI，不應當只是色彩或構圖，還有故事和我們看待世界的方式。
如果我將這種 “異時同圖” 的敘事邏輯作為標註給到 AI，讓他學會這種敘事方式，把故事不同時刻不同狀態，在同一張畫裡顯現，是否有可能教會 AI 一種新的敘事？
我們需要的可能不是更多的演算法工程師？還是更多垂直領域的從業者懂一些演算法。
二、角色嘗試： “戀與製作人” 真人卡牌
探索角色模型的原因，主要是受了堪雲工造老師 [2] 賽博 Coser 系列的啟發。
據堪雲老師本人描述，這是在基於 ChilloutMix 模型的基礎上，用二次元角色的立繪提取角色特徵訓練 LoRA，進行生成後得到的。
基於他的思路，我在主要是畫女生模型的 ChilloutMix 上，透過喂主要為二次元男性角色的立繪，對模型的角色特徵進行糾正，做出了畫男生的 LoRA 模型。
LoRA 的神奇之處還在於，你可以疊加不同的 LoRA 來一起使用，除了寫實模型以外，我還做了以下嘗試：（使用模型的下載地址都標在了文尾）
↓ 角色 LoRA + 貼紙模型 waves-chibi-style [3]
↓ 角色 LoRA + 大頭娃娃模型 bigheaddoll_v1 [4]
↓ 角色 LoRA + 古風模型 moxin1.0 [1]
↓ 角色 LoRA + 吉卜力模型 StudioGhibliStyle [5]
角色特徵、風格特徵可以使用 LoRA 來成為可獨立管理的資產，在需要時透過 AI 來進行融合創作。
同期，一項新的技術進入了我們的視線。ControlNet 賦予了創作者在與 AI 協同工作的過程中更大的控制力，AI 可以根據你提供的線稿、深度圖、姿勢圖等，進行完全遵循你個人創作思路的生成。逗砂的公眾號文章做了非常詳細的介紹：《遊戲要結束了：ControlNet 正在補完 AIGC 工業化的最後一塊拼圖》
在探索 ControlNet 期間，我也做了一個從線稿轉成圖的效果嘗試，以及影像在不同引數下生成效果的變化。
這個測試結果也得到了 ControlNet 開發者本人的轉發和認可。
這件事情我還蠻開心的，知道自己不僅受益於開源社群，成果還能反過來激勵到開發者，或者我的分享對於開源社群是有益的，這對我來說是很重要的事情。
ControlNet 還可以多層控制：比如人物姿勢和背景線條分開控制，人物姿勢和深度圖分開控制等。
有了這項技術的加持後，我開始使用自己做的角色 LoRA 將《戀與製作人》的卡牌角色周棋洛，進行了真人復活。
以下圖片左邊是卡牌原圖，右邊是結合 LoRA+ControlNet Canny 模式，進行的賽博 coser 卡牌生成。
這個系列在小紅書上也得到了很多使用者的喜歡。我因此也有一個體會：如果要拿 AI 做內容的話，得是真的對這個內容有了解/感興趣/喜歡的人來做。
三、應用嘗試： “永劫無間” 二創美宣 到 “AI Bubbles” 虛擬時尚雜誌
在更新了一段時間的賽博 Coser 以後，我對 LoRA 訓練、ControlNet 使用都比較熟悉了。於是我開始想是否有機會用 AI 的流程，來出一些遊戲美宣質量的圖。
這個時候另一款我在玩的遊戲，永劫無間，出了一個叫做胡為的新角色。我去測試服玩了一下後決定做這個角色的二創美宣圖試試。
我先進入測試服遊戲介面，截了一系列這個角色各個角度的圖片，然後訓練了這個角色特徵為主的 LoRA. 其中底模的選擇很重要，因為遊戲風格的原因，我選擇混合了古風和寫實真人的模型作為底模。
LoRA 模型訓練好後，即可在結合 ControlNet 的基礎上生成指定姿勢的寫實風格的人像。最後再用 Midjourney 生成了虎紋和背景火焰的元素充實畫面，在 Photoshop 裡疊加了一些布料做舊和火花的特效。
雖然在裝備的質量和細節上還有許多需要提升的地方，但目前大體的效果至少我個人是非常滿意和喜歡的，這張圖從模型訓練到最終的合成渲染，一共花了 2 天時間。
最後再和大家分享一個應用嘗試。寫到這裡我舒了一口氣，終於要寫完了如何讓 AI 學習指定風格的服裝，然後讓賽博模特來穿出效果圖，是最近 AIGC 圈子裡在關注的一個子方向。
我和我的朋友 Momo 桑做了一個以 y2k 風格為主的服裝搭配 LoRA 模型，並以 AI 作為“模特”，以此 LoRA 模型作為“造型師”，嘗試做了一個虛擬時尚雜誌。
我們在訓練 LoRA 的過程中餵了許多 y2k 風格的單品樣圖，在模型生成的時候，透過描述詞儘可能精準地去貼單品的版式和特徵。對於常見的款式來說是有效的，對於花紋比較繁複的還是容易翻車。（不過我們逐漸在單品控制上效果越來越好，如果對本專案感興趣也可以關注我們的專案小紅書@AI Bubbles泡泡）
體會到了一把時尚編輯的快感。雖然不相信 AI 模特會真的取代真人模特，因為至少我和身邊很多朋友都還是會更想看到真人模特試穿衣服，還原衣服上身效果，這樣才會覺得比較安心去購買。但這種流程我相信一定會能催生出新的內容載體，找到其存在的方式。
終於寫完了！最近一直在做各種型別的 AI 嘗試，真的非常非常開心，像是在探索可能存在但還沒被發現的魔法一樣。和機器一起去探索未知的邊界，每一點結果都是全新的發現。如果你想更及時地看到平時我的各種嘗試的話，歡迎關注我的微博@海辛Hyacinth
謝謝你閱讀到這裡，提前預祝你春分愉快。
Reference
[1] 墨心：civitai.com/models/12597/moxin
[2] 堪雲工造：afdian.net/a/kanyon
[3] 貼紙：civitai.com/models/4379/toru8p-waven-chibi-style
[4] 大頭娃娃：civitai.com/models/16643/big-head-doll
[5] 吉卜力：civitai.com/models/6526/studio-ghibli-style-lora
寫完這篇推文，我感覺自己被抽乾了..
如果你喜歡這篇推文，請考慮“讚賞”或者“分享”~
這對我是很大的鼓勵😊