快手可靈終於用上了,我們和國內首部AIGC奇幻短劇導演聊了聊:AI影片不再是動態PPT

最近,AI 生成影片以意想不到的方式刷屏國內外的社交媒體:「復活」名畫、爆改表情包、「修復」老照片……
多半離不開一個國產 AI——快手旗下的可靈。
前兩天,可靈又進行了一次重磅更新,不僅有了網頁版,還有了更多可控的新功能。
剛結束不久的上海世界人工智慧大會上,快手提到:可靈超 50 萬人申請,已開放給超 30 萬用戶使用。
國內使用者等透過,海外網友也在評論區追問:什麼時候支援英語?什麼時候支援其他國家的電話號碼?什麼時候給我訪問許可權?
而我們想問的是,除了「表情包神器」,可靈還能是什麼?
「表情包神器」網頁版上新!更可控、更高畫質、更好玩
先來看看可靈的具體更新細節。
7 月 6 日,可靈上線了網頁版,同時支援文生影片和圖生影片,並帶來了更多新功能:高表現模式、首尾幀控制、運鏡控制、更長的單次影片生成時長。
高表現模式,比起高效能模式,畫面質量更佳,不過每天只能生成 3 次。
高表現模式生成的影片,甚至可以比原圖更高畫質。
當我們上傳「強顏歡笑老爺爺」表情包,輸入提示詞「老爺爺拿起杯子喝茶」,選擇高表現模式,AI 不僅讓老爺爺喝上了茶,人的清晰度也從 360P 到 480P 了。
然後到首尾幀控制,可以理解為,上傳兩張圖,AI 補全中間的運動過程。
我們選擇了兩張高司令的劇照,一張出自《芭比》,一張出自《愛樂之城》,風格相差較大,但主體是同一個人,且構圖類似,沒給提示詞,全憑 AI 發揮創意,怎麼把這兩張圖聯絡起來。
結果,AI 理解的方式和我們不一樣,轉場不是根據人,而是根據場景來的,給《芭比》的圖片補充了類似《愛樂之城》的背景植物,兩個高司令的表情也做了過渡。
這個一秒變臉真的很好笑!
接下來是運鏡控制,使用者可以指定水平、垂直、拉遠、推進等運動方式,但只在文生影片時可選擇。
我們採取了控制變數法,使用的基本提示詞如下:「一個身穿紅色連衣裙、戴墨鏡的短髮女人,正走在東京夜晚的街道上。鏡頭從地面開始,逐漸上移,聚焦到她的面部。」
只用提示詞,沒有設定運鏡,鏡頭上移的感覺不太明顯。
沒有設定運鏡
相同的提示詞,再加上運鏡方式裡的「大師運鏡:推進上移」,運鏡是更好了,但顧此失彼,人體也更怪異了,而且沒有符合提示詞裡的「走」。
設定了推進上移運鏡
至於更長的單次影片時長,就比較好理解了,從 5 秒延長到了 10 秒,可以再結合影片延長功能使用。
好訊息是,只要有體驗資格,所有功能限時免費。
壞訊息是,有些功能無法兼顧,比如,圖生影片暫不支援運鏡控制和生成 10 秒,高效能模式暫不支援生成 10 秒,生成 10 秒時暫不支援運鏡控制……
但總體來說,可靈有了網頁端之後,創作變得更方便了,功能也比 app 更多了。如果是在手機上,暫不支援首尾幀控制和運鏡控制。
可以看出,快手做 AI 的方向很明確,不像 Sora 那樣拿 Demo 畫餅,讓大眾用起來,找到 AI 與生活的結合點,才是更有溫度也更落地的。接下來,又可以期待一波船新的爆改表情包。
AI 短劇導演:AI 影片不再是動態 PPT 了
「好玩」「生成速度比較快」,是普通使用者對於可靈的第一印象。
但對於專業的人來說,可靈是實用的創作工具嗎?為了聽到行業內部的聲音,我們找到了一位 AI 創作者:閒人一坤。
他身上兼具兩個身份。
20 多年前,他入行傳統影視行業,擔任過《這就是街舞》總監製、《跨界冰雪王》執行總導演。
從 2023 年下半年開始,他成為狂熱的 AI 玩家,是 PixVerse、Runway、Pika 超級合作者,也是最早使用可靈的一批人。
他的團隊和可靈合作的國內首部 AIGC 原創奇幻短劇《山海奇鏡之劈波斬浪》,以《山海經》為藍本,7 月 6 日釋出了預告片,正片也即將釋出。
在這個等待開花結果的時間點,我們和他聊了聊,關於 AI 短劇的創作過程、AI 影視製作和傳統影視製作的區別,以及那些人類無法被 AI 替代的地方。
Q:為什麼選擇用 AI 製作玄幻題材?
A:AI 影視在發展的前期,能和傳統影視 PK 的地方,一定是傳統影視當中的痛點。我認為兩個賽道有痛點,一個是玄幻,一個是科幻,都需要大量的資金投入和後期製作。AI 可以把這兩個方面都縮減。
如果說,AI 縮短了 2/3 的製作週期,成本縮減到原來的 1/4,達到原來效果的百分之七八十,那麼它就會變成一個可選項。但我拿 AI 做類似《人世間》的作品,就是用 AI 影視的短板挑戰傳統影視的長板。
為什麼我沒選科幻?科幻仍然需要一定的理解成本,但哪怕是農村的老人,你和他說孫悟空是從石頭裡蹦出來的,他也會很欣然地認同。玄幻根植在我們文化的基因當中,不需要解釋,所以我一開始會選擇這個賽道。
Q:《山海奇鏡之劈波斬浪》的製作過程和工期?
A:文生圖的階段用的是 Midjourney,圖生影片的階段基本都用可靈,音樂也是 AI 做的,剪輯沒有 AI 的參與,走傳統的流程,用 Final Cut 剪,不是說一個 AI 就全都解決了
可靈沒有出來之前,我們用其他 AI 工具完成了一版預告片,但和可靈團隊溝通了之後,又在圖片到影片的階段進行了重製。
《山海奇鏡之劈波斬浪》 2 分半左右一集,5 集是一個系列故事,加起來十多分鐘。在這個體量下,光是重製,包括剪輯,花了 10 天左右的時間,算是非常非常快的了
Q:基本都是圖生影片嗎?
A:我們所有商業化交付的片子,幾乎全都是圖生影片,因為文生影片還做不到,包括可靈的技術也不行。
文生影片沒有鏡頭和鏡頭之間的連續,比如眼睛的大小,你不透過圖片,直接文字到影片,是控制不了的。
AI 生成的原理,就是一個黑盒,不是白盒。
什麼是白盒?照相機能透過控制光圈、快門、白平衡,達到高度可控的畫面效果,我能控制所有的元素。但黑盒,我們現在常說的一個詞是「抽卡」,圖片階段我們儘量做到人物的一致性,然後在圖片驅動影片的階段再去選擇,最後出來的一致性效果比較好。
某些賣課的不良商家吹噓什麼一句話就當導演,它其實是不存在的,沒那麼簡單。如果真這麼簡單,我們就算詐騙了。
Q:創作人員還是按照一個傳統的劇組來安排嗎?
A:遠遠沒有那麼多人。以前玄幻題材的這麼一個片子,100 人可能是比較輕鬆的人數,但我們現在也就十多個人,少了 10 倍了。單純看降本增效的話,是非常非常明顯的
Q:剛才說到剪輯還是人工,剪輯花的時間佔比有多少?
A:還是比較長的。我覺得在影視製作當中,目前還有很多的環節是不可以被 AI 化的。
比如劇本的創作、後期的剪輯、影視化表演型別的配音,短時間內都不會被取代掉。還有一個,整個鏈條最後被取代的工種——導演,像我這樣的,掌控全域性的人,生髮想法的人。這幾個工種,涉及到很多人類的主觀創作
光是《山海奇鏡之劈波斬浪》的本子,我就磨了近兩個月,當時其實還沒有確定部署平臺,快手找到我們,一個是看到我們有製作能力,一個是劇本已經 ready 了。那時候 Sora 剛釋出,炒得比較熱,各家都在尋找,誰有這樣的能力,誰能做這件事情。
閒人一坤團隊今年 1 月的 AI 概念片
我們在抖音、快手可以看到很多 AI 配音,但它只適合簡單的短影片,沒有什麼情緒,或者單純的搞笑,一旦涉及到人物表演,那就很難了。
剪輯也是一樣的,剪一個訪談,誰說話剪誰,現在有很多 AI 剪輯軟體可以實現。但是當你需要去捋一條故事線,當你需要去面臨很多選擇,就不是一個嚴格的 1+1=2 的過程。你把一個片子給兩個剪輯師,剪出來的東西一定是不一樣的,沒有標準答案。
Q:假設出現可能替代人類剪輯師的 AI 了,你願意嘗試嗎?
A:會啊。當然會嘗試。我並不排斥,所有的新技術我一定都會先去嘗試。之前我們的 AI 片子是真人配樂,這次就已經是 AI 配樂了。但凡能夠達到我的要求,我一定會用 AI,不用 AI,是因為還達不到我的要求
Q:從目前來看,傳統影視和 AI 影視的總體差別是怎樣的?
A:AI 影視在資金投入體量、製作週期方面,一定會有優勢。
目前,AI 影視遠遠沒有達到或者超過傳統影視的效果。現在任何一個可靈生成的影片,給我足夠多的錢和時間,我都可以透過傳統影視復現,但傳統影視的很多鏡頭和效果,在可靈當中不一定能夠復現
之前在傳統影視,我們做過一個虛擬的場景,是在空中漂浮的一個島,光做這一個島,一家大的電影特效公司給我們做了大概兩個月。但從另一個角度去評判,這個島可以實現任意角度的拍攝,怎樣都不會穿幫,可以實現一年四季的各種變化,上面還可以有各種花木,調整的空間非常大。
所以,AI 可能可以達到傳統影視百分之七八十的效果,準確性和一致性沒有那麼高,但是對效率的提升和成本的降低是巨大的。
Q:你在釋出《山海奇鏡之劈波斬浪》預告片時寫道,這個片子不再是動態 PPT 了,為什麼這麼說?
A:之前我們看 AI 影片,為什麼覺得像動態 PPT?因為人物動作、幅度、流暢性都會有問題,像慢動作一樣,微微地動,這是所有 AI 影片工具都有的問題。
可靈的運動幅度、運動合理性、人物推理,都不再是簡單的二維動作,而是整體的三維推演
比如,《山海奇鏡之劈波斬浪》預告片有個非常標誌性的鏡頭,片尾時水神共工從山裡掙脫而出,然後站起來,用別的軟體是比較難生成出來的。
Q:AI 生成影片工具似乎存在共識,可靈的首尾幀控制,Luma 之前也推出了,可靈的運鏡控制,Runway 去年就有,都是讓生成過程更可控,未來,AI 生成影片還會怎麼發展?
A:一定是更加可控、更加精準
一個是鏡頭運動的控制,拿可靈當前的版本來說,希望能夠更快開放圖生影片的運鏡控制,文生影片已經有了。
還有一個是畫面內的控制,Pixverse 有 Magic Brush, Runway 有 Motion Brush,一個是畫箭頭,一個是設定 xyz 軸的引數,筆刷圈定畫面當中的某個區域,告訴大模型希望它能夠怎樣運動,但現在可靈只能透過提示詞控制。
比如樹上有三隻小鳥,左邊的向左轉頭,中間的向上抬頭,右邊的向右轉頭,用提示詞控制的話,不能那麼精準,但用 Magic Brush 或者 Motion Brush,相對比較容易實現。
體驗過可靈,以及和創作者交流過,我們能夠比較明顯地感覺到,目前的 AI 工具縱然不完美,但已經能夠作為工作流的一部分。
最近,有一個 MV 在 X 很火,人物的一致性保持得極好,甚至有網友懷疑:不像是 AI 做的。
創作者 X@Arata_Fukoe 列出了以下工具,然後謙虛地說人物顆粒感還是有些明顯。
音樂:ChatGPT、Suno AI
影片:Dream Machine、Runway Gen-3、可靈
圖片:Midjourney、Stable Diffusion
剪輯:Ps、Ae
不神化 AI,不抗拒 AI,思考如何使用 AI。在 AI 面前,人類的審美、剪輯、創意,仍然閃閃發光。
創作者會評判,這個用 AI 完成的部分,能不能達到自己的要求。而作為觀眾,我們也能夠直觀地感覺到,作品背後的人,是否有熱情地把 AI 作為工具,傳達他的信念和追求

相關文章