我用位元組最強的AI數字人，讓《銀魂》主角出演了趙本山的經典小品

2025-04-22 18:31 APPSO

如果讓《銀魂》主角演繹春晚經典小品《賣柺》，會是怎麼樣的？
下面就請欣賞，《銀魂》「從未公開」的一集：《如果你覺得自己的臉越來越大了，那麼沒事就請多走兩步》。
效果有些粗糙，但你應該會留意到，人物不僅對上了口型，表情和身體也會隨之運動起來，看起來是比較協調的。
我們用到的工具是，位元組的 AI 數字人技術 OmniHuman-1。
它不僅讓 AI 對口型更接近真人說話的狀態，還將過程變得更加簡單：一張圖片、一段音訊，就能生成逼真的對口型影片，最長 15 秒。
OmniHuman-1 目前正在即夢內測，點選「影片生成」，再點選「對口型」，如果你的賬號出現了「大師模式」，那麼恭喜你，已經體驗到了。
下面就來更詳細地看看，演技更好的數字人是如何的。
正臉側臉，是人非人，都能對上口型
你可能會問，人物的圖片好找，但沒有現成的音訊，怎麼辦？沒關係，可以在即夢的「文字朗讀」框輸入文案，然後選擇喜歡的音色。
如果沒有合適的選擇，即夢還支援建立音色，只需 5 秒的音訊素材，於是我上傳了馬斯克的演講片段，生成了他的音色。
然後，再隨便找一張馬斯克的圖片，輸入文案「全世界最聰明的 AI，Grok 3，現在免費，直到我們的伺服器崩潰」。
接下來我們就可以看到，馬斯克搖頭晃腦地講著歪果仁味道的中文，語氣還怪禮貌的，背景裡隱隱約約有汽車開過。
真人正臉，屬於挑戰性最低的測試了，動漫正臉，即夢也能輕鬆駕馭。
我上傳了之前用 AI 生成的一張圖片，讓主角演繹《武林外傳》郭芙蓉的經典臺詞，「姑奶奶今天不把你打得桃花滿天紅，你就不知道姑奶奶心花為誰開 」。
表情的變化和臺詞的語氣是對應的，主角甚至還會聳肩，演技至少在小鮮肉的及格線水平。
繼續上強度，如果一張圖片裡有多個人，而且是難度更高的全身，AI 基本都能讓他們參演，但離畫面較遠的，或者嘴巴被遮蓋的，可能就在狀況外。
雖然美中不足，但即夢的細節又彌補了這一點：背景的火光和煙霧是自然運動的。
刁鑽角度的側臉圖片，即夢也能對上口型。少女的珍珠耳環自然地晃動，因為說話才完整露出的牙齒也很清晰，但她的脖子和嘴唇有些用力過猛。
比起單純的說話，有樂器伴奏的對口型表現稍微差了一些，但拉琴的動作大抵是到位的。
當主角不是人，問題也不大。《機器人之夢》的狗狗唱起了《甜蜜蜜》，機器人雖然沒開口，但它的眼神和狗狗互動了。
基於實踐，我們可以總結 OmniHuman-1 的幾個特點：
正臉、側臉、多人、單人、非人、全身、半身，都能對上口型。
說話、唱歌，都能對上口型。
除了口型，表情、手勢、身體動作、背景也會保持動態。
有時候口型會過於誇張，或者不完全準確。
當嘴唇被口罩等物體完全遮擋，可能會對不上口型，甚至生成失敗。
分分鐘二創小品、MV，讓整活影片變得更加簡單
當 AI 讓對口型變得更簡單也更自然，做一些整活向的、鬼畜的影片，也就比以前更加容易，不用再逐幀編輯和手動調整，或者讓配音去配合人物的口型。
技術已經 next level，如果只是用簡短的片段展示功能，多少有些浪費，於是，我們嘗試用即夢生成了開頭的銀魂版《賣柺》。
操作起來也非常簡單，首先，我截取了《賣柺》裡超級經典的 30 秒音訊，把它切分成了一段段的臺詞。
然後，查詢多張符合語境的人物圖片，讓誰來演呢？我選擇了《銀魂》的坂田銀時和志村新八，分別擔任趙本山和範偉老師的角色，相對比較貼合他們的人設。
還差一個開頭，我上傳了萬事屋的圖片，用即夢生成了簡單的鏡頭拉進效果。最後，用剪映把所有片段拼接在一起。影片裡的片段，都只生成了一次，雖然粗製濫造，但有點內味了。
甚至，我們還可以用即夢生成一個漫威宇宙的 MV，讓每個英雄深情地唱著屬於自己的歌詞，方法也很簡單，用到了四種工具。
DeepSeek：根據每個英雄角色的性格特徵生成歌詞。
Suno：導進歌詞，然後生成歌曲旋律。
即夢：對口型，開頭和結尾圖生影片。
剪映：拼接影片。
OmniHuman-1 的創新之處在於，團隊為不同的訓練任務，分配了不同質量的資料，克服了從前端到端方法由於高質量資料稀缺而面臨的問題。
最終，OmniHuman-1 在基於弱訊號輸入（尤其是音訊）生成極其逼真的人體影片方面，顯著優於現有方法，它支援任何長寬比的影像輸入，在各種場景中都能提供較高質量的結果。

官方案例

對於普通的使用者而言，這就意味著，OmniHuman-1 把影片生成的門檻打下來了。當不要求必須是正臉圖片，不要求必須是特寫，生成的限制變得更少，想象空間變得更大，更多的鏡頭語言，可以被實現了。
我們或許真的會迎來，AI 數字人的規模化，演講、直播、演唱會，都可以有它們的身影。愛因斯坦演說，黴黴唱日語歌，不存在的現實，可以由 AI 創造。現在的一些影片或許還能肉眼辨別，但當更多數字人能夠自然地說話，我們也要準備迎接一個眼見不再為實、耳聽也可為虛的未來。

我們正在招募夥伴
📮 簡歷投遞郵箱[email protected]
✉️ 郵件標題「姓名+崗位名稱」（請隨簡歷附上專案/作品或相關連結）
更多崗位資訊請點選這裡🔗

相關文章