VAST宋亞宸:3D大模型終極圖景,讓視覺創意“言出法隨”

AI技術持續向更縱深的領域探索,3D大模型正以驚人速度改變創意產業格局。
718日,在杭州拱墅舉辦的2025創業邦新青年創投大會上,VAST創始人&CEO宋亞宸帶來了這一技術發展現狀、核心突破及產業應用的深度分享,為我們展開了一幅3D大模型從實驗室技術走向產業落地的全圖景。
他認為,3D大模型技術快速發展將重塑設計產業全鏈路。首先,設計過程將變得更高效,創意得以快速落地。小工作室、個人創作者能以更低成本、更高效率產出高質量3D內容。這勢必進一步激發UGC生態潛力,使設計與消費、虛擬與現實的邊界逐漸模糊。最終,整個行業也將從重投入、高風險向輕量化、個性化轉變。
以下是宋亞宸現場演講實錄,經創業邦整理。
技術迭代
兩年崛起的3D大模型與核心突破
我們公司叫VAST,是一家專注於3D大模型研發的企業。雖然公司成立僅兩年,但3D大模型這一技術的發展速度非常快。目前,我們已經服務了3.5萬家中小客戶、700多家大客戶,還有三百萬海外創作者在使用我們的3D大模型。如果大家在這15分鐘裡沒能記住太多內容,我想有一個關鍵點一定要強調:這一技術從被人類發明至今,才兩年多時間。
在兩年多以前,人類想要實現“心想事成”或“言出法隨”般的創意落地,難度其實很大。但自從這一技術誕生後,一切都不同了——只需輸入一段文字、一張圖片,甚至更復雜的多模態輸入(比如三檢視),一個3D模型就能被快速生成。短短兩年多里,幾乎每3-5個月就會有一個全新的大模型出現,給各行各業帶來了非常大的變革。這種變革在普通使用者的日常體驗中可能還不明顯,不過接下來我會和大家聊聊行業裡已經發生的變化。
我們本月將釋出3.0版本的3D大模型,引數規模達到兩三百億級別。它的核心能力可以透過一段影片來展示:基於文字或圖片生成3D模型後,系統能自動透過語義分割將模型拆分成一個個部分,每個部分會自動完成補全,使用者可以單獨對某一部分進行編輯、風格化調整;調整滿意後,還能透過AI演算法重新組合起來。比如,你可以先構建一個基礎模型,再生成一把精緻的寶劍、一件帥氣的披風,將它們整合到自己想要的角色身上;也可以上傳一張圖片,讓AI自動識別圖片風格,對模型部件進行風格化處理;還能用智慧筆刷調整細節,比如在衣服上新增LOGO
我們還採用自迴歸路線開發了低模生成功能,能為模型提供更優的拓撲結構、佈線設計,以及UV和烘焙最佳化。更重要的是,我們實現了“萬物骨骼繫結”——不管是貓、人、龍還是蛇,AI都能自動完成骨骼繫結並讓它們動起來,真正實現了在一整套AI工作流上端到端地製作3D內容。
在技術路線上,我們既有閉源技術,也做了很多開源工作。目前這一技術還處於相對早期的階段,我們希望透過大量開源工作——包括髮表40多篇頂會論文——來推動整個技術的發展。
值得一提的是,3D大模型解決了傳統多模態生成技術的一大痛點。像文生圖、文生影片等技術,輸出的內容往往是不分層的,很難接入傳統創作管線或編輯工具進行二次開發和專業修改。而3D大模型的語義分割功能,相當於自動完成了分層,這一功能目前在全世界範圍內只有我們的產品具備。低模生成則讓模型能更好地適配遊戲、動畫、XR、元宇宙等場景的創作管線,提升即時渲染效能;貼圖材質的最佳化讓模型表面的顏色可以手動調整,滿足個性化需求;而“萬物骨骼繫結”更是突破了傳統侷限,讓生成的萬物都能變得可動可互動。
場景落地
3D大模型如何重構行業創作邏輯
3D大模型到底能發揮什麼作用?這是一個很重要的話題,之前我也沒和大家深入聊過。它的出現,正在多個行業裡引發深刻變革。
在遊戲領域,這種變革尤為顯著。過去,開發一款專業遊戲往往需要投入數億甚至更多資金,幾百人甚至上千人的團隊耗時數年才能完成,不僅投資風險大,週期也很長。而現在,尤其是在美術環節,創作成本大幅下降;更重要的是,創作門檻降低了——不僅大公司能開發遊戲,一些小型工作室甚至個人都能製作更輕量級的遊戲,而且週期更短、成本更低。
在空間與場景設計領域,3D大模型的應用也在改變傳統流程。前段時間,我們剛和酷家樂簽署戰略合作協議,使用者可以在裡面生成自己的家,進行佈置——想把桌子放在室內中央,放一個沙發,擺一些擺件,都能直接生成;生成完成後,使用者可以在軟體裡直接下單,系統會推薦相近的產品,還能讓消費者清楚瞭解設計的預算。
XR領域的發展長期受限於創作門檻和成本過高,導致內容嚴重不足。而現在,已有幾千個XR應用是基於我們的技術能力開發出來的。比如開發者創作的“XR日記”,過去日記是文字形式,現在可以變成3D場景;還有一個開發者製作的釣魚遊戲,突破了傳統釣魚遊戲內容重複的問題——AI能自動生成不同地域的特色魚類,使用者去中國區域釣魚,會遇到中國特有的魚;去大西洋區域釣魚,會遇到大西洋的特色魚類,內容深度大幅增加,開發者只需在中間設一個池塘,就能讓使用者不斷體驗釣魚的樂趣。
3D大模型還為設計領域的從業者和學習者提供了便利。很多2D設計從業者畫草圖、拍照片、做2D設計都沒問題,但要在3D領域展現創意就會遇到困難;中國一些美術院校的大學生做畢設時,無論是新媒體互動、當代藝術還是陳設藝術,都需要將作品3D化,而3D大模型正好能滿足這一需求。
在即時互動場景中,3D大模型的應用也很有意思。比如在網易今年年初發布的遊戲《燕雲十六聲》中,有一個叫“萬物太極”的亮點玩法:玩家在遊戲中往前走,遇到一條河過不去,就能生成一座橋走過去;遇到天上的寶箱夠不到,能即時生成一個梯子爬上去;打怪獸打不過,能生成一棵樹躲在後面。這種互動形態,在虛擬世界、數字孿生、XR元宇宙等場景中,將會成為非常主流的互動方式——心裡想要什麼,或者用文字、圖片表達出來,對應的3D內容就能即時生成並實現互動。
跨界融合
從虛擬創作到實體落地的全鏈路
3D大模型的價值不僅侷限於虛擬領域,更在於打通虛擬與現實的連線,尤其是在實體行業中發揮著重要作用。
在電商領域,展示展陳是非常重要的一環。目前大部分展示展陳方式和資訊傳遞方式都以2D為主,而3D大模型能改變這一現狀——隨著3D創作門檻和成本的下降,那些用2D難以充分傳遞資訊或資訊密度不夠高的場景,都能透過3D來呈現,不僅資訊密度大大提升,沉浸感也會更好。除了電商,博物館的展品展示、選單呈現、廣告、教育等場景,都能借助3D技術提升效果。
在品牌營銷領域,3D大模型正在啟用UGC的潛力。過去,品牌釋出IP時,往往只能透過官方賬號或請KOL釋出影片進行傳播;而現在,品牌可以向二創開發者和創作者社群開放能力,讓他們快速進行二次創作,這些大量的3D內容能在朋友圈、抖音、小紅書等平臺快速傳播,形成更廣泛的二次傳播效應。
更重要的是,3D大模型正在與柔性化生產(尤其是3D列印)緊密結合,讓文創產品從虛擬創意走向實體落地。在文旅場景和定製化產品生產中,這種結合尤為明顯:使用者可以透過3D大模型表達自己的定製需求,系統則快速生成設計圖或工業原稿,直接對接產線進行3D列印。無論是手辦、鍵帽、鑰匙扣、冰箱貼,還是其他任何文創產品,使用者只需透過文字或圖片輸入想法,就能輸出3D設計稿,進入生產流程,最終收到定製化的實體產品。


相關文章