推出類Sora架構3D生成大模型，「DreamTech」連續完成兩輪數千萬元融資｜36氪首發

DiT在3D生成領域也有很廣闊的應用前景。

文｜鄧詠儀

編輯｜蘇建勳

封面來源｜視覺中國

36氪獲悉，AI創業公司“DreamTech”連續完成數千萬元天使輪及天使+輪融資，天使輪為元禾原點領投，啟迪之星創投、雲天使基金跟投，天使+輪為初心資本獨家投資。

就像語言大模型技術的進步直接推動了ChatGPT等文字生成AI的浪潮一樣，在影像、影片、三維領域，大模型技術也推動了包括2D、3D等生成式AI的進步。

“DreamTech”就是一家專注於原生3D生成的AI創業公司，公司於2023年12月開始正式運營。CEO張飛虎博士畢業於牛津大學，團隊的創始成員包括了英國兩院院士、國家級青年人才、騰訊會議創始成員等，曾在蘋果、騰訊、百度等行業領先企業任職。創始團隊成員曾成功創立多家成為 3D 領域標杆的公司，這些公司分別被蘋果、谷歌、博世等業界巨頭收購。

除了文字內容之外，生成式AI首先作用於2D影像的生成，從2022年開始，包括Midjourney、Stability AI等專注AI生成圖片方向的公司迅速崛起，帶動了文生圖領域的迅速繁榮，而OpenAI SORA、Luma Dream Machine、快手可靈等AI生成影片方向的應用，也成為當前熱點。

如今，文生圖、文生影片領域已經有不少基座模型，技術路線也趨於收斂。而相較於2D影像及影片，3D內容生成這一細分領域所處的發展階段更早，技術路線在之前一直處於探索期。

如果想利用AI生成一個3D的立體模型，主要有2D升維和原生3D兩種技術路線。此前，絕大多數公司採用2D升維路線——具體來說，2D升維需要先經歷從文字或單張2D影像到多視角影像，再進行重建得到3D模型，其優勢是可在現有影像生成模型（例如Stable Diffusion）基礎上進行微調，更容易完成訓練。缺點是過程複雜，中間的誤差累計導致生成的3D模型出現畸形、多頭等質量問題。

另外，由於2D影像本質上缺少3D資訊，而2D升維的模型架構設計上主要針對2D資料處理進行最佳化，無法繼續像大語言模型一樣scale up，生成質量已經達到瓶頸，即使增加模型引數和訓練資料，3D生成質量也很難繼續提高。

相較之下，原生3D採用純3D資料進行訓練，優點是由於訓練的資料和最佳化的目標都是原始的3D模型，生成的3D模型質量和效果會更好，更接近原始3D模型的質量，也更能處理應對複雜場景。

“但最大的難點在於，全世界的3D資料稀缺且昂貴，據估計，全世界的高質量3D資料僅有400-500萬左右，而且建模依賴於人工，製作成本高且花費時間長，通常一個高質量的3D模型在建模環節就需要花費專業三維設計師約2周時間。並且，相比較於影像、影片這類2D/2.5D規則資料，3D Diffusion的訓練中的資料維度更高，訓練過程需要耗費巨量的算力。”張飛虎對36氪表示。

DreamTech團隊之所以選擇原生3D路線，首先是其在高效的3D模型表徵上找到了新的方法，透過Decoder網路實現了對原始3D資料近乎無損的恢復。

來源：DreamTech

其次，團隊基於Diffusion Transformer架構，在3D領域做了大量最佳化，在擴大訓練資料規模以及增加引數量後，大模型的生成質量會得到巨大提升。

一個典型例子是，OpenAI在2024年釋出的SORA，就是基於Diffusion Transformer架構進行訓練，展示了震驚世界的生成效果，無論是影片解析度、影片時長還是影片生成質量都得到了極大提升。

再者，為了解決3D資料困境，DreamTech團隊自研了一套3D資料合成引擎，建立了資料清洗、標註等全自動資料處理流程，其產出的3D資料在千萬量級，均為高質量資料，能夠用於進一步的模型訓練。

在今年5月，DreamTech釋出了採用3D Diffusion Transformer（3D-DiT）架構的Direct3D-1B模型（10億引數）。張飛虎表示，這是全球首個公開發布的原生三維生成路線的3D大模型。隨著訓練資料量的增加，模型的生成質量明顯提升，接下來，團隊還會進一步擴大模型引數和訓練規模。

來源：DreamTech

並且，儘管用的是原生3D路線，訓練成本反倒減少了。基於原生3D資料模型表徵及3D-DiT訓練上的突破，DreamTech把訓練和推理的算力成本壓縮為了原先的十分之一，將原本需要千卡以上的訓練任務壓縮到了百卡規模。

張飛虎表示，預計今年年底，在產品工程層面，團隊還會進一步最佳化，將影像或文字生成3D內容的模型推理時間壓縮至30秒以內。

當前，DreamTech在模型層面已經完成初步開發，接下來將逐步迭代，產品層面也在同步準備，下半年將啟動產品落地。團隊計劃先從遊戲、二次元人群的C端產品入手，推出符合二次元使用者娛樂社交需求的相關產品。在B端使用者上，也會針對遊戲、動畫創作者推出基於原生3D大模型生成能力的三維創作平臺。

關於長遠目標，DreamTech團隊成員認為，從語言、圖片到影片以及接下來的真實世界模擬器，多模態路線演進過程中必然繞不開三維空間。“真實的世界是四維世界，是有空間、時間維度的。”張飛虎表示，“我們的目標是做有時空互動的真實世界的模擬器，從3D路線出發，對應了三維空間，之後加入即時互動與物理引擎，就能模擬還原真實世界。而真實世界模擬器是訓練通用人工智慧的必要工具，透過大量模擬不同引數下的真實世界，通用人工智慧才能更快實現。”

據悉，DreamTech新一輪融資即將啟動，一葦資本擔任獨家財務顧問。

元禾原點合夥人樂金鑫表示：“3D內容是數字世界不可或缺的生產要素，生成式3D是AI作為新質生產力的典型應用，將大幅降低行業成本，提高優質內容的生產效率，進而推動AIGC新的正規化在3D列印、AR/VR、遊戲、影視、機器人領域和計算機輔助設計等應用場景的快速落地。DreamTech團隊多年深耕AI 3D生成領域，憑藉全球領先的技術方案解決了高質量3D內容生成的難題。元禾原點堅定看好3D生成領域的巨大投資價值，也將長期陪跑像DreamTech這樣的優秀的創業團隊。”

雲天使基金創始合夥人秦捷表示：“數字世界的3D化是一個大的趨勢，高質量3D內容（模型）的製作和生產將成為3D數字資產市場和3D規模化應用的關鍵。AI生成技術可以大幅降低3D模型製作成本，提高3D模型製作質量和效率，具有很好的產品化潛力和市場價值。DreamTech核心團隊有優秀的技術背景，在3D生成領域有深厚的學術積累，相信團隊在張飛虎博士的帶領下會成為全球AI生成領域的一股新的力量。”

啟迪之星創投總經理、管理合夥人劉博表示：“我們非常看重DreamTech透過端到端的原生3D生成技術，成功解決了Janus多頭問題。生成的高質量3D模型能夠無縫整合到Unity、Blender和3DS Max等主流軟體中，顯著提升了3D建模的效率和精度。核心團隊成員來自牛津大學、南京大學、港中文等頂級學府，具備豐富的技術和市場經驗，並曾參與多個被收購的3D專案，積累了深厚的行業知識和獨到的見解。我們相信，DreamTech不僅符合我們對早期創新企業的投資理念，還將在推動3D建模技術進步和拓展遊戲開發、3D列印等領域的市場應用中開創廣闊的前景。”

初心資本合夥人許暘洋表示：“我們堅信技術創新是3D生成技術迅猛發展浪潮中構建核心競爭力的基石。正如Midjourney憑藉其自主研發的模型贏得市場認可，Runway作為Stable Diffusion的共同創造者獲得業界讚譽，初心看好在3D生成領域深耕細作，具備技術壁壘與優秀迭代能力的團隊。DreamTech的原生三維生成技術突破了傳統3D生成的限制，其生成速度和質量均達到了商業化要求，解決了長期困擾行業的高質量三維內容生成難題。DreamTech作為稀缺的具有深厚學術積累和明確應用場景的3D生成平臺及應用開發商，初心看好其團隊持續打造質量過硬、市場信任的模型及產品的能力，並致力於與團隊並肩前行，從3D原生出發，迎接4D時空體驗的到來。”