首個4D影片生成擴散模型！數分鐘實現4D內容生成，超81K優質資料集已開源

本文介紹由多倫多大學，北京交通大學，德克薩斯大學奧斯汀分校和劍橋大學團隊最新提出的 4D 生成擴散模型，該方法可以在幾分鐘之內可以完成時空一致的 4D 內容生成。Diffusion4D 整理篩選了約 81K 個 4D assets，利用 8 卡 GPU 共 16 執行緒，花費超過 30 天渲染得到了約四百萬張圖片，包括靜態 3D 物體環拍、動態 3D 物體環拍以及動態 3D 物體前景影片。

該方法是首個利用大規模資料集，訓練影片生成模型生成 4D 內容的框架，目前專案已經開源所有渲染的 4D 資料集以及渲染指令碼。

專案地址：

https://vita-group.github.io/Diffusion4D/

論文地址：

https://arxiv.org/abs/2405.16645

研究背景

過去的方法採用了 2D、3D 預訓練模型在 4D（動態 3D）內容生成上取得了一定的突破，但他們主要依賴於分數蒸餾取樣（SDS）或者生成的偽標籤進行最佳化，同時利用多個預訓練模型獲得監督不可避免的導致時空上的不一致性以及最佳化速度慢的問題。

4D 內容生成的一致性包含了時間上和空間上的一致性，它們分別在影片生成模型和多檢視生成模型中被探索過。基於這個洞見，Diffusion4D 將時空的一致性嵌入在一個模型中，並且一次性獲得多時間戳的跨視角監督。

具體來說，使用仔細收集篩選的高質量 4D 資料集，Diffusion4D 訓練了一個可以生成動態 3D 物體環拍檢視的擴散模型，而後利用已有的 4DGS 演算法得到顯性的 4D 表徵，該方法實現了基於文字、單張影像、3D 到 4D 內容的生成。

4D資料集

為了訓練 4D 影片擴散模型，Diffusion4D 收集篩選了高質量的 4D 資料集。已開源的 Objaverse-1.0 包含了 42K 運動的 3D 物體，在 Objaverse-xl 中包含 323K 動態 3D 物體。然而這些資料包含著大量低質量的樣本，研究者們設計了運動程度檢測、邊界溢位檢查等篩選方法，選取了共 81K 的高質量 4D 資產。

對於每一個 4D 資產，渲染得到了 24 個靜態視角的圖（上圖第一行），24 個動態視角的環拍圖（上圖第二行），以及 24 個正面動態圖（上圖第三行）。總計得到了超過四百萬張圖片，總渲染消耗約 300 GPU 天。其他資料集細節可以參考專案主頁，目前所有渲染完的資料集和原始渲染指令碼已開源，更多資料集使用方法值得探索！

方法

有了 4D 資料集之後，Diffusion4D 訓練具有 4D 感知的影片擴散模型（4D-aware video diffusion model）。過去的影片生成模型通常不具備 3D 幾何先驗資訊，但近期工作如 SV3D，VideoMV 等探索了利用影片生成模型得到靜態 3D 物體的多檢視，因此 Diffusion4D 選用了 VideoMV 作為基礎模型進行微調訓練，使得模型能夠輸出動態環拍影片。

此外設計瞭如運動強度（motion magnitude）控制模組、3D-aware classifier-free guidance 等模組增強運動程度和幾何質量。得益於影片模態具備更強的連貫性優勢，輸出的結果具有很強的時空一致性。

輸出得到動態視角環拍影片後，Diffusion4D 藉助已有的 4D 重建演算法將影片建模得到 4D 表達。具體來說採用了 4DGS 的表徵形式，以及使用粗粒度、細粒度的兩階段最佳化策略得到最終的 4D 內容。從生產環拍影片到重建 4D 內容的兩個步驟僅需花費數分鐘時間，顯著快於過去需要數小時的藉助 SDS 的最佳化式方法。