CVPR2025：無需物理引擎，一個模型搞定影像渲染與分解

2025-05-13 22:45 量子位

Uni-Renderer團隊 投稿

量子位 | 公眾號 QbitAI
無需物理引擎，單個模型也能實現“渲染+逆渲染”了！
在計算機圖形和視覺領域，渲染是指將3D模型變成逼真的2D圖片，逆渲染則是從2D圖片分析出3D模型的各種屬性（如材質、光照等）。
現在，從材質分解（逆渲染）——材質編輯——物體渲染的整個流程，都被統一到了一個框架中，且在效能方面達到了新SOTA。
該研究出自港科大廣州以及趣丸科技，他們首創雙流擴散框架Uni-Renderer，將渲染（生成影像）與逆渲染（分解材質、光照、幾何）統一到單一擴散框架，實現“生成即分解”的閉環能力。
相關成果已被CVPR 2025接收，程式碼與資料全面開源。
研究團隊表示，這一成果未來將重塑影視、遊戲、AR/VR等產業的視覺生成管線。

首創雙流擴散框架

正如開頭提到，渲染是透過光線追蹤或路徑追蹤，生成高質量的影像；逆渲染是在RGB影像中提取出物件屬性，比如金屬度、粗糙度以及光照細節。
傳統方法需獨立建模訓練渲染器與逆渲染器，計算成本高效率低泛化差，兩個過程也缺乏聯絡，精度和屬性分解效果都有限。
而Uni-Renderer的雙流擴散架構將兩個過程建模為雙條件生成任務，生成時以材質、光照為條件輸出影像，分解時以影像為條件反推內在屬性：
其中渲染流負責生成RGB影像：以VAE編碼材質、法線、光照為條件，透過擴散過程生成影像，支援動態調整粗糙度/金屬值（如“光滑棒球”秒變“金屬質感”）。
而逆渲染流負責處理內在屬性：以影像為輸入，透過噪聲預測網路分解屬性， 並在網路內部進行跨流互動，實現資訊傳遞融合最佳化協同。
此外，團隊還採用了差異化的timestep排程策略，透過不同的timestep使模型區分渲染和逆渲染的對映關係，讓這兩者能更好協同。
最後，鑑於傳統逆渲染因“材質-光照-幾何”耦合性導致分解模糊。
因此，他們將逆渲染分解得到的屬性，再次輸入到渲染模組進行再渲染，並藉助迴圈約束確保分解結果可重新生成一致影像，徹底告別“分解即失真”。

實測對比，效能碾壓SOTA

1、材質編輯
對比Subias（過曝）、InstructPix2Pix（背景錯誤），Uni-Renderer精準控制高光與漫反射，如下圖中“金屬橙子”表面反射環境光照，細節逼真。
2、重光照
如下圖所示，輸入單張影像，直接替換環境光為“夕陽/霓虹”，模型自動調整漫反射與鏡面反射，光影過渡自然，超越NvDiffRec的生硬效果。
3、真實場景
下圖中，“水壺”逆渲染成功解析高頻環境光，金屬質感與粗糙度誤差僅3%。
概括而言，透過在生成階段，以材質、光照為條件輸出影像；分解階段，以影像為條件反推內在屬性，效率提升了200%。
同時，Uni-Renderer強制內在屬性與影像的一致性，在公開測試集上材質估計誤差降低40%，光照分解PSNR提升30%。
另外，研究基於Objaverse構建業界最大規模多材質合成數據集，涵蓋20萬3D物件、121種材質/光照組合，支援高解析度（1024×1024）訓練。模型在未見過的真實場景中（如金屬水壺、手機支架）仍能精準分解高光、粗糙度與複雜光照。
在渲染任務中，PSNR達30.72（對比基線28.09），逆渲染任務中，材質估計MSE僅0.118（最佳化方法0.316）；重光照效果超越GaussianShader等方案，真實感拉滿。

開源即用

目前團隊對Uni-renderer同步進行了開源，包括：
  • 程式碼庫：支援一鍵訓練/推理，相容PyTorch生態；
  • 合成數據集：20萬物件+百萬級材質-光照組合，涵蓋數理化生多領域；
  • 預訓練模型：即插即用於遊戲資產生成、影視後期、工業設計等場景。
這項研究的作者為陳知非, 許添碩以及葛汶杭，他們是來自於香港科技大學（廣州）ENVISION實驗室的博士生，師從陳穎聰教授。
（ENVISION實驗室專注於視覺生成模型的研究，致力於探索其基本原理，以提高模型的質量、效率、多樣性和可控性。）

小結一下，Uni-Renderer的提出，標誌著視覺生成與解析從“分而治之”邁入“統一智慧”時代。
其雙流架構與迴圈約束機制，為跨任務聯合最佳化提供了全新正規化。
未來，團隊將進一步融合真實資料，攻克複雜動態場景，讓人工智慧成為“全能視覺工程師”。

論文連結：

https://arxiv.org/pdf/2412.15050

GitHub程式碼：

https://yuevii.github.io/unirenderer-page/

實驗室官網：https://envision-research.hkust-gz.edu.cn/index.html#news
— 完 —
學術投稿請於工作日發郵件到：
[email protected]
標題註明【投稿】，告訴我們：
你是誰，從哪來，投稿內容‍
附上論文/專案主頁連結，以及聯絡方式哦
我們會（儘量）及時回覆你
一鍵關注 👇 點亮星標
科技前沿進展每日見
一鍵三連「點贊」「轉發」「小心心」
歡迎在評論區留下你的想法！

相關文章