CVPR2025|無需物理引擎，一個模型搞定影像渲染與分解！

2025-04-23 03:57 CVer

點選下方卡片，關注“CVer”公眾號

AI/CV重磅乾貨，第一時間送達
點選進入—>【頂會/頂刊】投稿交流群

新增微訊號：CVer2233，小助手會拉你進群！
掃描下方二維碼，加入CVer學術星球！可以獲得最新頂會/頂刊上的論文idea和CV從入門到精通資料，及最前沿應用！發論文/搞科研/漲薪，強烈推薦！

Uni-Renderer團隊 投稿轉載自：量子位（QbitAI）
無需物理引擎，單個模型也能實現“渲染+逆渲染”了！
在計算機圖形和視覺領域，渲染是指將3D模型變成逼真的2D圖片，逆渲染則是從2D圖片分析出3D模型的各種屬性（如材質、光照等）。
現在，從材質分解（逆渲染）——材質編輯——物體渲染的整個流程，都被統一到了一個框架中，且在效能方面達到了新SOTA。
該研究出自港科大廣州以及趣丸科技，他們首創雙流擴散框架Uni-Renderer，將渲染（生成影像）與逆渲染（分解材質、光照、幾何）統一到單一擴散框架，實現“生成即分解”的閉環能力。
相關成果已被CVPR 2025接收，程式碼與資料全面開源。
研究團隊表示，這一成果未來將重塑影視、遊戲、AR/VR等產業的視覺生成管線。

首創雙流擴散框架

正如開頭提到，渲染是透過光線追蹤或路徑追蹤，生成高質量的影像；逆渲染是在RGB影像中提取出物件屬性，比如金屬度、粗糙度以及光照細節。
傳統方法需獨立建模訓練渲染器與逆渲染器，計算成本高效率低泛化差，兩個過程也缺乏聯絡，精度和屬性分解效果都有限。
而Uni-Renderer的雙流擴散架構將兩個過程建模為雙條件生成任務，生成時以材質、光照為條件輸出影像，分解時以影像為條件反推內在屬性：
其中渲染流負責生成RGB影像：以VAE編碼材質、法線、光照為條件，透過擴散過程生成影像，支援動態調整粗糙度/金屬值（如“光滑棒球”秒變“金屬質感”）。
而逆渲染流負責處理內在屬性：以影像為輸入，透過噪聲預測網路分解屬性， 並在網路內部進行跨流互動，實現資訊傳遞融合最佳化協同。
此外，團隊還採用了差異化的timestep排程策略，透過不同的timestep使模型區分渲染和逆渲染的對映關係，讓這兩者能更好協同。
最後，鑑於傳統逆渲染因“材質-光照-幾何”耦合性導致分解模糊。
因此，他們將逆渲染分解得到的屬性，再次輸入到渲染模組進行再渲染，並藉助迴圈約束確保分解結果可重新生成一致影像，徹底告別“分解即失真”。

實測對比，效能碾壓SOTA

1、材質編輯
對比Subias（過曝）、InstructPix2Pix（背景錯誤），Uni-Renderer精準控制高光與漫反射，如下圖中“金屬橙子”表面反射環境光照，細節逼真。
2、重光照
如下圖所示，輸入單張影像，直接替換環境光為“夕陽/霓虹”，模型自動調整漫反射與鏡面反射，光影過渡自然，超越NvDiffRec的生硬效果。
3、真實場景
下圖中，“水壺”逆渲染成功解析高頻環境光，金屬質感與粗糙度誤差僅3%。
概括而言，透過在生成階段，以材質、光照為條件輸出影像；分解階段，以影像為條件反推內在屬性，效率提升了200%。
同時，Uni-Renderer強制內在屬性與影像的一致性，在公開測試集上材質估計誤差降低40%，光照分解PSNR提升30%。
另外，研究基於Objaverse構建業界最大規模多材質合成數據集，涵蓋20萬3D物件、121種材質/光照組合，支援高解析度（1024×1024）訓練。模型在未見過的真實場景中（如金屬水壺、手機支架）仍能精準分解高光、粗糙度與複雜光照。
在渲染任務中，PSNR達30.72（對比基線28.09），逆渲染任務中，材質估計MSE僅0.118（最佳化方法0.316）；重光照效果超越GaussianShader等方案，真實感拉滿。

開源即用

目前團隊對Uni-renderer同步進行了開源，包括：
  • 程式碼庫：支援一鍵訓練/推理，相容PyTorch生態；
  • 合成數據集：20萬物件+百萬級材質-光照組合，涵蓋數理化生多領域；
  • 預訓練模型：即插即用於遊戲資產生成、影視後期、工業設計等場景。
這項研究的作者為陳知非, 許添碩以及葛汶杭，他們是來自於香港科技大學（廣州）ENVISION實驗室的博士生，師從陳穎聰教授。
（ENVISION實驗室專注於視覺生成模型的研究，致力於探索其基本原理，以提高模型的質量、效率、多樣性和可控性。）
小結一下，Uni-Renderer的提出，標誌著視覺生成與解析從“分而治之”邁入“統一智慧”時代。
其雙流架構與迴圈約束機制，為跨任務聯合最佳化提供了全新正規化。
未來，團隊將進一步融合真實資料，攻克複雜動態場景，讓人工智慧成為“全能視覺工程師”。
論文連結：https://arxiv.org/pdf/2412.15050GitHub程式碼：https://yuevii.github.io/unirenderer-page/
實驗室官網：https://envision-research.hkust-gz.edu.cn/index.html#news

何愷明在MIT授課的課件PPT下載

在CVer公眾號後臺回覆：何愷明，即可下載本課程的所有566頁課件PPT！趕緊學起來！

CVPR 2025 論文和程式碼下載

在CVer公眾號後臺回覆：CVPR2025，即可下載CVPR 2025論文和程式碼開源的論文合集

ECCV 2024 論文和程式碼下載

在CVer公眾號後臺回覆：ECCV2024，即可下載ECCV 2024論文和程式碼開源的論文合集
CV垂直方向和論文投稿交流群成立
掃描下方二維碼，或者新增微訊號：CVer2233，即可新增CVer小助手微信，便可申請加入CVer-垂直方向和論文投稿微信交流群。另外其他垂直方向已涵蓋：目標檢測、影像分割、目標跟蹤、人臉檢測&識別、OCR、姿態估計、超解析度、SLAM、醫療影像、Re-ID、GAN、NAS、深度估計、自動駕駛、強化學習、車道線檢測、模型剪枝&壓縮、去噪、去霧、去雨、風格遷移、遙感影像、行為識別、影片理解、影像融合、影像檢索、論文投稿&交流、PyTorch、TensorFlow和Transformer、NeRF、3DGS、Mamba等。
一定要備註：研究方向+地點+學校/公司+暱稱（如Mamba、多模態學習或者論文投稿+上海+上交+卡卡），根據格式備註，可更快被透過且邀請進群

▲掃碼或加微訊號: CVer2233，進交流群
CVer計算機視覺（知識星球）來了！想要了解最新最快最好的CV/DL/AI論文速遞、優質實戰專案、AI行業前沿、從入門到精通學習教程等資料，歡迎掃描下方二維碼，加入CVer計算機視覺（知識星球），已彙集上萬人！

▲掃碼加入星球學習
▲點選上方卡片，關注CVer公眾號
整理不易，請點贊和在看


相關文章