新智元報道
新智元報道
編輯：LRST 好睏
【新智元導讀】北京大學陳寶權教授團隊提出RainyGS技術，透過結合物理模擬和3D高斯潑濺渲染框架，實現了真實場景中動態雨效的高質量模擬與呈現，真正實現「從真實到真實」，或者「以模擬亂真」，即Real2Sim2Real ！相比現有的影片編輯工具（如 Runway），其物理真實性獲得保證。該技術不僅能即時生成逼真的雨滴軌跡、水面波動和光線折射效果，還能讓使用者靈活調整雨量，為自動駕駛模擬、災害推演等場景提供畫素級可信的動態孿生。
神經輻射場（NeRF）及三維高斯潑濺（3D Gaussian Splatting，3DGS）雖能構建靜態數字孿生，卻無法模擬真實世界的動態，不僅限制了虛擬現實和混合現實的真實感，也是智慧訓練與Real2Sim2Real正規化突破的關鍵瓶頸。
如何讓數字孿生世界具備真實物理規律，實現可預測、可操控的動態環境，是自動駕駛、具身智慧等空間智慧應用亟待解決的核心挑戰。
為此，北京大學陳寶權教授研究團隊提出RainyGS技術（合作者為楚夢渝、陳文拯助理教授，博士生戴啟宇、倪星宇和本科生沈千帆），探索了一條通向「孿生世界動態模擬」的新路徑。
目前，該成果已被CVPR 2025接收。
論文地址：https://arxiv.org/abs/2503.21442
專案主頁（內附原始高質量影片）：https://pku-vcl-geometry.github.io/RainyGS/
RainyGS基於高精度表面表達，統一構建孿生世界的幾何重建、高效渲染、準確模擬及精準互動，奠定了以高質量表面表達為核心的孿生世界動態場景生成新正規化。
以降雨、洪澇等複雜流體現象為案例，RainyGS藉助3DGS的高效表面表達，融合物理模擬與即時渲染，實現了「從靜態到動態」的無縫擴充套件，不僅能夠為重建場景帶來逼真的動態雨效，精準呈現雨滴軌跡、水面波動、光線折射等物理現象，還支援使用者「動態調節雨量、風速、流向」，創造從細雨朦朧到暴雨傾盆的可控動態環境。
RainyGS並不僅僅是面向增強現實的動態場景生成技術，同時也代表了Real2Sim2Real的重要進展：RainyGS讓數字孿生世界不僅能「看見現實，呈現現實」，更能感知並預測物理變化，突破了傳統模擬工具在場景逼真多樣、高效性與互動性等方面的侷限。
以自動駕駛為例，RainyGS能在真實場景裡自動生成高逼真的雨天、洪澇等訓練資料，並提供完備的時空標籤，為無人駕駛系統在多變天氣下的安全性與可靠性提升提供堅實支撐。
此外，RainyGS還能為具身智慧體提供更加豐富的動態互動訓練環境，推動空間智慧技術的進一步發展，為自動駕駛、機器人、智慧城市等「空間智慧」領域帶來全新可能。
從多視角影像重建高保真的三維場景，RainyGS能夠高效生成具有高真實感的動態下雨效果
為什麼「動態」這麼難？
在孿生場景中新增下雨等動態現象聽起來似乎簡單，但實際卻極具挑戰。
日常的降雨現象包含雨滴在空中降落、在積水錶面形成漣漪、水面層層波動等動態，包含溼潤場景的反射折射等視覺現象，這些都意味著大量的計算。
當前，部分工作選擇將3DGS同傳統的三維空間模擬技術相融合，這往往意味著要將3DGS的表面表達轉化為只含幾何資訊的三維空間表達（如Grid體素網格、四面體mesh網格、粒子系統等等）來模擬，而渲染時又需要將資料轉換回去。
這一資料的往復轉換正是其中的瓶頸：為了保證三維空間模擬能夠高效完成，3DGS高精度表面表達往往被轉換為低解析度的全空間表達，導致幾何精度下降但計算資源飆升。
這種精度「降低」但資料量「升維」的操作不僅大量消耗計算時間空間，更因插值誤差破壞資訊一致性：高精度表面資訊被浪費，低質量插值資料引入誤差，最終讓動態和渲染呈現的真實感降低，使得許多工作無法同時滿足高保真和即時性需求。
RainyGS的破局之道：基於表面統一表達物理和外觀
RainyGS的創新之處在於，它以表面表達為核心，巧妙融合了幾何重建、模擬與渲染，在場景的多種計算之間，實現了無冗餘且無精度損失的資訊傳遞。
藉助表面表達，RainyGS無需複雜的人工干預，也不額外引入資訊插值和誤差，完美的保留了3DGS的畫素級精度，又規避全域性空間模擬的計算災難。
這種「從影像到GS表面，從GS表面到表面物理計算」的表達閉環，突破性地實現了動態雨水的高效高保真呈現。
現有大模型等影片生成技術雖能合成逼真雨景，卻常常犧牲物理規則——雨滴穿透牆體、積水無視重力、被遮擋物體「閃爍」跳變。
RainyGS的動態效果與輸入場景的幾何、材質嚴格繫結：雨滴在積水錶面撞出波紋、水流沿地面坡度自然擴散、溼潤表面折射率隨水深漸變。
這種基於表面表達的精細物理計算，使虛擬降雨的每一幀都具備可測量的真實性與三維一致性，為自動駕駛模擬、災害推演等場景提供畫素級可信的動態孿生。
與影片生成大模型的對比。現有的影片編輯方法（如 Runway Video2Video）通常難以保持輸入場景的幾何結構，並且缺乏跨視角的三維一致性（例如，被遮擋區域在重新出現時可能發生變化），生成的下雨效果也難以保證物理真實。相比之下，RainyGS 不僅能夠保持輸入幾何結構及其跨視角一致，還能生成逼真且動態變化的下雨效果
利用基於表面的表達統一場景建模和動態生成的方法論。物理現象的本質是相互作用，多種相互作用（包括可形變固體和流體等等）可以等效或近似為能透過邊界方程加以控制的表面效應。而邊界方程可以自然地透過高斯橢球中提取而來的表面點雲離散化
值得一提的是，RainyGS所採用的以表面表達統一渲染、模擬與幾何建模技術，其背後有堅實的理論支撐，具備較好的普適性，有潛力支撐大量動態現象的呈現。
物理動態主要描述的是物質間的相互作用規律，而這些相互作用往往透過表面來體現，如固體的形變、流體的波動等等表面效應，可以利用幾何和物理推導，精確地使用邊界方程進行描述。
透過離散和求解表面方程，計算機圖形學領域已研究有一系列以表面為核心的模擬演算法，如可變形物體的靜力學模擬、動力學模擬，如流體的表面張力構形、水波波動等等。
這種以表面來模擬、表達世界的正規化來源於表面作為物理互動「第一現場」的本質屬性，與高斯表達完美契合，蘊含著高效統一多種動態及呈現的巨大潛力。
RainyGS：幾何、光照與物理動態的完美結合
RainyGS 框架示意圖。首先透過輸入多視角影像，對場景的外觀與幾何進行高保真重建。隨後生成高度圖，並利用淺水模擬實現動態下雨效果（包括積水、漣漪、雨線等）。接著，在 3DGS 光柵化渲染的深度圖、法線圖等螢幕空間貼圖的基礎上，採用高效的螢幕空間光線追蹤來模擬反射與折射。最後，基於影像的渲染（IBR）將各分量進行混合，生成逼真、動態的降雨場景
RainyGS的核心在於將基於物理的雨滴和淺水模擬技術與快速的高斯潑濺渲染框架相結合，實現了真實場景中動態雨效的高質量呈現。其核心技術架構包含三大關鍵模組：
緊緻的資訊提取
基於高斯表面投影實現場景高度場的無損提取, 服務於後續高精度的物理模擬；
基於高斯表達高效渲染幾何屬性，如場景的深度圖、法向圖，服務於後續高保真的螢幕渲染；
相比於其他複合表達的工作，我們的資料表達做到了完美契合，既保證轉換資訊無冗餘，如僅提取二維高度場而非三維空間幾何，同時保證資料轉換中精度一致，減少誤差。
精準的物理建模
基於淺水波方程（SWE）精確模擬雨滴與地面的動態互動；
即時計算雨滴軌跡、漣漪擴散等複雜物理現象；
支援動態調整降雨強度，從朦朧細雨到傾盆暴雨無縫切換。
高效的外觀渲染
引入螢幕空間光線追蹤技術，精準還原水面反射與折射效果；
依託三維高斯潑濺（3DGS）和基於影像的渲染（IBR）框架實現每秒30幀的即時渲染。
這種以表面表達為核心，支撐「精準建模+物理模擬+即時渲染」的創新架構，既突破了傳統NeRF/3DGS在動態上的侷限，又避免了純物理模擬對專業建模的依賴，達到即時且準確的模擬和渲染，大大提升場景的細節和沉浸感，為數字孿生、VR/AR、大模型及智慧體訓練等任務提供了全新的動態解決方案。
逼真雨效，互動可控
RainyGS在MipNeRF360資料集以及Tanks and Temples資料集的多個真實世界場景中進行了驗證。實驗結果表明，RainyGS不僅在視覺上高度逼真，還能夠保持物理上的準確性，同時實現高效的即時效能。
與基於影片的雨效合成方法相比，RainyGS能夠更好地保持場景的三維一致性，避免了輸入場景結構的改變，並且能夠生成更加真實和動態的雨線、積水和漣漪效果。
此外，RainyGS還允許使用者靈活調整雨的強度，從「小雨」到「暴雨」，輕鬆滿足不同場景的需求。
本文影片有一定壓縮，歡迎檢視專案網站瀏覽高畫質降雨效果:https://pku-vcl-geometry.github.io/RainyGS/
MipNeRF360 – Treehill動態降雨生成結果
MipNeRF360 – Bicycle動態降雨生成結果
Tanks and Temples – Family動態降雨生成結果
Tanks and Temples – Truck動態降雨生成結果
下雨程序示意對降雨強度、水位（在圖中以 [ ] 表示）以及光照等要素的可控調節
開啟現實場景動態模擬新紀元
RainyGS的提出為多個領域帶來了新的機遇。在遊戲開發中，它可以為圖片重建的虛擬世界增添更加逼真的天氣效果，虛實結合，提升玩家的沉浸感。
在自動駕駛模擬中，RainyGS能夠為訓練場景新增極端天氣資料，幫助自動駕駛系統更好地應對複雜環境，提高安全性。
Waymo動態降雨生成結果
RainyGS透過創新性融合物理模擬與高效渲染技術，實現高度逼真的動態降雨效果。其核心優勢在於可擴充套件的架構設計——基於新型高斯表示的物理引擎不僅能精準模擬雨滴軌跡、水面漣漪等複雜流體現象，還構建了一個基於統一緊緻表達的框架，支援向多物理場耦合擴充套件，如人體動態、布料模擬、風雪天氣等。
研究團隊正基於這一框架開發更豐富的動態互動系統，致力於實現物理精確的互動式建模。該技術仍在持續演進中，但這一基於高斯表示的動態建模體系已展現出重塑數字孿生和虛擬訓練環境技術標準的潛力。
相關研究有望推動數字孿生世界邁向更逼真、更復雜的時空動態場景，將進一步拓展Real2Sim2Real的無限可能，助力智慧體訓練，推動空間智慧的發展。
參考資料：
https://arxiv.org/abs/2503.21442