CVPR2025|比高斯更靈活！港大&VAST提出DRK：新型徑向核潑濺

2025-05-15 14:15 CVer

點選下方卡片，關注“CVer”公眾號

AI/CV重磅乾貨，第一時間送達
點選進入—>【頂會/頂刊】投稿交流群

新增微訊號：CVer2233，小助手會拉你進群！
掃描下方二維碼，加入CVer學術星球！可以獲得最新頂會/頂刊上的論文idea和CV從入門到精通資料，及最前沿應用！發論文/搞科研/漲薪，強烈推薦！

在3D場景重建與表示領域，三維高斯（3D-GS）因為其快速的渲染速度，靈活的顯式表示，易於編輯的特性，已成為了當前的主流技術。三維高斯在各種下游任務，如動態場景重建，三維語義分割，數字人等都得到了廣泛的應用。但是三維高斯由於其內在的核表示缺乏靈活度，對於更少數量表示鋒利多樣的形狀仍存在諸多挑戰：
1. 形狀靈活性：高斯的投影形狀侷限於兩個方向縮放的橢圓，對於自然世界常見的直線，凹曲線等邊界缺乏擬合能力。對於複雜形狀往往需要成百上千的微小高斯來擬合。
2. 邊界控制不足：高斯核採用L2尺度的衰減，將核的鋒利程度與核大小耦合起來，不能在保證核面積較大的情況下增加其銳化度，導致高頻邊緣往往需要更多數量的高斯單元。
3. 粗糙的排序方式：三維高斯採用EWA投影，對於整個核採用中心深度進行排序。這也導致了高斯核不能太大，否則較大的重疊高斯會導致排序不一致造成的跳躍式偽影。

DRK只需要一個核即可表示基礎的幾何形狀，同時保持鋒利的邊緣。
來自香港大學、VAST的研究團隊提出了一種創新的核函式用於三維場景表示：Deformable Radial Kernel Splatting (DRK)。該表示使用新穎的核函式進行潑濺渲染，得到高質量的渲染質量，使用更少的核數量。該工作目前已經被CVPR2025接收。

DRK的引數表示：

DRK具備不同的引數來調整其形狀，曲率，銳化度等性質，具備高度靈活性。
（1）徑向基底
DRK的基礎形狀由一組（8個）徑向基底決定。其類似於腳踏車的輻條，可以具有不同的旋轉夾角以及長度來調整自身形狀。高斯投影后的二維橢球，其只有四根中心對稱的輻條決定形狀，並且固定了夾角是九十度。相比之下，DRK具有更強的形狀適配能力，能夠靈活的伸縮與旋轉輻條夾角。
（2）L1&L2混合曲率邊界
不同於高斯的L2邊界輪廓，DRK透過在L1邊界與L2邊界之間進行插值，能夠靈活的調整其邊界的曲率。L1的邊界是連線兩根徑向基輻條的線段，而L2邊界是垂直於兩根基底輻條的二次曲線。透過允許邊界具備更大的曲率半徑，DRK能夠很好的適應自然界常見的直線邊緣。

（3）自適應銳化函式
高斯函式使用L2範數衰減，導致核形狀變大時無法提高邊界的衰減速率。這是因為衰減因子受尺度引數控制，使形狀大小與邊界銳化度耦合。為解決這一問題，DRK加入了額外的銳化函式，對核函式值進行重對映，以調整衰減特性，從而實現更銳利或更模糊的邊界控制。

得益於DRK的高度靈活性，其能夠在一個單位數量下表示各種形狀。
（4）冗餘圖塊剔除
三維高斯潑濺的CUDA並行採用了二維執行緒模式。圖片被分為多個16*16的圖塊，每一個圖塊由一個第一維的執行緒組負責。每個畫素由第二維的執行緒顆粒進行渲染，每個執行緒需要處理所有觸碰到畫素所在圖塊的所有高斯單元。高斯潑濺判定高斯與圖塊相交與否的方式是判斷圖塊是否與以高斯中心為中心，最長直徑為邊長的軸對齊包圍盒相交實現的。對於各向異性的高斯單元，這可能會造成很嚴重的誤判導致計算量上升。在DRK的實現中，我們採用了分析核端點所構成的多邊形與圖塊的相交關係，實現了冗餘圖塊的剔除，保證了高效的渲染流程。

（5）快取排序
在 三維高斯的渲染框架中，高斯核的處理順序基於中心點的深度而非相交點的深度，這可能造成跳躍偽影。DRK透過維護一個快取佇列，將待處理的核以光線交點深度進行插入排序，並彈出最近的核進行渲染處理，近似了嚴格排序以避免跳躍偽影。實驗發現快取排序能夠很好的避免由於中心排序造成的錯誤遮擋關係，實現多視角一致的渲染結果。

實驗結果
（1） 新視角合成
實驗結果表明，DRK能夠在更少的核數量和空間佔用下，實現更高質量的新視角渲染。

（2）無需訓練的網格模型到DRK轉換
DRK的另一大優勢在於其靈活的表示覆蓋了三角形、多邊形網格的表示空間，能夠在無需訓練的條件下，直接將已有的網格模型轉換為DRK引數表示。同時由於其快取排序機制，能夠實現精確的排序渲染效果。這個應用將海量的已有數字資產與高真實度的重建場景連線起來，能夠實現真實世界與遊戲電影資產的混合渲染，讓當前領域向著元宇宙的目標更進一步。          

相關連結
DRK的資料與程式碼均已開源，歡迎前來嘗試：
GitHub倉庫：
https://github.com/VAST-AI-Research/Deformable-Radial-Kernel-Splatting
主頁：https://yihua7.github.io/DRK-web/
論文：https://arxiv.org/pdf/2412.11752

何愷明在MIT授課的課件PPT下載

在CVer公眾號後臺回覆：何愷明，即可下載本課程的所有566頁課件PPT！趕緊學起來！

CVPR 2025 論文和程式碼下載

在CVer公眾號後臺回覆：CVPR2025，即可下載CVPR 2025論文和程式碼開源的論文合集

ECCV 2024 論文和程式碼下載

在CVer公眾號後臺回覆：ECCV2024，即可下載ECCV 2024論文和程式碼開源的論文合集
CV垂直方向和論文投稿交流群成立
掃描下方二維碼，或者新增微訊號：CVer2233，即可新增CVer小助手微信，便可申請加入CVer-垂直方向和論文投稿微信交流群。另外其他垂直方向已涵蓋：目標檢測、影像分割、目標跟蹤、人臉檢測&識別、OCR、姿態估計、超解析度、SLAM、醫療影像、Re-ID、GAN、NAS、深度估計、自動駕駛、強化學習、車道線檢測、模型剪枝&壓縮、去噪、去霧、去雨、風格遷移、遙感影像、行為識別、影片理解、影像融合、影像檢索、論文投稿&交流、PyTorch、TensorFlow和Transformer、NeRF、3DGS、Mamba等。
一定要備註：研究方向+地點+學校/公司+暱稱（如Mamba、多模態學習或者論文投稿+上海+上交+卡卡），根據格式備註，可更快被透過且邀請進群

▲掃碼或加微訊號: CVer2233，進交流群
CVer計算機視覺（知識星球）來了！想要了解最新最快最好的CV/DL/AI論文速遞、優質實戰專案、AI行業前沿、從入門到精通學習教程等資料，歡迎掃描下方二維碼，加入CVer計算機視覺（知識星球），已彙集上萬人！

▲掃碼加入星球學習
▲點選上方卡片，關注CVer公眾號
整理不易，請點贊和在看


相關文章