CVPR2025高分論文！從照片重建3D向量，告別模糊渲染！重建邊緣更清晰

點選下方卡片，關注“CVer”公眾號

AI/CV重磅乾貨，第一時間送達

點選進入—>【頂會/頂刊】投稿交流群

新增微訊號：CVer2233，小助手會拉你進群！

掃描下方二維碼，加入CVer學術星球！可以獲得最新頂會/頂刊上的論文idea和CV從入門到精通資料，及最前沿應用！發論文/搞科研/漲薪，強烈推薦！

轉載自：機器之心

三維高斯潑濺（3D Gaussian Splatting, 3DGS）技術基於高斯分佈的機率模型疊加來表徵場景，但其重建結果在幾何和紋理邊界處往往存在模糊問題。這種模糊效應會隨著重建過程中不確定性的累積而愈發顯著。如圖 1 所示，透過提高渲染解析度可以明顯觀察到這種邊界模糊現象。

圖 1：BG-Triangle 的樣例結果展示和對比

針對這一技術瓶頸，由比利時魯汶大學吳旻燁與上海科技大學戴海釗等研究人員組成的團隊在 CVPR 2025 上提出了創新性的解決方案 ——Bézier Gaussian Triangle（BG-Triangle）三維表徵方法。該方法巧妙融合了 Bézier 三角形的向量圖形特性與高斯機率模型，不僅實現了 3D 場景的精確重建，還支援解析度無關的可微渲染。透過引入不連續感知渲染技術，BG-Triangle 有效降低了物體邊界的不確定性，從而獲得更加銳利的渲染效果。與現有演算法相比，該方法還具有引數量更少的顯著優勢。

論文題目：BG-Triangle: Bézier Gaussian Triangle for 3D Vectorization and Rendering
作者：吳旻燁、戴海釗、姚凱欣、Tinne Tuytelaars、虞晶怡
論文連結：https://arxiv.org/abs/2503.13961
專案主頁和程式碼：https://wuminye.github.io/projects/BGTriangle/

背景介紹

在計算機圖形學和 3D 計算機視覺的發展過程中，場景表示經歷了從傳統的離散幾何表示到連續表示的演變。

早期，網格（meshes）、點雲（point clouds）和體素（voxels）等傳統方法被廣泛應用於 3D 重建和渲染。這些方法能顯式地精確建模場景，但難以實現基於圖片的端到端的重建最佳化。

輻射場（Radiance Fields）這種 3D 表徵的興起，使得可微渲染（differentiable rendering）更加靈活，最佳化演算法能夠直接基於渲染影像的誤差來更新 3D 表示。

Neural Radiance Fields (NeRF) 透過神經網路隱式編碼輻射場和密度場，實現了高質量的新視角合成，但由於其連續體積表示的特性，難以精確捕捉物體的邊界和幾何細節。

隨後，3D Gaussian Splatting (3DGS) 透過顯式的高斯點雲表示，提高了渲染效率和準確性，並利用連續的高斯分佈實現了靈活的表徵最佳化，適用於複雜場景的建模。

然而，這些方法在處理物體的銳利邊緣時仍然存在侷限性，尤其是在近距離觀察時，由於漸變分佈的疊加容易出現模糊或過渡不清的現象。

因此，本研究提出了一種介於離散和連續之間的三維混合表示方法，在可微渲染的框架下結合向量圖形和機率建模，利用矢量表達的靈活高效性以更少的圖元數量實現更精確的幾何和邊界建模，為 3D 場景表示提供了一種新的解決方案。

基本原理

1. 基本元素：BG-Triangle 圖元

BG-Triangle 是一種融合了貝塞爾三角形與 3D 高斯模型的場景表徵方法。該方法將每個貝塞爾三角形視為一個圖元，透過一組控制點引數化定義場景的局部曲面區域。作為顯式幾何表示，貝塞爾三角形能夠清晰確定渲染視角下的圖元輪廓範圍。此外，透過靈活調整控制點位置，可以生成不同彎曲程度的曲面和邊界。

圖 2：貝塞爾三角圖元透過控制點來改變幾何形狀

BG-Triangle 圖元還編碼了高斯的引數屬性，包括形狀、大小和顏色等資訊。利用這些屬性，可以在圖元內自由生成用於渲染的高斯分佈。這些高斯的位置與控制點相繫結，從而使圖元具備可微特性。

圖 3：貝塞爾三角形圖元中編碼的引數屬性可以構造生成出任意一點的高斯分佈的形狀和顏色

2. 不連續感知渲染

高斯雖然提供了可微的性質，但是其連續的分佈無法表達不連續的紋理和幾何邊界。為此，研究者們使用貝塞爾三角形的渲染輪廓來對高斯的分佈進行約束。具體來說，渲染演算法會重新計算輪廓邊界（圖中的白色實線）周圍區域（圖中虛線之間的區域）的高斯權重，從而降低高斯分佈對圖元外部區域的影響效果。

圖 4：BG-Triangle 使用圖元的邊界對高斯重新計算權重

透過調整邊界寬度（即兩條虛線之間的距離），可以精確控制渲染效果的銳利程度，實現不連續的邊界渲染效果。

圖 5：調整邊界的寬度可以控制邊界的銳利程度。當使用極小邊界寬度時，就型成了不連續的高斯權重

3. 渲染管線與重建最佳化

圖 6：BG-Triangle 的渲染管線

BG-Triangle 的渲染管線分為兩個部分。第一部分將圖元渲染為目標視角下的圖形緩衝區，該緩衝區包含非連續感知渲染所需的資訊。這一部分可透過現有的圖形光柵化管線實現。第二部分利用緩衝區資訊生成畫素對齊的高斯分佈，並根據邊界進行渲染。在此過程中，梯度透過第二部分的高斯生成模組直接傳遞到貝塞爾三角形圖元上。具體的梯度公式推導詳見原文附件，供感興趣的讀者參考。

在實現過程中，研究者首先使用粗糙的點雲初始化圖元位置，隨後透過動態分裂和刪除演算法在最佳化過程中調整圖元數量，以適應不同複雜度的場景。這種設計使得資訊量較少的區域僅需少量圖元即可表達，從而顯著提升了資訊利用效率。

圖 7：組成場景的圖元邊界示意圖。不同區域使用不同大小的圖元進行自適應的表示。

實驗結果

實驗結果表明，BG-Triangle 在邊界清晰度和引數效率方面表現優越。相比 3D Gaussian Splatting（3DGS）、Mip-Splatting、Mini-Splatting 和 Scaffold-GS，能以極少的圖元數量實現更高質量的渲染。在相似引數規模下，BG-Triangle 在 LPIPS 評分（感知質量）上顯著優於其他方法，且在放大渲染中仍可保持清晰的物體邊界，而 3DGS 及相關方法在近距離觀察時會產生模糊或偽影。

同時，透過對貝塞爾三角形向量線段的提取，可以組成三維的線條，用於描述場景的幾何特徵，如圖所示：

研究者們在 CUDA 中高效地實現了本文的演算法，達成了即時渲染的效果。並且在 NVIDIA 3090GPU 單卡上可以半小時左右完成場景的重建。

結論

這篇研究創新性地提出了一種基於貝塞爾三角形向量曲面的三維場景表徵方法，並提供了一種有效的端到端的可微渲染和訓練框架。

在渲染質量上，BG-Triangle 能夠保留銳利的邊界，比 3DGS 具有更好的幾何精度。同時，BG-Triangle 使用更少的圖元，在引數效率和渲染清晰度之間達到了更好的平衡。

BG-Triangle 在較小的引數量下有渲染質量優勢，尤其是在感知質量（LPIPS 評價）上優勢顯著。

何愷明在MIT授課的課件PPT下載

在CVer公眾號後臺回覆：何愷明，即可下載本課程的所有566頁課件PPT！趕緊學起來！

CVPR 2025 論文和程式碼下載

在CVer公眾號後臺回覆：CVPR2025，即可下載CVPR 2025論文和程式碼開源的論文合集

ECCV 2024 論文和程式碼下載

在CVer公眾號後臺回覆：ECCV2024，即可下載ECCV 2024論文和程式碼開源的論文合集

CV垂直方向和論文投稿交流群成立

掃描下方二維碼，或者新增微訊號：CVer2233，即可新增CVer小助手微信，便可申請加入CVer-垂直方向和論文投稿微信交流群。另外其他垂直方向已涵蓋：目標檢測、影像分割、目標跟蹤、人臉檢測&識別、OCR、姿態估計、超解析度、SLAM、醫療影像、Re-ID、GAN、NAS、深度估計、自動駕駛、強化學習、車道線檢測、模型剪枝&壓縮、去噪、去霧、去雨、風格遷移、遙感影像、行為識別、影片理解、影像融合、影像檢索、論文投稿&交流、PyTorch、TensorFlow和Transformer、NeRF、3DGS、Mamba等。

一定要備註：研究方向+地點+學校/公司+暱稱（如Mamba、多模態學習或者論文投稿+上海+上交+卡卡），根據格式備註，可更快被透過且邀請進群