點選下方卡片，關注“CVer”公眾號
AI/CV重磅乾貨，第一時間送達
AI/CV重磅乾貨，第一時間送達
新增微訊號：CVer2233，小助手會拉你進群！
掃描下方二維碼，加入CVer學術星球！可以獲得最新頂會/頂刊上的論文idea和CV從入門到精通資料，及最前沿應用！發論文/搞科研/漲薪，強烈推薦！
新增微訊號：CVer2233，小助手會拉你進群！
掃描下方二維碼，加入CVer學術星球！可以獲得最新頂會/頂刊上的論文idea和CV從入門到精通資料，及最前沿應用！發論文/搞科研/漲薪，強烈推薦！
作者：中山大學、大灣區大學
【研究背景】
隨著深度學習與3D技術的發展，三維高斯潑濺（3D Gaussian Splatting，3DGS）[1]在3D場景重建或逼真新檢視合成方面取得了巨大的進展。給定一組2D檢視作為輸入，3DGS透過最佳化顯式的三維高斯橢球來表示3D場景。
現在3DGS已經成為了主流的三維多檢視重建技術，並生成了豐富的三維數字資產。然而，考慮到安全性、嵌入容量、魯棒性以及訓練效率等諸多因素，現在並沒有一種行之有效的方法來保護這些三維數字資產的智慧財產權。導致其容易被非法使用者盜用，造成經濟上的損失（如圖1所示）。
圖1：三維數字資產被非法盜用示意圖
【研究挑戰和存在的方法】
在三維數字資產中嵌入水印是一種有效的智慧財產權保護手段。然而，如何設計一個高效且適用於3DGS的水印演算法仍然是一個具有挑戰性的問題，需要綜合考慮以下幾個關鍵因素：
-
安全性與不可見性，水印嵌入後的模型在引數格式和渲染效果上應與原始模型保持一致，難以被察覺或區分，且不影響三維數字資產的正常使用；
-
嵌入容量，水印演算法應當支援大容量的資訊嵌入，並且能從渲染影像中將資訊完整地提取出來；
-
魯棒性，水印需具備強魯棒性，即使經過各種處理和攻擊，包括對渲染影像以及模型引數的攻擊，仍難以被去除或篡改，從而確保數字資產的版權保護效果；
-
最佳化效率，水印演算法需要足夠高效以滿足現實世界的對最佳化速度的要求。
現有的水印方法在3DGS框架下仍存在侷限性，主要可歸納為以下三類：1）直接將2D水印技術應用於2D訓練影像或渲染檢視。例如，使用HiDDeN[2]對2D渲染檢視進行水印嵌入，這樣只能保護渲染檢視，但卻無法保護原始模型檔案。此外，如圖2（a）所示，直接在帶有水印的影像上訓練3D模型會導致較低的資訊提取率，這是因為無法保證新視角下的渲染影像包含一致的水印資訊；2）如圖2（b）所示，在3D模型最佳化過程中直接嵌入水印資訊（如CopyRNeRF[3]、GS-Hider[4]等）雖然可以確保水印在不同視角下的一致性，但需要針對每個場景最佳化一個新的資訊解碼器，導致計算
圖2：四種不同的數字水印流程框架
和管理的成本較高；3）如圖2（c）所示，使用基於預訓練的2D 水印網路的資訊解碼器進行水印嵌入（如WateRF[5]、NeRFProtector[6]、GaussianMarker[7]、3D-GSW[8]等）可以避免逐場景最佳化。然而，2D水印網路採用編碼器-解碼器架構，其中編碼器試圖保持輸入與輸出影像之間的保真度，而解碼器則儘可能完整地從輸出影像中提取水印資訊。因此，具有較高的最佳化成本，且使用其解碼器進行水印嵌入可能會受到保真度與資訊容量之間權衡的影響，導致效能下降。
圖3：現有方法的效能（左圖）和水印最佳化曲線（右邊
為此，我們提出了GuardSplat，這是一種新的3DGS數字水印方法。如圖2（d）所示，我們利用CLIP[9]的文字-影像對齊能力，將解碼器的最佳化從2D水印方法中固有的編碼器-解碼器的最佳化框架中解耦了出來，顯著降低了最佳化成本，並展現出卓越的嵌入容量和最佳化效率（見圖3）。隨後，我們專門設計了適用於3DGS的水印嵌入模組，將水印資訊無縫嵌入到每個3D高斯橢球的球諧特徵中。這種方式不僅能保持其原始的3D結構，還能防止惡意使用者從模型檔案中移除水印，實現了優越的不可見性和安全性。此外，我們還設計了一種抗畸變訊息提取模組，使得水印嵌入的球諧特徵能夠在各種視覺畸變的影響下保持高度魯棒性。整個最佳化過程分為兩部分，其中解碼器的預訓練和水印最佳化分別僅需要5和10分鐘。本文工作發表在CVPR 2025上。
專案主頁：
https://narcissusex.github.io/GuardSplat
程式碼：github.com/NarcissusEx/GuardSplat
論文：https://arxiv.org/abs/2411.19895
附：陳子軒是第一作者，謝曉華教授為通訊作者。此工作在中山大學計算機學院完成，感謝王廣聰教授、朱嘉豪同學和賴劍煌教授在工作中給予的幫助和支援！
【研究動機】
三維高斯潑濺（3DGS）在基於多檢視的新檢視合成方面取得了實質性進展，現已成為了主流的三維多檢視重建技術，並生成了豐富的三維數字資產。然而，考慮到安全性、嵌入容量、魯棒性以及訓練效率等諸多因素，現在並沒有一種行之有效的方法來保護這些三維數字資產的版權。導致其容易被非法使用者盜用，造成經濟上的損失。
圖4: 本文所提出的GuardSplat的應用示意圖
圖5: 本文所提出的GuardSplat框架圖
【方法框架】
上圖展示了我們方法GuardSplat的框架圖。GuardSplat主要由三個部分組成，包括1）由CLIP引導的資訊解耦最佳化管線；
2）球諧感知的資訊嵌入模組；
3) 抗畸變的訊息提取模組。
具體來說，（a）在解碼器的預訓練階段，我們首先基於CLIP構建了一個密文的自動編碼器，用於最佳化解碼器
。然後，在水印嵌入階段，（b）我們設立了一組球諧偏移量並固定住解碼器，透過梯度反傳的方式將水印資訊無縫嵌入到每個3D高斯點雲的球諧特徵中。（c）最後我們透過在水印最佳化階段不斷可微地模擬視覺失真的方式，來提升水印模型的魯棒性。
【本文的主要貢獻】
本文的主要貢獻有三點：1）GuardSplat，一種用於保護 3DGS 資產版權的新型水印框架。2）我們提出CLIP引導的訊息解耦最佳化模組，實現卓越的嵌入容量和最佳化效率。同時，我們針對3DGS設計了訊息嵌入方法以滿足不可見性和安全性的要求，並引入抗畸變的訊息提取模組來提升魯棒性。3）透過實驗驗證（見圖5），GuardSplat在效能上超越現有方法，並實現了高效的解碼器最佳化（5分鐘）和水印嵌入速度（10分鐘）。
【實驗結果：嵌入容量和不可見性評估】
【實驗結果：魯棒性評估】
【實驗結果：視覺化結果對比】
圖6: Blender[10]資料集上的對比結果
圖7: LLFF[11]資料集上的對比結果
【參考文獻】
[1]Bernhard Kerbl, Georgios Kopanas, Thomas Leimk¨uhler, and George Drettakis. 3d gaussian splatting for real-time radiance field rendering. ACM Transactions on Graphics (ACM TOG), 42(4):1–14, 2023.
[2]Jiren Zhu, Russell Kaplan, Justin Johnson, and Li Fei-Fei. Hidden: Hiding data with deep networks. In Proceedings of the European Conference on Computer Vision (ECCV), pages 682–697, 2018.
[3]Ziyuan Luo, Qing Guo, Ka Chun Cheung, Simon See, and Renjie Wan. Copyrnerf: Protecting the copyright of neural radiance fields. In Proceedings of the International Conference on Computer Vision (ICCV), pages 22401–22411, 2023.
[4]Xuanyu Zhang, Jiarui Meng, Runyi Li, Zhipei Xu, Jian Zhang, et al. Gs-hider: Hiding messages into 3d gaussian splatting. In Proceedings of the International Conference on Neural Information Processing Systems (NeurIPS), pages 49780–49805, 2024.
[5]Youngdong Jang, Dong In Lee, MinHyuk Jang, Jong Wook Kim, Feng Yang, and Sangpil Kim. Waterf: Robust watermarks in radiance fields for protection of copyrights. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 12087–12097, 2024.
[6]Qi Song, Ziyuan Luo, Ka Chun Cheung, Simon See, and Renjie Wan. Protecting nerfs' copyright via plug-and-play watermarking base model. In Proceedings of the European Conference on Computer Vision (ECCV), pages 57–73. Springer, 2024.
[7]Xiufeng Huang, Ruiqi Li, Yiu-ming Cheung, Ka Chun Cheung, Simon See, and Renjie Wan. Gaussianmarker: Uncertainty-aware copyright protection of 3d gaussian splatting. In Proceedings of the International Conference on Neural Information Processing Systems (NeurIPS), pages 33037–33060, 2024.
[8]Youngdong Jang, Hyunje Park, Feng Yang, Heeju Ko, Euijin Choo, and Sangpil Kim. 3d-gsw: 3d gaussian splatting watermark for protecting copyrights in radiance fields. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2025.
[9]Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, et al. Learning transferable visual models from natural language supervision. In Proceedings of the International Conference on Machine Learning (ICLR), pages 8748–8763. PMLR, 2021.
[10]Ben Mildenhall, Pratul P Srinivasan, Matthew Tancik, Jonathan T Barron, Ravi Ramamoorthi, and Ren Ng. Nerf: Representing scenes as neural radiance fields for view synthesis. Communications of the ACM, 65(1):99–106, 2021.
[11]Ben Mildenhall, Pratul P Srinivasan, Rodrigo Ortiz-Cayon, Nima Khademi Kalantari, Ravi Ramamoorthi, Ren Ng, and Abhishek Kar. Local light field fusion: Practical view synthesis with prescriptive sampling guidelines. ACM Transactions on Graphics (ACM TOG), 38(4):1–14, 2019.
何愷明在MIT授課的課件PPT下載
何愷明在MIT授課的課件PPT下載
CVPR 2025 論文和程式碼下載
CVPR 2025 論文和程式碼下載
ECCV 2024 論文和程式碼下載
ECCV 2024 論文和程式碼下載
CV垂直方向和論文投稿交流群成立
一定要備註：研究方向+地點+學校/公司+暱稱（如Mamba、多模態學習或者論文投稿+上海+上交+卡卡），根據格式備註，可更快被透過且邀請進群
▲掃碼或加微訊號: CVer2233，進交流群
CVer計算機視覺（知識星球）來了！想要了解最新最快最好的CV/DL/AI論文速遞、優質實戰專案、AI行業前沿、從入門到精通學習教程等資料，歡迎掃描下方二維碼，加入CVer計算機視覺（知識星球），已彙集上萬人！
▲掃碼加入星球學習
▲點選上方卡片，關注CVer公眾號
整理不易，請點贊和在看
▲掃碼或加微訊號: CVer2233，進交流群
CVer計算機視覺（知識星球）來了！想要了解最新最快最好的CV/DL/AI論文速遞、優質實戰專案、AI行業前沿、從入門到精通學習教程等資料，歡迎掃描下方二維碼，加入CVer計算機視覺（知識星球），已彙集上萬人！
▲掃碼加入星球學習
▲點選上方卡片，關注CVer公眾號
整理不易，請點贊和在看