新智元報道
新智元報道
編輯：LRST
【新智元導讀】OpenGS-SLAM是一種新的RGB-only SLAM系統，專門用於無界戶外場景。它透過點圖迴歸網路和3D高斯分佈（3DGS）表示，實現了精準的相機定位和高保真的場景重建，顯著提升了跟蹤精度和新視角合成的效果。
在自主駕駛、機器人導航、AR/VR等前沿應用中，Simultaneous Localization and Mapping (SLAM) 是核心技術之一。
現有基於3D高斯分佈（3DGS）的SLAM方法雖在室內場景表現出色，但使用僅RGB輸入來處理無界的戶外場景仍然面臨挑戰：
-
準確的深度和尺度估計困難，這影響了姿態精度和3DGS初始化
-
影像重疊有限且視角單一，缺乏有效的約束，導致訓練難以收斂
為了解決上述挑戰，港科廣團隊提出全新解決方案OpenGS-SLAM，僅憑RGB影像實現高精度定位與逼真場景重建。
論文連結：https://arxiv.org/abs/2502.15633
程式碼連結：https://github.com/3DAgentWorld/OpenGS-SLAM
官方主頁：https://3dagentworld.github.io/opengs-slam/
具體來說，該方法採用了一個點圖迴歸網路來生成幀間一致的點圖，儲存了來自多個標準視角的3D結構，包含了視角關係、2D到3D的對應關係和場景幾何資訊，使得相機位姿估計更加穩健，有效緩解了預訓練深度網路的誤差問題。
此外，將相機位姿估計與3DGS渲染整合到一個端到端可微的管道中，實現了位姿和3DGS引數的聯合最佳化，顯著提高了系統的跟蹤精度。
文中還設計了一種自適應比例對映器和動態學習率調整策略，能夠更準確地將點圖對映到3DGS地圖表示。
值得注意的是，在Waymo資料集上的實驗表明，OpenGS-SLAM將追蹤誤差降低至現有3DGS方法的9.8%，研究人員還在新視角合成任務上建立了一個新的基準，達到了最先進的結果。
摘要
3D Gaussian Splatting（3DGS）已成為SLAM領域的一種流行解決方案，因其能夠生成高保真的新視角影像。
然而，現有的基於3DGS的方法主要針對室內場景，並依賴於RGB-D感測器或預訓練的深度估計模型，因此在戶外場景中的表現較差。
為了解決這一問題，研究人員提出了一種針對無界戶外場景的純RGB 3DGS SLAM方法OpenGS-SLAM。
從技術上來說，該方法先引入了一種Pointmap迴歸網路，用於在不同幀之間生成一致的Pointmap以進行位姿估計。
與常用的深度圖相比，Pointmap能夠包含跨多個視角的空間關係和場景幾何資訊，從而實現更魯棒的相機位姿估計。
隨後，將估計得到的相機位姿與3DGS渲染結合，構建端到端可微分最佳化管線，使得相機位姿與3DGS場景引數能夠同時最佳化，顯著提高了系統的跟蹤精度。
此外，研究人員還為Pointmap迴歸網路設計了一種自適應尺度對映器（Adaptive Scale Mapper），能夠更準確地將Pointmap對映到3DGS結構表示中。
在Waymo資料集上的實驗結果表明，OpenGS-SLAM將跟蹤誤差降低至現有3DGS方法的9.8%，並在新視角合成（Novel View Synthesis, NVS）任務上達到了最新的SOTA結果。
效果展示
如下圖所示，在Waymo資料集的無界戶外場景上，該方法能渲染高保真的新視角圖片，準確捕捉車輛、街道和建築物的細節。相比之下，MonoGS和GlORIE-SLAM存在渲染模糊和失真的問題。
如下圖所示，該方法擁有明顯更優的追蹤效能，在面臨大轉彎時也能穩定收斂。
基本原理
下圖為SLAM方法的管線示意圖，每一幀都會輸入一張 RGB 影像用於追蹤，當前幀和上一幀作為圖片對輸入到Pointmap迴歸網路進行位姿估計，隨後基於當前的3D高斯地圖進行位姿最佳化。
在關鍵幀處，系統執行地圖更新，並透過自適應尺度對映器（Adaptive Scale Mapper）對 Pointmap 進行處理，以插入新的3D高斯點。
此外，相機位姿與3D高斯地圖會在區域性視窗內進行聯合最佳化，確保更精準的追蹤與場景重建。
追蹤
幀間點圖迴歸與位姿估計
之前基於3DGS和NeRF的SLAM工作，主要集中在室內和小規模場景中，其中相機的運動幅度較小，視角密集。
在這種情況下，NeRF或3DGS可以直接用於最佳化相機位姿。然而，戶外場景通常涉及基於車輛的攝影，特徵是運動幅度較大且視角相對稀疏，使得直接最佳化相機位姿難以收斂。
鑑於點圖包含視角關係、2D到3D的對應關係和場景幾何資訊，研究人員提出了一種基於幀間點圖迴歸網路的位姿估計方法，旨在實現穩健且快速的當前幀相機位姿估計。
研究人員利用一個預訓練的點圖迴歸網路，結合了ViT編碼器、帶有自注意力和交叉注意力層的Transformer解碼器以及一個MLP迴歸頭，生成連續幀影像的點圖，兩個影像分支之間的資訊共享有助於點圖的正確對齊。
儘管應用點圖可能看起來有些反直覺，但它能夠在影像空間中有效表示3D形狀，並且允許在不同視角的射線之間進行三角測量，而不受深度估計質量的限制。
隨後，使用穩健且廣泛應用的RANSAC和PnP來推斷兩幀之間的相對姿態，使用這種方法，估計第k幀的位姿為
位姿最佳化
為了實現精確的相機位姿追蹤，研究人員基於3DGS可微光柵化管道，構建一套可微的相機位姿最佳化方法，定義光度損失為：
其中rr表示每個畫素的可微渲染函式，透過高斯GG和相機位姿TCWTCW生成影像，IˉIˉ表示真實影像。光度損失LphoLpho關於位姿TCWTCW的梯度為：
透過這些步驟，利用渲染函式的微分，將增量位姿更新與光度損失緊密關聯。這一策略使得相機位姿能夠基於 3DGS 渲染結果 進行端到端最佳化，從而確保高精度且穩定的位姿跟蹤。
3DGS場景表示
研究人員使用3DGS作為場景表示，提出自適應尺度對映器（Adaptive Scale Mapper），在關鍵幀時為地圖插入新的高斯點。
利用先前獲得的點圖來對映3D高斯地圖，由於幀間點圖存在尺度不穩定的問題，基於點匹配關係計算連續幀之間的相對尺度變化因子，以確保整個場景的尺度一致性。
建圖
高斯地圖最佳化
研究人員管理一個區域性關鍵幀視窗W，以選擇觀察相同區域的非冗餘關鍵幀，為後續的建圖最佳化提供更高效的多視角約束。
在每個關鍵幀上，透過聯合最佳化W視窗中的高斯屬性和相機位姿來實現區域性BA，最佳化過程仍然透過最小化光度損失進行。
為了減少高斯橢球體的過度拉伸，採用了各向同性正則化：
高斯地圖最佳化任務可以總結為：
自適應學習率調整
在經典的室內SLAM資料集中，相機通常圍繞小範圍場景運動並形成閉環，使高斯最佳化的學習率隨迭代次數逐漸衰減。
然而，文中研究的戶外資料由前向車輛相機捕獲，所經過區域不會重訪，因此需要不同的學習率衰減策略。
為此，研究人員提出了一種基於旋轉角度的自適應學習率調整策略：當車輛沿直路行駛時，學習率逐步衰減；在遇到坡道或轉彎時，動態提升學習率，以更有效地最佳化新場景。
首先，計算當前關鍵幀和上一關鍵幀之間的旋轉矩陣R1和R0，其相對旋轉矩陣為
，接著計算旋轉弧度：
接著將弧度θrad轉換為度數θ，並根據以下公式調整累計迭代次數：
當旋轉角度達到90度時，累積迭代次數將被重置。
實驗結果
精度
該方法在Waymo資料集上實現了新視角合成（NVS）的最佳效能。在追蹤精度方面，與GlORIE-SLAM相當；而相比同樣基於3DGS的SLAM方法MonoGS，誤差降低至9.8%，顯著提升了系統的魯棒性和準確性。
消融研究
下表顯示，自適應學習率調整和自適應尺度對映均對整體效能產生積極影響，而Pointmap迴歸網路更是該方法的核心支撐，對系統性能至關重要。
總結
OpenGS-SLAM是一種基於3DGS表示的RGB-only SLAM系統，適用於無界的戶外場景。該方法將點圖迴歸網路與3DGS表示結合，確保精確的相機姿態跟蹤和出色的新檢視合成能力。
與其他基於3DGS的SLAM系統相比，該方法在戶外環境中提供了更高的跟蹤精度和魯棒性，使其在實際應用中具有較高的實用性。
參考資料：
https://arxiv.org/abs/2502.15633