CVPR2025|拿下多個第一！MonSter：雙目深度估計大模型

點選下方卡片，關注“CVer”公眾號

AI/CV重磅乾貨，第一時間送達

點選進入—>【頂會/頂刊】投稿交流群

新增微訊號：CVer2233，小助手會拉你進群！

掃描下方二維碼，加入CVer學術星球！可以獲得最新頂會/頂刊上的論文idea和CV從入門到精通資料，及最前沿應用！發論文/搞科研/漲薪，強烈推薦！

本文介紹了MonSter，一種用於立體深度估計的基礎模型，旨在利用單目深度估計和立體匹配的互補優勢，解決現有立體匹配方法難以處理匹配線索有限的不適定區域，如遮擋、無紋理、細結構、反光等區域，在提升精度的同時增強泛化效能。透過雙分支結構，迴圈迭代最佳化單目深度與雙目深度，並設計了“單目引導增強(MGR)”和“立體引導對齊(SGA)”的模組，充分結合兩分支深度的優勢。實驗結果表明，MonSter在五個最常用的benchmark上均達到SOTA——Sceneflow、KITTI 2012、KITTI 2015、Middlebury和ETH3D。在泛化性方面，MonSter僅僅使用少量公開訓練集就達到最優水準。

相關論文 MonSter: Marry Monodepth to Stereo Unleashes Power 獲得 CVPR 2025 Highlight，程式碼已開源。

論文地址：https://arxiv.org/abs/2501.08643

專案程式碼：https://github.com/Junda24/MonSter

目前 MonSter在 ETH3D， KITTI 2012， KITTI 2015等多個排行榜位列第一/並列第一。

KITTI 2015:

KITTI 2012：

ETH3D：

1. 引言：

立體匹配從經過校正的立體影像中估計視差，然後可轉換為絕對深度。它是自動駕駛、機器人導航和三維重建等許多應用的核心。基於深度學習的方法在標準基準測試上表現出了令人矚目的效能。這些方法大致可分為基於代價濾波的方法和基於迭代最佳化的方法，但本質上都是從相似性匹配中推匯出視差，基於兩幅影像中存在可見匹配關係的假設。這就給匹配線索有限的病態區域（如遮擋、無紋理區域、重複/細長結構以及畫素表示較低的遠處物體）中帶來了挑戰。

與立體匹配不同，單目深度估計直接從單幅影像中恢復三維資訊，因此不會遇到誤匹配的挑戰。儘管單目深度能夠為立體匹配提供結構資訊，但其深度不可避免的具有尺度和偏移模糊性，直接將這種相對深度和立體匹配的絕對深度進行融合無法充分結合二者的優勢。

如圖所示，單目深度模型的預測與真實值存在很大差異。即使在全域性尺度和偏移對齊之後，仍然存在大量誤差，這使得單目深度和立體視差的畫素級融合變得複雜。基於這些見解，我們提出了MonSter，這是一種將立體匹配分解為單目深度估計和逐畫素尺度-偏移恢復的新方法，它充分結合了單目和立體演算法的優點，克服了缺乏匹配線索的侷限性。主要貢獻如下:

1.我們提出了一種新穎的立體匹配方法MonSter，充分利用畫素級的單目深度先驗，顯著提高了立體匹配在病態區域和精細結構中的深度感知效能。

2.MonSter在五個廣泛使用的排行榜上排名第一：KITTI 2012、KITTI 201、Scene Flow、Middlebury和ETH3D，將當前SOTA提高了多達49.5%。

3.與SOTA方法相比，MonSter在不同資料集上始終如一地實現了最佳的零樣本泛化。僅在合成數據上訓練的MonSter在各種真實世界資料集上均表現出色。

2. 方法

核心方法：

1. 雙支路架構：

MonSter由兩個主要支路組成：單目深度支路和立體匹配支路。單目支路負責從單幅影像中提取深度資訊，而立體支路則從立體影像對中估計視差。

2. 互相強化：

這兩個支路透過名為“單目引導增強(MGR)”和“立體引導對齊(SGA)”的模組進行多次迭代，增強彼此的效能。初始的單目深度和立體視差會被互相使用，從而不斷最佳化。

3. 自適應選擇和引導：

在每次迭代中，根據置信度引導選擇可靠的立體特徵，以便更新每個畫素的單目視差。這一過程能夠有效減小因光照變化、紋理缺失等導致的錯誤匹配。MGR模組則利用最佳化後的單目深度來進一步改善立體視差。

4. 尺度、偏移最佳化：

在執行互相改進之前，首先需要對單目深度進行全域性的尺度和偏移對齊，以將其轉換為與立體視差粗略對齊的視差圖。這一對齊過程透過最小化預測的單目深度與已有立體視差之間的誤差來實現。但直接將單目視差單向融合到立體匹配中仍然會受到尺度-偏移模糊性的影響，這通常會在複雜區域（如傾斜或曲面）中引入噪聲。因此使用SGA模組有效地解決了這一問題，確保了MonSter的魯棒性

5. 條件引導卷積GRU：

在每一輪迭代，使用條件引導卷積GRU來處理不同分支的輸入及其置信度，實現對未匹配區域的細緻修正。這樣能保證單目深度為立體匹配提供穩定可靠的指導。

3. 實驗結果

1. Benchmark performance