CVPR2025|多視角視覺目標跟蹤新突破！MITracker：高效融合多視角特徵，解決遮擋與目標丟失問題！

2025-04-21 18:04 CVer

點選下方卡片，關注“CVer”公眾號

AI/CV重磅乾貨，第一時間送達
點選進入—>【目標跟蹤】投稿交流群

新增微訊號：CVer2233，小助手會拉你進群！
掃描下方二維碼，加入CVer學術星球！可以獲得最新頂會/頂刊上的論文idea和CV從入門到精通資料，及最前沿應用！發論文/搞科研/漲薪，強烈推薦！

【CVPR 2025】上海科技大學生醫工學院|多視角視覺目標跟蹤新突破！MITracker：高效融合多視角特徵，解決遮擋與目標丟失問題！
●Title: MITracker: Multi-View Integration for Visual Object Tracking
●論文: https://arxiv.org/abs/2502.20111
●主頁: mii-laboratory.github.io/MITracker/   

動機：

視覺目標跟蹤是計算機視覺領域的核心任務之一，廣泛應用於增強現實、自動駕駛等場景。然而，傳統的單視角跟蹤方法在面對遮擋、目標丟失等挑戰時表現不佳。儘管多視角跟蹤（MVOT）透過多視角資訊的互補性提供了潛在的解決方案，但該領域的發展受到以下限制： 
1. 資料集限制：現有的多視角資料集大多侷限於特定類別（如行人或鳥類），缺乏通用性。 
2. 方法限制：現有的多視角跟蹤方法主要依賴於檢測和重識別技術，難以實現類無關的目標跟蹤。 
3. 跨視角資訊融合不足：現有的方法在跨視角資訊融合方面效果有限，難以應對複雜的空間關係和視角變化。
為了解決這些問題，我們提出了一個新的多視角跟蹤資料集 MVTrack 和一個高效的多視角跟蹤方法 MITracker，旨在透過多視角資訊的融合提升跟蹤的魯棒性和準確性。   

本文貢獻：

1. MVTrack資料集：我們構建了一個大規模的多視角跟蹤資料集，包含234K高質量標註幀，涵蓋27個不同類別的物體和9種具有挑戰性的跟蹤屬性（如遮擋、變形等）。MVTrack是首個支援類無關多視角跟蹤訓練和評估的綜合性資料集。 
2. MITracker方法：我們提出了一種新穎的多視角跟蹤方法MITracker，透過將2D影像特徵轉換為3D特徵體積，並利用鳥瞰圖（BEV）引導的多視角資訊融合機制，顯著提升了跟蹤的穩定性和準確性。 
3. 效能提升：MITracker在MVTrack和GMTD資料集上均達到了最先進的效能，特別是在遮擋和目標丟失等複雜場景下，恢復率從56.7%提升至79.2%。

MVTrack資料集特性: 
 

●多視角資料：3-4個同步相機拍攝，確保多視角重疊。 
●豐富類別：涵蓋27個日常物體，從小型物體（如筆）到大型物體（如雨傘）。 
●高質量標註：每幀提供精確的2D邊界框（BBox）和鳥瞰圖（BEV）標註。 
●挑戰性屬性：包含9種常見的跟蹤挑戰，如背景雜亂、運動模糊、部分遮擋、完全遮擋、目標消失等。 
●大規模資料：包含260個影片，總計234,430幀，分為訓練集、驗證集和測試集。   

MITracker方法亮點: 
 

1. 多視角特徵融合：透過將多視角的2D特徵投影到3D空間，並利用BEV引導的特徵聚合，顯著增強了模型的空間理解能力。 
2. 空間增強注意力機制：透過引入3D感知的注意力機制，MITracker能夠在目標丟失或遮擋的情況下快速恢復跟蹤。 
3. 高效跟蹤：MITracker能夠在任意長度的影片幀中跟蹤任意物體，並在多視角場景下保持穩定的跟蹤效果。   

實驗與結果: 

我們在MVTrack和GMTD資料集上進行了廣泛的實驗，MITracker在多個評估指標上均達到了最先進的效能。特別是在多視角場景下，MITracker的表現顯著優於現有的單視角跟蹤方法，展示了其在複雜場景下的強大魯棒性。

未來工作: 

我們計劃進一步擴充套件MVTrack資料集，增加室外場景和更多類別的物體，以提升模型的泛化能力。同時，我們也將探索減少對相機校準的依賴，使MITracker在更多實際場景中應用。

總結: 

MITracker透過多視角資訊的有效融合，解決了傳統單視角跟蹤中的遮擋和目標丟失問題，為多視角視覺目標跟蹤領域提供了新的解決方案。我們相信，MVTrack資料集和MITracker方法將為未來的研究提供強有力的支援，推動視覺目標跟蹤技術的進一步發展。

何愷明在MIT授課的課件PPT下載


在CVer公眾號後臺回覆：何愷明，即可下載本課程的所有566頁課件PPT！趕緊學起來！

CVPR 2025 論文和程式碼下載


在CVer公眾號後臺回覆：CVPR2025，即可下載CVPR 2025論文和程式碼開源的論文合集

ECCV 2024 論文和程式碼下載


在CVer公眾號後臺回覆：ECCV2024，即可下載ECCV 2024論文和程式碼開源的論文合集
目標跟蹤和論文投稿交流群成立
掃描下方二維碼，或者新增微訊號：CVer2233，即可新增CVer小助手微信，便可申請加入CVer-目標跟蹤和論文投稿微信交流群。另外其他垂直方向已涵蓋：目標檢測、影像分割、目標跟蹤、人臉檢測&識別、OCR、姿態估計、超解析度、SLAM、醫療影像、Re-ID、GAN、NAS、深度估計、自動駕駛、強化學習、車道線檢測、模型剪枝&壓縮、去噪、去霧、去雨、風格遷移、遙感影像、行為識別、影片理解、影像融合、影像檢索、論文投稿&交流、PyTorch、TensorFlow和Transformer、NeRF、3DGS、Mamba等。
一定要備註：研究方向+地點+學校/公司+暱稱（如目標跟蹤或者論文投稿+上海+上交+卡卡），根據格式備註，可更快被透過且邀請進群

▲掃碼或加微訊號: CVer2233，進交流群
CVer計算機視覺（知識星球）來了！想要了解最新最快最好的CV/DL/AI論文速遞、優質實戰專案、AI行業前沿、從入門到精通學習教程等資料，歡迎掃描下方二維碼，加入CVer計算機視覺（知識星球），已彙集上萬人！

▲掃碼加入星球學習
▲點選上方卡片，關注CVer公眾號
整理不易，請贊和在看


相關文章