TDRL：受到蜂群複雜運動模式的啟發，本文提出了一種融合運動與外觀特徵的並行關聯跟蹤新正規化，並構建了一個極具挑戰性的大規模基準資料集 BEE24。
論文標題：
TOPIC:A Parallel Association Paradigm for Multi-Object Tracking under Complex Motions and Diverse Scenes
論文地址：
https://ieeexplore.ieee.org/document/10851814
程式碼倉庫：
https://github.com/holmescao/TOPICTrack
資料集主頁：
https://holmescao.github.io/datasets/BEE24
效果展示：
導語
影片資料和演算法的進步推動了多目標跟蹤（MOT）領域的發展。現有的 MOT 資料集主要關注遮擋和外觀相似性問題，而複雜的運動模式雖廣泛存在，卻常被忽視。
為了解決這一問題，我們提出了一個新資料集——BEE24，旨在突出展示覆雜的運動場景。BEE24 特別具有挑戰性，因為它要求跟蹤多個外觀相似且運動複雜的小蜜蜂，並且這些物體的運動持續時間較長，這十分貼近實際需求（如蜜蜂養殖和無人機群體監控）。
身份關聯演算法一直是 MOT 研究的核心。現有的跟蹤演算法大致可以分為兩類：單特徵正規化（基於運動或外觀特徵）和序列正規化（透過將一種特徵作為主特徵，另一種作為輔特徵）。
然而，這些傳統正規化無法充分利用不同特徵之間的互補性。本文提出了一種全新的並行正規化，並介紹了雙輪並行匹配方法 TOPIC。TOPIC 能夠結合運動和外觀特徵，並根據運動複雜度自適應選擇最合適的特徵作為匹配度量。
此外，我們還設計了一個基於注意力機制的外觀重建模組 AARM，該模組能夠重構外觀特徵嵌入，從而增強外觀特徵的表示能力。
綜合實驗結果表明，我們的方法在四個公開資料集以及 BEE24 上均取得了領先的效能表現。值得注意的是，我們提出的並行正規化大幅超越了現有的關聯正規化。例如，與單特徵關聯正規化相比，我們的方法能將錯誤負例減少 6% 至 81%。
背景與動機
多目標跟蹤（MOT）是計算機視覺領域的重要子領域，廣泛應用於機器人導航、智慧監控和人機互動等多個領域。在 MOT 任務中，研究者們需要從影片幀中檢測出感興趣物體的位置，並將其身份跨幀關聯起來。隨著技術的不斷進步，資料集的構建與演算法最佳化成為推動多目標跟蹤系統性能提升的關鍵。
2.1 資料集的侷限性與突破
在現有的 MOT 資料集中，研究者通常採用兩種主要的方式來應對不同場景的挑戰：一是透過擴充套件場景多樣性或物體類別，如 GMOT-40 資料集；二是關注特定挑戰，如遮擋（如 MOT17、MOT20 資料集）或高相似度的外觀（如 DanceTrack 資料集）。
然而，這些資料集中的運動模式相對簡單，多數物體的運動模式類似，且缺乏足夠的變化性，這在實際應用中可能無法有效應對複雜的運動場景。例如，蜂群在蜂箱周圍運動時，不僅會在飛行、爬行等多種模式之間頻繁切換，而且其運動速度呈現出明顯的非線性變化，如圖 2。
為了應對這種複雜運動的跟蹤問題，我們提出了一個全新的資料集——BEE24，專注於展示覆雜的運動模式。BEE24 在兩個關鍵方面豐富了資料特性：一是不同物體在同一幀內的運動差異，二是物體在幀間運動的顯著變化。
▲ 圖2：對比不同MOT資料集的特性
2.2 演算法的侷限性與突破
▲ 圖3：對比MOT演算法的資料關聯正規化
許多現有的跟蹤演算法自 2016 年 DeepSORT 以來，都遵循了序列關聯正規化。該正規化利用某一特徵（如外觀特徵或運動特徵）初步篩選候選匹配，再利用另一特徵進行主匹配，如圖 3b。
然而，這種方法未能充分利用不同特徵的優勢，且篩選過程可能導致跟蹤的遺漏（即假陰性）。最近的研究如 ByteTrack 和 OC-SORT 採用了基於單一特徵的關聯正規化（如圖 3a），單純依賴運動特徵。這種方法在某些資料集上的表現優於基於兩個特徵的序列正規化，但由於檢測器的差異，這些比較未必公平。
根據我們對不同特徵表現的分析，低速場景下（如 MOT17 和 DanceTrack），由於運動較簡單，運動特徵更有效；而在高速場景中（如 BEE24 和 GMOT-40），複雜的非線性運動使得基於運動特徵的模型面臨挑戰，這時外觀特徵的表現更佳。
考慮到上述不同特徵在不同場景中的優勢，直觀的想法是將更多特徵結合使用，從而提升效能。為此，我們提出了一個新的並行關聯正規化，並設計了 TOPIC（Two rOund Parallel matchIng meChanism）方法來實現這一正規化。
TOPIC 能夠同時使用運動和外觀特徵作為匹配度量，並根據運動複雜度自適應選擇最優特徵，從而減少假陰性（FN）的出現。與傳統的序列匹配正規化相比，這種並行正規化能夠更有效地利用不同特徵之間的互補性。
此外，我們還提出了一個基於注意力機制的外觀重建模組（AARM），用於增強物體的外觀特徵表示，提高物體在多幀間的區分度。
BEE24資料集簡介
▲ 表1：對比MOT資料集統計特性
如表 1 所示，與現有的 MOT 資料集相比，BEE24 在多個方面具有顯著的優勢和挑戰：
1. 複雜的運動模式：BEE24 資料集的運動模式更加複雜，物體在同一幀內的運動差異較大（MMSAO），且單個物體的運動隨時間變化大（MMSO）。這與許多現有資料集中的線性或低速運動形成鮮明對比，如圖 2 和 4。
2. 小物體跟蹤：BEE24 中的蜜蜂是最小的目標之一，平均物體面積遠小於 GMOT-40 等資料集中的物體，這增加了跟蹤演算法在小物體檢測和跟蹤方面的挑戰。
3. 大規模標註：資料集包含總計 446,908 個標註，最大影片時長達到 200 秒，單影片的標註數量和最大時長均超過了大部分現有資料集，尤其是在高密度場景下的跟蹤任務中，BEE24 為演算法提供了更多挑戰。
▲ 圖4：對比不同MOT資料集的運動複雜性
演算法簡介
4.1 並行匹配正規化：TOPIC方法
TOPIC 的核心思想是同時利用運動特徵和外觀特徵進行匹配，並透過兩輪匹配機制解決可能的匹配衝突。在第一輪匹配中，透過匈牙利演算法分別計算基於外觀和基於運動的匹配結果。
然後，對於衝突的匹配，TOPIC 根據運動水平自適應地選擇更可靠的特徵進行最終匹配。這一機制有效減少了假陰性（FN），提高了整體的跟蹤準確性。如演算法 1 的虛擬碼所示。
4.2 基於注意力的外觀重建模組：AARM
AARM 採用基於餘弦距離的注意力機制，透過計算歷史軌跡和當前檢測的相似性來增強外觀特徵的表示。透過這種方式，AARM 能夠改善同一物體在不同幀間的相似度，同時增強不同物體之間的區分度。
AARM 的工作原理是，首先為每個目標計算出跨幀的注意力圖，然後透過殘差機制對外觀特徵進行重建，從而提升相同物體的相似性，並減少不同物體之間的混淆，如圖 5 所示。此外，該模組無需訓練且即插即用。
▲ 圖5：AARM的原理圖
主要實驗結果
為了驗證提出方法的有效性和優越性，我們在 MOT17、MOT20、DanceTrack、GMOT-40 和 BEE24 共 5 個數據集和多個主流跟蹤演算法（如 FairMOT、ByteTrack 等）上進行了詳盡的實驗，主要的實驗結果如下。
5.1 TOPIC的有效性
與其他關聯正規化相比，我們提出的 TOPIC 在 5 個數據集中的大多數關鍵指標上實現了 1% 以上的精度提升，如表 2。透過視覺化 TOPIC 的匹配機制（見圖6），我們展示了其如何在不同的運動水平下，自適應地切換外觀和運動特徵，顯著提升了複雜場景中的跟蹤效果。
▲ 表2：TOPIC和AARM的有效性驗證實驗
▲ 圖6：TOPIC的匹配過程視覺化
5.2 AARM的有效性
在對比實驗中，我們發現 AARM 在不同跟蹤器中均能夠一致地顯著提高跟蹤效能，並能即插即用（見表2）。我們進一步揭示了 AARM 的在目標外觀表徵的能力，它在所有 5 個數據集上實現了最小的類間相似度（InterCS）和最高的類內相似度（IntraCS），降低了資料關聯的難度，如圖7。
5.3 速度與精度的平衡
如圖 8 所示，儘管引入 Re-ID 模組會略微增加計算時間，但其對跟蹤精度的提升是顯著的。特別是在運動複雜的場景中，TOPICTrack 能夠以更高的精度和較低的計算開銷達到最佳的跟蹤效果。
5.4 基準測試
透過在 5 個數據集上的對比，TOPICTrack 在多個關鍵指標上超越了主流演算法，達到了新 SOTA（見表3-7）。透過分析不同資料集的目標特性，我們發現 TOPICTrack 在處理複雜運動、遮擋以及外觀相似度高的目標時，表現尤為突出。
▲ 表3：與主流跟蹤演算法在MOT17測試集的效能對比
總結
在資料集特性擴充套件方面，本文提出了一種新的 MOT 資料集 BEE24，該資料集挑戰模型跟蹤多個相似外觀的小物體，且物體運動複雜、持續時間長。BEE24 有助於推動 MOT 技術在現實場景中的應用與發展。
在演算法最佳化方面，我們提出了一種新的並行關聯正規化——TOPIC，能夠根據物體的運動水平自適應選擇外觀或運動特徵進行關聯。同時，我們提出 AARM，增強了跟蹤器對物體外觀的表示能力，並且能夠即插即用。大量實驗驗證了我們提出的跟蹤器在五個資料集上的有效性和優越性。
本文未對目標檢測模型（採用 YOLOX）和運動模型（採用 OC-SORT）進行改進。因此，未來可以考慮進一步最佳化檢測模型和運動模型，以提升跟蹤效能。
更多閱讀
#投 稿 通 道#
讓你的文字被更多人看到
如何才能讓更多的優質內容以更短路徑到達讀者群體，縮短讀者尋找優質內容的成本呢？答案就是：你不認識的人。
總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋樑，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發出更多的可能性。
PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優質內容，可以是最新論文解讀，也可以是學術熱點剖析、科研心得或競賽經驗講解等。我們的目的只有一個，讓知識真正流動起來。
📝 稿件基本要求：
• 文章確係個人原創作品，未曾在公開渠道發表，如為其他平臺已發表或待發表的文章，請明確標註
• 稿件建議以 markdown 格式撰寫，文中配圖以附件形式傳送，要求圖片清晰，無版權問題
• PaperWeekly 尊重原作者署名權，並將為每篇被採納的原創首發稿件，提供業內具有競爭力稿酬，具體依據文章閱讀量和文章質量階梯制結算
📬 投稿通道：
• 投稿郵箱：[email protected]
• 來稿請備註即時聯絡方式（微信），以便我們在稿件選用的第一時間聯絡作者
• 您也可以直接新增小編微信（pwbot02）快速投稿，備註：姓名-投稿
△長按新增PaperWeekly小編
🔍
現在，在「知乎」也能找到我們了
進入知乎首頁搜尋「PaperWeekly」
點選「關注」訂閱我們的專欄吧
·
·
·