論文介紹

創新點

• 提出了首個面向無人機多光譜單目標跟蹤的大規模資料集（MUST），包含250個影片序列，涵蓋12類真實挑戰情境，填補了該領域的空白。
• 構建了統一融合光譜、空間和時間特徵的跟蹤框架（UNTrack），綜合利用歷史光譜提示、初始模板和連續幀資訊，提高在複雜場景中的魯棒性。
• 引入非對稱注意力機制和光譜背景抑制模組，有效降低計算量，提升了目標定位的精度和效率。
• 設計了光譜提示編碼器並結合引數遷移策略，使RGB預訓練模型能有效適用於多光譜任務，大幅提升模型效能。

資料

• 基本資訊包含 250 個多光譜影片序列，共 42671 幀，解析度為 1200×900，幀率 5 fps。
• 光譜特徵每幀影像具有 8 個波段，覆蓋 390–950 nm，涵蓋可見光與近紅外，增強目標與背景的光譜可分性。
• 挑戰屬性每個序列標註了 12 類跟蹤挑戰，如遮擋、快速運動、相似顏色、背景雜亂、出視野等，全面模擬真實無人機跟蹤環境。
• 採集與標註資料由無人機搭載多光譜相機採集，飛行高度 20–250 米。所有影像經幾何與輻射校正，並由人工精確標註目標框和遮擋狀態。

方法

• 輸入資訊：將歷史幀的光譜提示、初始模板影像和連續搜尋幀作為統一輸入，構建一個融合的特徵序列。
• 非對稱注意力機制：與標準Transformer不同，UNTrack只保留與目標定位密切相關的注意力路徑，例如模板與搜尋幀之間的互動，歷史提示與搜尋幀之間的互動等；而剪除掉冗餘或干擾性的部分（如模板與提示之間的相互作用），以降低計算開銷並減少噪聲干擾。
• 搜尋序列輸入：不同於只用當前幀進行搜尋，UNTrack引入連續幀作為序列輸入，從而更好地建模目標在時間上的連續性和運動軌跡。

• 基於注意力結果判斷影像中各區域與目標的相關性。
• 只保留與目標高度相關的區域作為候選，其餘區域視為背景並剔除。
• 候選區域比例會在訓練中動態調整，以適應不同場景下的目標顯著性。

• 首先，將歷史光譜提示與當前模板資訊進行特徵融合，提取目標的穩定光譜特徵。
• 使用 compression-excitation機制（透過輕量卷積和多層感知機）聚焦關鍵光譜通道，抑制冗餘資訊。
• 最終輸出一個緊湊的光譜向量，用作下一個時間點的跟蹤輸入，從而增強跨幀一致性。

• 一條分支用於輸出目標位置的邊界框。
• 另一條分支用於輸出每個候選區域是否為目標的置信度。

結果與分析