CVPR2025|武大提出HyperFree：波段自適應的新一代高光譜遙感基礎模型

2025-04-23 01:43 CVer

點選下方卡片，關注“CVer”公眾號

AI/CV重磅乾貨，第一時間送達
點選進入—>【遙感】投稿交流群

新增微訊號：CVer2233，小助手會拉你進群！
掃描下方二維碼，加入CVer學術星球！可以獲得最新頂會/頂刊上的論文idea和CV從入門到精通資料，及最前沿應用！發論文/搞科研/漲薪，強烈推薦！

論文標題：HyperFree: A Channel-adaptive and Tuning-free Foundation Model for Hyperspectral Remote Sensing Imagery  
專案網站：
https://rsidea.whu.edu.cn/hyperfree.htm#  
論文：
https://rsidea.whu.edu.cn/HyperFree.pdf
程式碼：
https://github.com/Jingtao-Li-CVer/HyperFree
收錄會議：CVPR 2025
關鍵字：
  • 最大規模的高光譜遙感分割資料引擎Hyper Seg，1544萬物件級掩碼標籤；
  • 首個變長波段自適應的高光譜遙感基礎模型，支援任意光譜維度的影像資料輸入；
  • 首個具備免微調遷移能力的高光譜遙感基礎模型，支援多分類、單分類、目標探測、異常探測、變化檢測等5大任務應用。
研究背景
當前，基礎模型的發展將遙感解譯能力推向了新的高度，但現有研究主要聚焦於高分辨遙感影像。高光譜遙感影像因其成像波段多變、易受成像條件影響等特性，導致高光譜基礎模型的研發面臨顯著挑戰，具體表現為以下兩方面：
（1）高光譜影像波段多變性與視覺架構固定輸入之間的矛盾：高光譜影像的波段數量變化範圍較大，從幾十到幾百不等，而現有基於深度學習的視覺架構在訓練完成後僅支援固定數量的輸入波段，難以適應高光譜資料的多樣性。
（2）高光譜影像地物特性多變與逐影像微調資源消耗之間的矛盾：不同時刻、光照條件下的高光譜影像中地物光譜特性差異顯著，主流自監督學習方法需逐影像微調，導致硬體（如80G視訊記憶體）和時間（小時級）成本高昂，限制了其實際應用
針對上述挑戰，武漢大學RSIDEA團隊提出了首個無需微調的高光譜遙感基礎模型HyperFree。該模型創新性地實現了從譜段固定編碼到動態編碼、從逐影像微調到統一可提示遷移的轉變，支援任意波段高光譜遙感影像的多工直接推理，顯著提升了模型的靈活性與效率。
圖1 HyperFree與主流遙感基礎模型的正規化差異（a）遙感主流的預訓練-微調基礎模型。（b）高分領域免微調的可提示基礎模型。（c）HyperFree波段自適應、免微調的可提示基礎模型。
主要創新點
1. 資料層—Hyper-Seg資料引擎構建
►構建了目前規模最大的高光譜遙感語義分割資料引擎Hyper-Seg，包含4.1萬對高光譜遙感影像與其對應的物件級分割標籤，物件級標籤數量達1544萬。
►影像尺寸為512×512×224，光譜範圍400~2500nm，空間解析度0.6~5m，。
►該資料引擎可為基礎模型提示學習預訓練提供重要的資料基礎。
圖2 Hyper-Seg資料引擎
表1 現有遙感基礎模型及其訓練資料集
2. 編碼層—波段自適應的全譜段統一編碼
►引入可學習的全譜段光譜權重字典（400~2500nm），以中心波長為索引，對不同波段數的高光譜影像進行動態編碼，對映到統一維度的特徵空間，如圖3（a）所示。
►突破遙感基礎模型固定輸入通道數的限制，實現任意中心波長、波段高光譜影像的統一表達。
圖3 （a）全譜段提示預訓練過程。（b）提示-掩碼-特徵互動機制下的多工免微調推理。
3. 免微調—基於提示工程的多工遷移
►Hyper-Seg資料引擎預訓練後，HyperFree可自動生成任意高光譜影像的物件級分割掩碼；
►設計提示-掩碼-特徵互動機制，實現單個提示（One Prompt）→語義一致多分割掩碼（Multiple Masks）的自動生成。
►支援多分類、單分類、目標探測、異常探測、變化檢測等5類任務的免微調遷移。
效能突破
►免微調設定下： 如圖4（a）所示，HyperFree在多分類、單分類、目標探測、異常探測、變化檢測等監督、半監督、無監督等分割任務上具備免微調直接應用遷移能力，達到與專業模型（5-shot微調）相當水平。
—多分類任務：閉集設定下：為每個類別輸入點提示（數量≥1），無需任務引數；開集設定下：為每個已知類別輸入點提示（數量≥1），餘弦距離引數控制未知類別相似度邊界。
—單分類任務：為目標類別輸入點提示（數量≥1），類別先驗引數與餘弦距離引數控制地物掩碼選擇邊界。
—目標探測任務：為目標類別輸入單個光譜曲線，餘弦距離引數控制地物掩碼選擇邊界。
—異常探測任務：無需提示資訊，地物佔比引數控制異常地物篩選標準。
—變化檢測任務：無需提示資訊，餘弦距離引數控制地物變化認定標準。
►微調設定下：HyperFree*在8個任務、14個數據集上，與專業模型比達到最優水平。包括高光譜去噪、分類、單分類、異常探測、變化檢測、目標探測、解混、目標跟蹤等任務，如圖4（b）所示。
11個數據集、5類任務上的實驗表明：
免微調下與專業模型（5-shot微調）相比達到中上水平。
圖4 （a）免微調設定下的精度對比。（b）微調設定下的精度對比。
圖5 高光譜分類任務結果示例（對比方法5-shot微調 vs HyperFree免微調）
圖6 高光譜單分類任務結果示例（對比方法5-shot微調 vs HyperFree免微調）
圖7 高光譜目標探測任務結果示例（對比方法1-shot微調 vs HyperFree免微調）
圖8 高光譜異常探測任務結果示例（對比方法無監督微調 vs HyperFree免微調）
圖9 高光譜變化檢測任務結果示例（對比方法5-shot微調 vs HyperFree免微調）
研究團隊
該成果是武漢大學RSIDEA高光譜遙感研究團隊在前期研究基礎上的重要拓展與延伸，凝聚了團隊師生的集體智慧與協作精神，歷時一年攻關完成。研究由王心宇副教授與鍾燕飛教授共同指導，博士生李靜濤與碩士生劉穎怡作為共同第一作者，分別主導了基礎模型與資料引擎的構建工作，為研究的核心框架奠定了堅實基礎。團隊成員彭韻凝、王少宇、孫晨、孫振東、柯天、姜梟、魯唐偉、趙安然等分工協作，高效完成了單分類、多分類、目標探測、異常探測、變化檢測、影像去噪、混合像元分解及目標跟蹤等8項下游解譯任務的測試工作，充分展現了團隊在技術攻關與任務執行中的協同能力。同時，該研究得到了國家自然科學基金青年科學基金專案（A類，42325105）和博士生青年科學基金專案（424B2010）的支援。

何愷明在MIT授課的課件PPT下載

在CVer公眾號後臺回覆：何愷明，即可下載本課程的所有566頁課件PPT！趕緊學起來！

CVPR 2025 論文和程式碼下載

在CVer公眾號後臺回覆：CVPR2025，即可下載CVPR 2025論文和程式碼開源的論文合集

ECCV 2024 論文和程式碼下載

在CVer公眾號後臺回覆：ECCV2024，即可下載ECCV 2024論文和程式碼開源的論文合集
CV垂直方向和論文投稿交流群成立
掃描下方二維碼，或者新增微訊號：CVer2233，即可新增CVer小助手微信，便可申請加入CVer-垂直方向和論文投稿微信交流群。另外其他垂直方向已涵蓋：目標檢測、影像分割、目標跟蹤、人臉檢測&識別、OCR、姿態估計、超解析度、SLAM、醫療影像、Re-ID、GAN、NAS、深度估計、自動駕駛、強化學習、車道線檢測、模型剪枝&壓縮、去噪、去霧、去雨、風格遷移、遙感影像、行為識別、影片理解、影像融合、影像檢索、論文投稿&交流、PyTorch、TensorFlow和Transformer、NeRF、3DGS、Mamba等。
一定要備註：研究方向+地點+學校/公司+暱稱（如Mamba、多模態學習或者論文投稿+上海+上交+卡卡），根據格式備註，可更快被透過且邀請進群

▲掃碼或加微訊號: CVer2233，進交流群
CVer計算機視覺（知識星球）來了！想要了解最新最快最好的CV/DL/AI論文速遞、優質實戰專案、AI行業前沿、從入門到精通學習教程等資料，歡迎掃描下方二維碼，加入CVer計算機視覺（知識星球），已彙集上萬人！

▲掃碼加入星球學習
▲點選上方卡片，關注CVer公眾號
整理不易，請點贊和在看


相關文章