論文介紹

背景

創新點

• 提出了大規模遙感基礎模型訓練新流程：
• 構建了一個規模和多樣性遠超現有的可見光遙感影像資料集 OpticalRS-13M（共 1,320 萬張影像），比同類遙感資料集大至少 4 倍。
• 創新了高效 Masked Image Modeling (MIM) 方法：
• 提出SelectiveMAE，利用語義豐富度自適應選擇要編碼和重建的 patch，只用 ~40% 的影像塊即可達相同精度，大幅減少了對冗餘背景的計算浪費。
• 引入Progressive Semantic Token Selection (PSTS)，借鑑課程學習思想，分階段動態選擇補充資訊豐富的 patch，避免梯度爆炸並加速收斂。

資料

• OpticalRS-13M 總計包含 1,320 萬張影像，總畫素量超過 2.6 萬億，單張影像平均畫素接近 20 萬。是現有同類資料集（如 MillionAID、SeCo、CACo、SEN12MS、SSL4EO、SatlasPretrain 等）的 4 倍以上。
• 同時提供了一個體量較小的版本 OpticalRS-4M，包含近 400 萬張影像。

• 資料覆蓋多種遙感場景與典型任務：包括場景分類、目標檢測、畫素級語義分割等多種下游任務。
• 總共包含 12 個主要類別：
• 場景類：城市、農田、森林、草地、沙漠/裸地、水體、溼地、冰雪；
• 目標類：建築物、道路、船舶/車輛；
• 事件類：火災、洪水、滑坡、地震後等突發事件也納入單獨類別，用於動態變化監測和應急場景。
• 場景和目標資訊比已有自監督光學遙感資料更全面，類別粒度更細。

• 對原始多源資料做了 篩選、切片（分塊）和去重，去掉冗餘和質量低下的樣本，保證選入的 patch 有足夠的語義資訊。
• 按照 DiRS（多樣性、豐富性、可擴充套件性）原則構建，服務更廣泛的任務場景。

方法

1 有選擇的編碼和重建

• 目標：避免對無效或冗餘的背景塊進行編碼和重建，只關注對下游任務（檢測、分割）有貢獻的“語義塊”。
• 如何判斷語義性？ 作者引入 HOG (Histogram of Oriented Gradients) 演算法，提取每個塊的區域性梯度資訊：
• 梯度強表示存在邊緣、紋理或目標結構 → 更可能包含有用語義；
• 梯度弱則大多是純色或簡單背景 → 重建價值低。
• 因此，SelectiveMAE 會：
• 先對每張圖的所有塊計算 HOG；
• 挑選語義性強的子集作為可見塊送進編碼器；
• 再從剩下被 Mask 的塊裡，再挑一部分語義性較強的做解碼器的重建目標。

2 部分重建（Partial Reconstruction）

• 與 MAE 的做法（75% 塊 Mask → 全部都要解碼器還原）不同，SelectiveMAE 只還原一部分 Mask 塊。
• 並且，這部分不是隨機挑，而是從剩餘 Mask 中挑選 HOG 高的塊來還原，保證解碼器只學真正有用的內容。
• 這樣一來，解碼器的引數負擔和計算也隨之降低，訓練更快。

3 漸進式語義選擇 (PSTS)

• 如果 Mask 比例很高（比如編碼器只輸入 15% 塊），訓練會出現梯度爆炸或不收斂。

• 為了保證可收斂性和魯棒性，作者設計了一個 Progressive Semantic Token Selection (PSTS) 機制：
• 一開始，只輸入相似度高、語義一致的“簡單塊”，讓模型先學習容易模式；
• 隨著訓練輪數推進，動態從未選中的塊中挑選與已選塊 語義互補（即相似度低）的新塊加入；
• 這樣逐步從易到難，保證了低 Mask 下依然穩定收斂，同時補足了前期沒有覆蓋到的多樣性資訊。

• PSTS 的動態選擇基於塊之間的相似度度量，具體實現是利用 Cosine Distance（或其他距離）來判斷哪些塊是互補的。

實驗與分析