點選下方卡片，關注“CVer”公眾號
AI/CV重磅乾貨，第一時間送達
AI/CV重磅乾貨，第一時間送達
新增微訊號：CVer2233，小助手會拉你進群！
掃描下方二維碼，加入CVer學術星球！可以獲得最新頂會/頂刊上的論文idea和入門到精通資料，及最前沿應用！發論文/搞科研/漲薪，強烈推薦！
新增微訊號：CVer2233，小助手會拉你進群！
掃描下方二維碼，加入CVer學術星球！可以獲得最新頂會/頂刊上的論文idea和入門到精通資料，及最前沿應用！發論文/搞科研/漲薪，強烈推薦！
來源：湖南大學
科普段
當全景視覺遇上 "資料黑箱"
全景影像分割領域面臨著顯著挑戰。以自動駕駛汽車為例，其環視攝像頭採集的360°街景影像中，畫面邊緣的建築常呈現類似哈哈鏡的扭曲變形，行人也可能被廣告牌等物體遮擋半身。傳統分割方法依賴大量標註的"源資料"（如普通相機拍攝的標註影像）進行模型訓練，但在自動駕駛、安防監控等實際應用場景中，受隱私保護要求或商業規則限制，源資料往往形成"資料黑箱"，難以獲取。近期，湖南大學人工智慧與機器人學院研究團隊在該領域實現重要突破：他們首次提出"無源遮擋感知無縫分割"（Source-Free Occlusion-Aware Seamless Segmentation，SFOASS）任務，並研發了配套的UNLOCK框架。該技術使模型無需依賴源資料，即可實現360°全景場景下的遮擋感知精準分割，且在多項關鍵指標上超越了傳統依賴源資料的分割方法。
圖1：方法概要
研究進展
該成果以《Unlocking Constraints: Source-Free Occlusion-Aware Seamless Segmentation》為題被ICCV 2025錄用，湖南大學博士研究生曹意宏和卡爾斯魯厄理工學院、蘇黎世聯邦理工學院博士後張嘉明為共同第一作者，湖南大學楊愷倫教授、張輝教授為共同通訊作者，合作者還包括香港科技大學（廣州）、浙江大學等機構的研究者。實驗顯示，UNLOCK在KITTI360-APS→BlendPASS基準上，相比僅用源域資料的方法，mAPQ指標提升4.3，達到26.4，例項分割mAP和非模態例項分割mAAP分別達到11.6和10.9，重新整理無源域無縫分割任務的效能。
https://arxiv.org/abs/2506.21198
引用格式：
Y. Cao et al., "Unlocking Constraints: Source-Free Occlusion-Aware Seamless Segmentation," in Proceedings of the 2025 IEEE International Conference on Computer Vision (ICCV), 2025.
Science Technology
摘要
全景影像處理對實現全方位上下文感知具有關鍵意義，但其發展受限於影像畸變、視角遮擋及標註資料有限等問題。既往無監督領域自適應方法雖嘗試將有標註針孔域資料的知識遷移至無標註全景影像，卻依賴源域針孔資料的可訪問性。為應對上述挑戰，研究團隊引入"無源遮擋感知無縫分割"（Source-Free Occlusion-Aware Seamless Segmentation, SFOASS）這一更具實際應用價值的任務，並提出首個解決方案——"無約束學習全面上下文知識"（UNconstrained Learning Omni-Context Knowledge, UNLOCK）框架。該框架具體包含兩個核心模組：全面偽標籤學習（Omni Pseudo-Labeling Learning）與非模態驅動上下文學習（Amodal-Driven Context Learning）。UNLOCK框架無需依賴源域資料或目標域標註即可實現自適應學習，顯著增強了模型在360°全景場景下的遮擋感知推理與分割能力。研究團隊在"真實到真實"及"合成到真實"兩種自適應任務場景下對SFOASS任務進行了基準測試。實驗資料顯示，該無源方法效能可與依賴源域資料的方法相媲美，在mAAP和mAP指標上分別達到10.9與11.6的前沿水平，且相較僅依賴源域資料的方法，在mAPQ指標上提升4.3個單位。
關鍵詞
無縫分割、無源域適應、遮擋感知、360°視覺、深度學習
Science Technology
文章導讀
1）研究背景：
場景理解作為一項基本的計算機視覺任務，在自動駕駛、機器人導航等任務中具有關鍵作用，然而，現有的方法儘管在全景分割上取得了一些成就，但仍面臨著如下問題：
l 傳統方法的痛點：過去的全景分割模型像 "挑食的學生"，必須依賴大量標註的源資料（如普通相機拍攝的街景）才能學習，但在醫療、自動駕駛等場景中，源資料可能因隱私協議無法獲取。
l 遮擋推理的難點：全景影像中的物體常出現 "部分可見" 現象（如被車輛遮擋的行人），傳統模型難以理解 "被擋住的部分應該是什麼"，導致目標分割不完整。
2）研究內容：
1.Source-Free Occlusion-Aware Seamless Segmentation（SFOASS）新任務
首次提出無需源域影像/標籤的全景無縫分割任務，要求模型僅利用預訓練源模型（來自針孔影像訓練的 OASS 模型）和無標註全景影像資料，實現360°視角下的語義、例項、非模態例項、全景、非模態全景等五重分割。
與傳統OASS的區別：如圖2所示，OASS 依賴源域標註資料（如 KITTI360-APS 的 12K 張標註影像），而 SFOASS 在適應階段完全隔絕源資料，僅透過預訓練模型遷移知識。SFOASS任務新增 "無源域約束" 使任務更貼近真實場景（如自動駕駛中源資料受隱私保護的場景）。
圖2：OASS和SFOASS任務的區別
2.UNconstrained Learning Omni-Context Knowledge（UNLOCK）新方法
提出了針對SFOASS任務的首個解決方法：無約束學習學全面上下文知識（UNconstrained Learning Omni-Context Knowledge，簡稱UNLOCK）。如圖3所示，UNLOCK 設計了兩個創新機制，如同鑰匙解開SFOASS的多重約束：
l 全面偽標籤學習（Omni Pseudo-Labeling Learning，簡稱OPLL）：用源模型生成的全面偽標籤訓練目標域模型。首先透過分類別自調閾值動態生成高質量偽標籤，並進一步利用語義分支的全域性資訊修正例項分支的區域性誤判。最後將源模型的所有預測（語義/例項/非模態例項）融合為 "全面偽標籤"，結合不確定性引導損失聚焦高置信度樣本。
l 非模態驅動上下文學習（Amodal-Driven Context Learning，簡稱ADCL）：構建非模態驅動目標池，並透過空間感知混合策略將具有完整目標輪廓的高質量樣本融入訓練影像，讓模型學習 "遮擋背後的完整形狀"。就像給模型看拼圖碎片，教會它還原完整圖案。混合過程中，僅保留部分重疊的目標樣本，避免上下文混淆，並按照遮擋順序動態調整目標層級，還原真實場景遮擋關係。
最終，UNLOCK透過OPLL生成的全面偽標籤作為 “鑰匙”，ADCL的上下文學習策略結合鑰匙執行“開鎖”動作，在無源條件下實現了360°全景場景的遮擋感知無縫分割。該方法打破了傳統方法對源域標註資料的依賴，使模型能像人類一樣透過觀察與推理理解複雜場景，為自動駕駛、無人機巡檢等隱私敏感場景提供了可靠的解決方案。
圖3：提出的UNLOCK框架
3）研究結果：
在 SFOASS任務中，UNLOCK 框架展現出卓越的效能表現。透過 KITTI360 – APS→BlendPASS 和 AmodalSynthDrive→BlendPASS 兩項基準測試驗證，其在關鍵評估指標上顯著優於基線方法。特別是在例項級分割任務中，UNLOCK 框架的效能優勢尤為突出，與其他對比方法形成明顯差距，充分證明了該框架在實際應用場景中的有效性與魯棒性。
表1 在實際分割任務中的效能對比
圖4：視覺化結果對比
4）總結與展望：
這項研究打破了 "無標註不學習" 的傳統正規化，並使用一個模型提供了360°視野與遮擋感知的無縫感知新模式。未來，團隊計劃將 UNLOCK 應用於動態場景（如擁擠的十字路口），並探索如何讓模型理解全景影像的 "邊界連續性"（如 360° 畫面左右邊緣的物體如何無縫銜接）。
曹意宏 | 作者
王子榕 | 編輯
曹雲康 牛通之 江 穎 張 輝 | 稽核
人工智慧與機器人學院新媒體中心出品
ICCV 2025 論文和程式碼下載
ICCV 2025 論文和程式碼下載
CVPR 2025 論文和程式碼下載
CVPR 2025 論文和程式碼下載
CV垂直方向和論文投稿交流群成立
一定要備註：研究方向+地點+學校/公司+暱稱（如Mamba、多模態學習或者論文投稿+上海+上交+卡卡），根據格式備註，可更快被透過且邀請進群
▲掃碼或加微訊號: CVer2233，進交流群
CVer計算機視覺（知識星球）人數破萬！如果你想要了解最新最快最好的CV/DL/AI論文、實戰專案、行業前沿、從入門到精通學習教程等資料，一定要掃描下方二維碼，加入CVer知識星球！最強助力你的科研和工作！
▲掃碼加入星球學習
▲點選上方卡片，關注CVer公眾號
整理不易，請點贊和在看
▲掃碼或加微訊號: CVer2233，進交流群
CVer計算機視覺（知識星球）人數破萬！如果你想要了解最新最快最好的CV/DL/AI論文、實戰專案、行業前沿、從入門到精通學習教程等資料，一定要掃描下方二維碼，加入CVer知識星球！最強助力你的科研和工作！
▲掃碼加入星球學習
▲點選上方卡片，關注CVer公眾號
整理不易，請點贊和在看