AAAI2025|S³-Mamba：面向病變分割的小尺寸敏感Mamba

2025-05-08 15:32 CVer

點選下方卡片，關注“CVer”公眾號

AI/CV重磅乾貨，第一時間送達
點選進入—>【醫學分割】投稿交流群

新增微訊號：CVer2233，小助手會拉你進群！
掃描下方二維碼，加入CVer學術星球！可以獲得最新頂會/頂刊上的論文idea和CV從入門到精通資料，及最前沿應用！發論文/搞科研/漲薪，強烈推薦！

轉載自：人工智慧學起來 
論文題目：S3-Mamba: Small-Size-Sensitive Mamba for Lesion Segmentation

論文地址：https://arxiv.org/abs/2412.14546
程式碼：https://github.com/ErinWang2023/S3-Mamba

創新點

  • 本文引入增強通道特徵塊（Enhanced Channel Feature Block, EnCFBlock），透過通道注意力（channel-wise attention）動態調整每個通道的權重，突出小病灶的特徵，同時抑制背景噪聲。使用兩個殘差連線（residual connections）來保留區域性細節，避免在深層網路中丟失重要資訊。去掉原有的深度卷積（DWConv）層，減少對小病灶特徵的過度平滑。 
  • 本文TCMA 將輸入影像特徵、中間層特徵和邊緣特徵劃分為不同尺度的 patch，並透過張量操作（tensor-based attention）動態調整這些特徵的權重。透過多尺度特徵的互動，TCMA 能夠同時利用空間、類別和邊緣特徵，增強對小病灶的分割能力。TCMA 的輸出用於調節解碼器層的特徵，從而在全域性上下文和區域性細節之間取得平衡。
  • 本文提出一種基於病灶大小和樣本難度的課程學習策略，透過難度評估器（Difficulty Measurer）動態調整樣本權重。在訓練過程中，模型逐漸從簡單樣本（如大病灶）過渡到複雜樣本（如小病灶），確保模型能夠更好地關注小病灶的分割。引入正則化約束（regularization constraints），防止模型過度關注特定樣本，從而實現更平衡的學習過程。

方法

本文提出了一種名為 Small-Size-SSensitive Mamba (S3-Mamba) 的醫學影像分割模型，專門針對小病灶的分割問題。研究方法圍繞三個核心技術創新展開：增強視覺狀態空間塊（Enhanced Visual State Space Block, EnVSSBlock）、基於張量的跨特徵多尺度注意力機制（Tensor-based Cross-feature Multi-scale Attention, TCMA）以及正則化課程學習策略（Regularized Curriculum Learning）。這些方法共同作用，提升了模型對小病灶的分割能力。

S3-Mamba 模型的整體架構圖

這是 S3-Mamba 模型的整體架構圖，包括 EnVSSBlock 和 TCMA 的詳細設計。
  • (a) Overview of S3-Mamba：展示了基於 U-Net 架構的整體框架，包括編碼器、解碼器以及關鍵模組（EnVSSBlock 和 TCMA）的位置。
  • (b) Detailed architecture of TCMA：詳細展示了 TCMA 的結構，包括輸入影像特徵、中間層特徵和邊緣特徵如何透過多尺度張量操作進行融合。
  • (c) Detailed structure of EnVSSBlock：展示了 EnVSSBlock 的結構，包括增強通道特徵塊（EnCFBlock）和殘差連線的設計。
  • (d) Detailed structure of EnCFBlock：進一步展示了 EnCFBlock 的細節，如何透過通道注意力機制調整特徵權重。
  • (e) Architecture of the regularized curriculum learning strategy：展示了課程學習策略的整體設計，包括難度評估器和訓練排程器。

比較模型

本圖用於比較不同分割模型的計算複雜度（FLOPs）、Dice 相似係數（DSC）和模型大小。S3-Mamba 在 27.58G FLOPs 的計算複雜度下，實現了 75.93% 的 DSC，同時模型大小僅為 4.64M 引數。相比之下，其他模型如 UNETR++ 和 ViTSeg 在計算複雜度和分割精度上均不如 S3-Mamba，證明了 S3-Mamba 在小病灶分割任務中的高效性和優越性。

實驗結果

本表格展示了 S3-Mamba 與其他九種最先進的分割模型在 ISIC2018 和 CVC-ClinicDB 資料集上的效能比較。表格列出了不同模型在小（S）、中（M）和大（L）病灶上的效能，包括平均交併比（mIoU）、Dice 相似係數（DSC）、準確率（ACC）、特異性（SPE）和敏感性（SEN）。S3-Mamba 在小病灶的 mIoU 和 DSC 上表現最佳，分別達到了 77.13% 和 87.09%。這表明 S3-Mamba 在處理小病灶時具有顯著優勢，尤其是在細節和輪廓的捕捉上。其他模型如 VmUnet 在大病灶分割上表現較好，但在小病灶上不如 S3-Mamba。傳統模型如 U-Net 在小病灶分割上表現較差，而基於 Transformer 的模型（如 H2Former）在某些指標上接近 S3-Mamba，但在整體效能上仍稍遜一籌。S3-Mamba 透過 EnVSSBlock 和 TCMA 的設計，在小病灶分割上顯著優於其他模型，尤其是在多尺度特徵融合和通道注意力方面。

何愷明在MIT授課的課件PPT下載

在CVer公眾號後臺回覆：何愷明，即可下載本課程的所有566頁課件PPT！趕緊學起來！

CVPR 2025 論文和程式碼下載

在CVer公眾號後臺回覆：CVPR2025，即可下載CVPR 2025論文和程式碼開源的論文合集

ECCV 2024 論文和程式碼下載

在CVer公眾號後臺回覆：ECCV2024，即可下載ECCV 2024論文和程式碼開源的論文合集
醫學分割和論文投稿交流群成立
掃描下方二維碼，或者新增微訊號：CVer2233，即可新增CVer小助手微信，便可申請加入CVer-醫學分割和論文投稿微信交流群。另外其他垂直方向已涵蓋：目標檢測、影像分割、目標跟蹤、人臉檢測&識別、OCR、姿態估計、超解析度、SLAM、醫療影像、Re-ID、GAN、NAS、深度估計、自動駕駛、強化學習、車道線檢測、模型剪枝&壓縮、去噪、去霧、去雨、風格遷移、遙感影像、行為識別、影片理解、影像融合、影像檢索、論文投稿&交流、PyTorch、TensorFlow和Transformer、NeRF、3DGS、Mamba等。
一定要備註：研究方向+地點+學校/公司+暱稱（如醫學分割+上海+上交+卡卡），根據格式備註，可更快被透過且邀請進群

▲掃碼或加微訊號: CVer2233，進交流群
CVer計算機視覺（知識星球）來了！想要了解最新最快最好的CV/DL/AI論文速遞、優質實戰專案、AI行業前沿、從入門到精通學習教程等資料，歡迎掃描下方二維碼，加入CVer計算機視覺（知識星球），已彙集上萬人！

▲掃碼加入星球學習
▲點選上方卡片，關注CVer公眾號
整理不易，請點贊和在看


相關文章