Mamba作為一種新型的選擇性狀態空間模型方法，在語言建模方面可以媲美Transformer，並且目前已經有了很多結合Mamba的研究成果。
那麼，今天我就整理了Mamba經典論文+Mamba大模型/遙感/醫學/綜述等論文合集。論文合集獲取方式如下：
新增課程回覆"Mamba"
01.Mamba: Linear-Time Sequence Modeling with Selective State Spaces
Transformer 模型中自注意力機制的計算量會隨著上下文長度的增加呈平方級增長 ，計算效率非常低。在這篇論文中，研究者提出了一種新架構—「選擇性狀態空間模型」。
02.MoE-Mamba: Effcient Selective State Space Models with Mixture of Experts
狀態空間模型（SSM）是近來一種備受關注的 Transformer 替代技術，其優勢是能在長上下文任務上實現線性時間的推理、並行化訓練和強大的效能。本文的研究成果是 MoE-Mamba，是將 Mamba 和混合專家層組合起來的模型。MoE-Mamba 能同時提升 SSM 和 MoE 的效率。而且該團隊還發現，當專家的數量發生變化時，MoE-Mamba 的行為是可預測的。
03.Mamba前世今生：MODELING SEQUENCES WITH STRUCTURED STATE SPACES
文中提出一個用於對連續訊號進行增量建模的新穎數學框架，該框架可與狀態空間模型相結合，為其賦予原則性的狀態表示，並提高其對長程依賴關係的建模能力。
04.Vision Mamba：Effcient Visual Representation Learning with Bidirectiona State Space Model
本文提出Vision Mamba，在 ImageNet 分類任務、COCO 物件檢測任務上，與 DeiT等成熟的視覺 Transformers 相比，Vim 實現了更高效能，還顯著提高了計算和記憶體效率。
Vim 能夠克服對高解析度影像執行 Transformer 式理解時的計算和記憶體限制，並且具有成為視覺基礎模型的下一代骨幹的巨大潛力。
Mamba經典論文+Mamba大模型/遙感/醫學/綜述等論文合集。論文合集獲取方式如下：
新增課程回覆"Mamba"
05：VMamba：Visual State Space Model
卷積神經網路（CNN）和視覺Transformer（ViT）是視覺表示學習的兩種最流行的基礎模型。雖然ViT 的擬合能力超過了CNN，但其複雜性卻是二次方。
受 Mamba 模型的啟發，研究者設計出一種線上性複雜度下同時具有這兩種優秀性質的模型，即 Visual State Space Model（VMamba）。大量的實驗證明，VMamba 在各種視覺任務中表現卓越。如下圖所示，VMamba-S 在 ImageNet-1K 上達到 83.5% 的正確率，比 Vim-S 高 3.2%，比 Swin-S 高 0.5%。
06：SSM + Transformer：Block-State lransformers
SSM 最初是為連續訊號而設計的，現已在視覺和音訊等眾多工中表現出卓越的效能。然而，SSM 在語言建模任務中的效能仍然落後於 Transformer。
為此，本文作者提出了一個名為塊狀態Transformer（BST）的混合層，它在內部結合了用於遠端上下文化的 SSM 子層和用於序列短期表示的塊變換器子層。
07：RS3Mamba: Visual State Space Model for Remote Sensing Images Semantic Segmentation
本文提出了一個新穎的雙分支網路，名為遙感影像語義分割Mamba（RS3Mamba），旨在將Mamba整合到遙感任務中。
08：DenseMamba：大模型的DenseNet時刻！
大型語言模型（LLMs）正面臨巨大挑戰，因為常用的Transformer架構需要巨大的計算和記憶體資源。雖然狀態空間模型（SSM）作為一種新型基礎網路架構，提供了較低的計算複雜度，但其效能尚未完全匹敵Transformer。本工作提出了DenseSSM，用於增強SSM中各層間隱藏資訊的流動。透過將淺層隱藏狀態有選擇地整合到深層中，DenseSSM保留了對最終輸出至關重要的精細資訊。
因篇幅有限，僅展示前8篇
Mamba經典論文+Mamba大模型/遙感/醫學/綜述等論文合集。論文合集獲取方式如下：
新增課程回覆"Mamba"