xLSTM崛起！魔芯科技、中科大等新研究揭示其在醫學影像分割中超越Mamba

近日，魔芯科技、浙江大學、中科大等多家科研機構的研究人員聯合推出了一項突破性的醫學影像分割技術——xLSTM-UNet。這一創新技術在 2D 和 3D 醫學影像分割領域取得了顯著成果。

專案頁面：

http://tianrun-chen.github.io/xLSTM-Unet/

論文連結：

https://arxiv.org/abs/2407.01530

開原始碼：

https://github.com/tianrun-chen/xLSTM-UNet-PyTorch

“簡單替換Mamba為xLSTM，即可顯著提升效能”

在醫學影像處理領域，精準的影像分割技術對於疾病的診斷、治療規劃和研究至關重要。然而，隨著高解析度和高維成像模式的發展，處理長距離依賴關係的挑戰變得愈發嚴峻。近年來，一些研究提出了整合具有長距離依賴性的計算模組，如 Mamba，併成功地將其整合到傳統的 UNet 架構中，這些變體（如 UMamba、VM-Unet、Mamba-Unet、Swin-UMamba 和 SegMamba 等）展示了顯著的效能提升。

然而，最近的一項研究表明，利用擴充套件長短期記憶網路（xLSTM）作為核心元件，可以顯著提升影像分割效能。由魔芯科技、浙江大學和中科大等單位的研究團隊開發的 xLSTM-UNet，透過將改進後 UNet 架構中的 Mamba 模組替換為 xLSTM，展現了令人驚訝的效能提升。

實驗結果顯示，僅透過這一簡單的替換操作，xLSTM-UNet 在多個 2D 和 3D 醫學影像分割資料集上均超越了現有的基於 CNN、基於 Transformer 以及基於 Mamba 的分割網路。這些資料集包括 CT 和 MRI 等多種醫學影像，覆蓋了不同的解剖結構和病變區域。透過廣泛的實驗驗證，研究人員發現 xLSTM-UNet 不僅在分割精度上有所提升，還在計算效率和記憶體使用上表現出色。

具體來說，xLSTM-UNet 結合了卷積層的區域性特徵提取能力和 xLSTM 的長距離依賴捕捉能力。xLSTM 能夠有效捕捉全域性上下文資訊，克服了傳統 CNNs 在處理長距離依賴關係時的侷限性，同時避免了 ViTs 在處理高解析度影像時的巨大計算開銷。研究表明，xLSTM 在序列建模方面的優勢，使其在醫學影像分割中也能發揮出色的效能。

這一發現不僅驗證了 xLSTM 在影像分割領域的潛力，還為未來的研究提供了新的方向，即在傳統深度學習架構中引入更強大的序列建模元件，以應對複雜的影像分析任務。xLSTM-UNet 的成功，展示了一種高效且強大的解決方案，為醫學影像分割領域帶來了新的希望。

1. xLSTM 的引入：xLSTM（擴充套件長短期記憶網路）是 LSTM 的繼任者，能夠有效處理長距離依賴關係，並且在計算和記憶體複雜度方面表現出線性增長。相比傳統的 LSTM，xLSTM 在神經語言處理（NLP）和影像分類任務中表現出色，展示了其在處理序列建模任務中的強大能力。

2. 結合 UNet 架構：xLSTM-UNet 採用了經典的 UNet 架構，結合了卷積層和 xLSTM 的優勢。具體而言，xLSTM-UNet 在編碼器部分引入了多個 xLSTM 層，用於捕捉影像的長距離依賴關係和全域性上下文資訊。同時，保留了 UNet 架構中的跳躍連線（skip connections），將編碼器中的特徵直接傳遞到解碼器，以保留影像的細節資訊。

3. 多層次特徵提取：xLSTM-UNet 在多個層次上進行特徵提取，既包括區域性特徵，也包括全域性特徵。透過在編碼器的多個層次上引入 xLSTM 塊，xLSTM-UNet 能夠在不同解析度和感受野上提取豐富的特徵資訊，從而提高分割精度。

實驗結果顯著，效能全面提升！

在多個代表性的醫學影像分割資料集上，xLSTM-UNet 展現了卓越的效能，顯著超越了基於 CNN、Transformer 和 Mamba 的分割網路。具體而言，xLSTM-UNet 在腹部 MRI、內窺鏡影像和顯微鏡影像等資料集上的表現均顯著優於現有方法，展示了其卓越的效能和魯棒性。

1. 腹部 MRI 資料集：在該資料集上，xLSTM-UNet 在 Dice 相似係數（DSC）和歸一化表面距離（NSD）兩個關鍵指標上均取得了最高分，顯著優於先前的最先進模型 U-Mamba。這表明 xLSTM-UNet 在腹部器官分割任務中具有更高的精度和可靠性。

2. 內窺鏡影像和顯微鏡影像細胞分割資料集：在這些資料集上，xLSTM-UNet 同樣在 DSC 和 NSD 指標上取得了最佳成績，證明了其在不同醫學影像分割任務中的魯棒性和可靠性。具體而言，xLSTM-UNet 在內窺鏡影像中的外科手術器械分割和顯微鏡影像中的細胞分割任務中均表現出色，進一步驗證了其廣泛的適用性。

3. 3D 醫學分割任務：在 BraTS2023 資料集上，xLSTM-UNet 的表現超越了其他基線方法。無論是 Dice 相似係數還是 HD95（Hausdorff 距離 95%），xLSTM-UNet 在所有評估指標上均顯示出其在精確分割腦腫瘤區域方面的有效性。這表明 xLSTM-UNet 在處理複雜的 3D 醫學影像分割任務時具有顯著的優勢。

透過在多個數據集上的全面實驗，xLSTM-UNet 不僅展示了其在 2D 和 3D 醫學影像分割任務中的卓越效能，還證明了其在不同應用場景中的廣泛適用性和魯棒性。具體而言，xLSTM-UNet 在腹部 MRI、內窺鏡影像和顯微鏡影像等多種醫學影像分割任務中均表現出色，顯著超越了現有的基於 CNN、Transformer 和 Mamba 的分割網路。

其在 Dice 相似係數（DSC）、歸一化表面距離（NSD）以及 Hausdorff 距離 95%（HD95）等關鍵評估指標上均取得了領先成績，進一步驗證了其在處理複雜醫學影像分割任務時的高效性和可靠性。這些實驗結果充分表明，xLSTM-UNet 不僅在特定任務中表現優異，而且具有廣泛的應用潛力，能夠適應多種醫學影像分割需求。

xLSTM啟發未來影像分割研究

xLSTM-UNet 在多個醫學影像分割資料集上表現卓越，顯著優於現有的基於 CNN、Transformer 和 Mamba 的網路。這種卓越表現得益於 xLSTM 的引入。xLSTM 在處理長距離依賴性方面表現出色，並且在其他領域已經取得了顯著成就。透過將 xLSTM 與 UNet 架構相結合，研究人員成功地提升了模型的全域性特徵捕捉能力和計算效率。

xLSTM-UNet 解決了醫學影像分割中處理長距離依賴性和最佳化計算資源的雙重挑戰，為該領域注入了新的活力。這項研究不僅展示了 xLSTM-UNet 的卓越效能，還為未來的研究和應用開闢了新的可能性。展望未來，隨著 xLSTM 的進一步開發和最佳化，我們有理由相信，它將在影像分割乃至更廣泛的領域中取得與 Mamba 和 Transformer 相媲美的成就，推動這一領域的持續進步。研究相關程式碼和所使用資料均已經開源。