基於欠取樣k空間資料的影像重建在快速磁共振成像(MRI)中發揮著重要作用。最近，基於深度學習的影像反演方法在使用更少的測量資料對磁共振影像進行重建的任務上顯示出了巨大的潛力。本文結合以下兩類方法來概述並解釋各演算法的整體結構：一類是基於迭代展開重建的方法，另一類是基於非迭代展開重建的方法。我們在比較這些方法的同時，對網路的進一步開發和效能分析展開探討。
影像反演問題期望從
形式的測量值
中恢復向量化影像
，其中
表示前向測量運算元，
是加性噪聲[1]。假設噪聲分佈已知，一種可行的方法是利用極大似然估計從測量值
中恢復
，如下式所示：
表示
是真實的向量化影像時，觀測值為
的可能性（
隱含了對
的先驗知識或對可能的
分佈進行積分的先驗知識）。當潛在的解出現不唯一情況（當
矩陣是秩小於n的線性運算元時）或對噪聲高度敏感時，極大似然估計方法將會失效。但由於在一些情況下，人們可能事先知道
的某些特徵，比如影像
在遠離邊緣和邊界的位置上是平滑的。諸如此類的知識可以編碼為
的先驗分佈，那麼最大後驗 (MAP) 估計可以來解決帶有先驗知識的反演問題：
當加性噪聲為高斯白噪聲時，上述MAP公式可以表示為：
表示與
的負對數先驗成正比的正則項。雖然MAP估計足以用於解決大多數欠定影像重建問題，但當噪聲的統計資料未知、正則項不具有封閉形式、前向測量運算元未知或部分已知時，僅憑藉MAP估計進行影像反演會遇到很大的困難。在過去的幾年內，基於機器學習和深度學習的反演方法可以彌補上述傳統方法的不足，並且重建結果展示了可行性。
MRI快速成像是影像反演的典例，原因是MRI成像過程非常緩慢，為了增加患者臨床檢測的舒適性並降低醫療成本，提高成像速度是十分必要的。在過去的幾十年裡，基於稀疏先驗的MRI的壓縮感知(CS)成為加速MRI成像的重要策略。但是，基於壓縮感知的迭代求解需要消耗很長時間才能達到高質量的重建結果，正則化引數的選擇往往是基於經驗而來的。其他基於數學模型的方法往往具有較高的計算複雜度，如基於Stein的無偏估計（SURE）[1]最佳化MRI重建過程中的自由引數。此外，其他的大多數方法僅利用先驗資訊進行重建，要麼利用欲重建的影像，或者涉及較少的參考影像不足以挖掘先驗資訊。
研究人員近年來已將深度學習應用於加速磁共振成像（MRI），並且充分展示了研究潛力 [2-13]。與壓縮感知方法和其他基於約束的重建方法相比，深度學習方法可避免複雜的引數最佳化過程，並可在使用大量資料進行離線訓練的條件下執行快速的重建。
基於深度學習的MRI重建方法可以大致分為基於迭代展開的方法 [2-7]和基於非迭代展開的方法 [8-13]。基於迭代展開的重建方法通常從重建影像初始化假設開始，然後將迭代最佳化演算法展開到深層網路。因此，基於迭代展開方法的網路架構是基於迭代步驟進行構建的。重構模型和演算法中的引數和函式是透過網路訓練來學習的。而基於非迭代展開的方法直接使用標準的網路架構，學習端到端的對映。並且為了進一步最佳化非迭代展開網路的效能，研究者也嘗試將額外的MRI領域先驗知識納入標準網路中，使得網路效能有明顯的提升。
現有的基於迭代展開的深度學習方法大多都建立在壓縮感知（CS）重建演算法的基礎上。以加速MRI任務為例，CS重建演算法從基於成像模型（具有欠取樣的傅立葉變換）和先驗約束（稀疏性和低秩）的反演問題開始，然後應用最佳化演算法從觀測資料中重建所需的影像。最佳化演算法本質上是迭代的，也就是說，在基於展開的深度學習方法中，這種迭代重建演算法被展開到深層網路，網路中所有的自由引數和函式都可以透過訓練來學習。深度網路的訓練可以透過訓練資料的反向傳播來進行。這樣，深度網路的拓撲結構就由演算法的迭代決定了。因此，基於展開的深度學習重建方法可以更好地展示網路拓撲和效能之間的關係，即在一定程度上，隨著迭代次數增加，重建影像的效能越來越好。
基於迭代展開的方法之間的最大的區別在於這些網路結構中來源於不同的最佳化演算法。在本小節中，我們將回顧幾種關鍵的基於迭代展開的深度學習方法：1.廣義CS重建模型；2.去模糊模型；3.通用最佳化模型。
1. 廣義CS重建模型
廣義CS重建模型可由下面數學表示式表述：
表示前向成像模型，
為欠取樣的k空間資料，
表示欲重建的影像。正則化項
可表示為：
在公式（5）中，正則化項可擴充套件到L項，
為變換矩陣（如稀疏表示的離散小波變換），
是非線性運算元（如
正則器），
表示正則化引數。
ADMM-CSNet結合CS演算法和乘法器交替方向演算法來學習MRI重建的正則化引數 [2]。在這項工作中，作者提出了兩種網路模型，第一種模型為basic-ADMM-CSnet，另一模型為generic-ADMM-CSnet[2]。ADMM-CSNet結構示意圖如圖1所示，兩種網路模型的相同點的是：（1）輸入輸出分別是欠取樣k 空間頻域中的資料和全取樣k空間對應的影像；（2）迭代步驟中均包含以下三個模組：分別是乘子更新層（M）、去噪模組（Z）和重建層（X）；（3）這兩種模型的去噪模組（Z）均涉及到S(⋅)，一個非線性shrinkage function，該函式可以選用光滑的分段函式進行近似。不同點是：相比於basic-ADMM-CSnet，generic-ADMM-CSnet可以進一步學習正則化函式中的影像變換和非線性運算元。
Hammernik等人提出的變分網路(variational-net)能夠快速、高效地加速多通道磁共振影像重建[3]。該網路將廣義CS重建的變分模型與深度網路相結合，基於梯度下降方法進行迭代以學習正則化引數、影像變換和非線性運算元。具體實現過程如圖2所示，該變分網路的輸入是由欠取樣k空間資料、線圈靈敏度圖經過前向運算元計算得到的零填充觀測影像，輸出為全取樣影像。在variational-net中，基於梯度下降方法，公式（6）可對公式（1）的解進行迭代更新：
表示非線性勢函式的一階導數對應的啟用函式，
變換可以看作是具有卷積核的卷積層，
是梯度下降的步長。由於MR資料比較複雜，卷積操作包括實部和虛部兩部分。公式（6）中的轉置操作
可以看作為與
的卷積核進行卷積計算後旋轉了180°。在variational-net中，
、
和
引數都可以經過網路學習更新。
公式（7）、（8）表示用迭代收縮閾值演算法（ISTA）求解公式（4）中的最佳化問題：
在公式（7）中，
表示步長引數。但傳統ISTA具有明顯的缺點，當變換運算元
是非正交甚至非線性時，
將很難獲得。據此，Zhang等人提出的迭代收縮閾值網路（ISTA-Net）來解決傳統ISTA的上述缺點[4]。該網路旨在解決含有如公式（2）所示的L1正則化項的重建問題。ISTA-Net將ISTA演算法並展開至深度網路，從而學習 ISTA原始演算法中涉及的影像變換及引數。用影像運算元通用變換
來替代
，
可以用下式表示：
是與
和
相關的混合引數。最終重建影像可由下式表示：
表示
的左逆，
表示軟閾值。
ISTA-Net的架構如圖3所示，ISTA-Net的迭代步驟包含
和
這兩個模組。
模組中，
可隨迭代過程進行更新和學習。在
模組中，
被建模為兩個卷積層，並由一個 ReLU 運算元分隔。
是與
具有相似的結構。用與ADMM和variational-net，ISTA-Net採用了受ISTA演算法限制的L1正則化器，並且ISTA-Net可以解決一般影像的CS重建問題，而不僅僅限於磁共振影像重建。
2. 去模糊模型
去模糊模型將
與被“去噪”影像
進行近似以去除混疊偽影和噪聲[6]。那麼正則化項可由下式表示：
使用交替最小化(AM)演算法，重建影像可以表示為:
表示輔助變數。基於深度學習的去模糊模型可以使用CNN單元來實現去噪。
對MRI進行影像重建方法中, k空間域中的資料一致性（data consistency）是比較關鍵的約束之一，所以將這種跨域先驗資訊在融入到標準網路中是有效的。對於單通道MRI採集，基於資料一致性（DC），公式（12）的解如下式所示：
3. 通用最佳化模型
通用最佳化模型中，公式(15)是一個更通用的模型：
，隨著輔助對偶變數
的引入，(15)中的最佳化問題可以透過對偶混合梯度 (PDHG) 演算法求解為：
其中
、
和
是網路引數，pro表示近端梯度運算元。
Adler等人提出了可學習對偶混合梯度演算法（PD-Net），將PDHG演算法展開至網路深層，並應用於MRI重建[7]。PD-Net中的資料擬合項不是公式(1)中估計誤差的l2範數，而是在訓練資料中進行學習獲得。此外，正則化項同樣可以透過學習得到。
大多數基於非迭代展開的深度學習方法都使用標準神經網路來學習輸入（欠取樣的k空間資料或零填充影像）和輸出（重建影像）之間的對映。在本小節中，我們除了介紹MRI重建所採用標準網路外，也介紹了融合MRI領域知識的網路[8]-[13]。
1. 標準網路
Wang等人首先提出使用標準的CNN網路來學習來自零填充影像和清晰影像之間的對映。網路的輸入是零填充影像，即來自欠取樣k空間資料的傅立葉逆變換；網路的輸出是全取樣影像。該對映可以透過以下標準網路學習，例如MLP、U-Net和 ResNet。由於GAN在影像生成方面的出色表現，GAN[8]、[9]可以校正來自欠取樣影像中的混疊偽影。基於k空間插值重建的魯棒神經網路(RAKI)[10]使用三層CNN來學習從輸入到輸出的對映，最後獲得重建影像。流形近似自動變換網路(AUTOMAP)[11]直接將欠取樣k空間資料作為網路輸入，並提供重構影像作為網路輸出，為影像重構提供端到端的網路結構。
2. 融入MRI領域知識的深度網路
雖然直接採用標準神經網路進行MRI重建是成功的嘗試，但融入額外MRI的領域知識可以進一步提高標準網路的效能[12],[13]。在[12]中，Wang等人提出了兩種基於CS的深度網路。一種是使用從網路重建得到的影像作為（1）式中CS重建方法的初始化影像。另一種是使用網路生成的影像作參考影像進行正則化，該過程可以由下述公式描述：
是正則化引數。這種方法與基於展開的方法的不同之處在於：式（17）是由具有預定義引數和正則化項
的傳統CS演算法求解，而在基於迭代展開的方法中，式（17）由深度網路解決，透過訓練來學習網路引數和正則化項。如傳統的CS影像重建方法中，k空間中的DC操作是較為關鍵的約束之一。這種跨域先驗資訊在融入標準網路時也具備有效性。由於大多數學習方法使用影像作為網路的輸入和輸出，因此需要將影像轉換到k空間以強制執行DC操作。Jun等人提出的KIKI-net[13]在影像域(I-CNN)和k空間(K-CNN)之間迭代交替，並且DC操作以交錯方式執行（圖4）。每個K-CNN都經過訓練使損失函式達到最小值，損失函式被定義為重建資料和完全取樣的k空間資料之間的差異，從而充分利用k空間觀測資料。KIKI-net解決了以下問題：當CNN的輸入僅是影像域中的混疊影像時，網路訓練造成某些影像結構丟失的問題。
[1] G. Ongie, A. Jalal, C. A. Metzler, R.G. Baraniuk, A. G. Dimakis and R. Willett, "Deep Learning Techniques for inverse Problems in Imaging," in IEEE Journal on Selected Areas in Information Theory, vol. 1, no. 1, pp. 39-56, May 2020, doi:10.1109/JSAIT.2020.2991563.
[2] S. Ramani, Z. H. Liu, J. Rosen, J. F. Nielsen, and J. A.Fessler, “Regularization parameter selection for nonlinear iterative image restoration and MRI reconstruction using GCV and SURE-based methods,” IEEE Trans. Image. Process., vol.21, pp. 3659–3672, Aug. 2012.
[3] K. Hammernik, T. Klatzer, E.Kobler, M. P. Recht, D. K. Sodickson, T. Pock, and F. Knoll, “Learning a variational network for reconstruction of accelerated MRI data,” Magn. Reson.Med., vol. 79, no. 6, pp. 3055–3071, June 2018. DOI: 10.1002/mrm.26977.
[4] J. Zhang and B. Ghanem, “ISTA-Net: Interpretable optimization-inspired deep network for image compressive sensing,” in Proc. IEEE Conf. Computer Vision and Pattern Recognition (CVPR),2018, pp. 1828–1837.
[5] J. Schlemper, J. Caballero, J. V. Hajnal, A. N. Price, and D.Rueckert, “A deep cascade of convolutional neural networks for dynamic MR image reconstruction,” IEEETrans. Med. Imag., vol. 37, no. 2, pp. 491–503, Feb.2018. DOI: 10.1109/TMI.2017.2760978.
[6] H. K. Aggarwal, M. P. Mani, and M. Jacob, “MoDL: Model-based deep learning architecture for inverse problems,” IEEE Trans. Med. Imag., vol. 38, no. 2, pp. 394–405, Feb. 2019. DOI: 10.1109/TMI.2018.2865356.
[7] J. Adler and O. Oktem, “Learnedprimal-dual reconstruction,” IEEE Trans. Med. Imag., vol. 37, no. 6, pp. 1322–1332, June 2018. DOI: 10.1109/TMI.2018.2799231.
[8] T. M. Quan, T. Nguyen-Duc, and W. K. Jeong, “Compressed sensing MRI reconstruction using a generative adversarial network with a cyclic loss,” IEEE Trans. Med. Imag., vol. 37, no. 6, pp. 1488–1497, June 2018. DOI: 10.1109/TMI.2018.2820120.
[9] M. Mardani, E. Gong, J. Y. Cheng, S. S. Vasanawala, G.Zaharchuk, L. Xing, and J. M. Pauly, “Deep generative adversarial neural networks for compressive sensing MRI,” IEEE Trans. Med. Imag., vol. 38, no. 1, pp. 167–179, Jan. 2019. doi:10.1109/TMI.2018.2858752.
[10] M. Akcakaya, S. Moeller, S. Weingartner, and K. Ugurbil, “Scan-specific robust artificial-neural-networks for k-space interpolation(RAKI) reconstruction: Database-free deep learning for fast imaging,” Magn. Reson. Med., vol. 81, pp. 439–453, Jan. 2019. DOI: 10.1002/mrm.27420.
[11] B. Zhu, J. Z. Liu, S. F. Cauley, B. R. Rosen, and M. S. Rosen, “Image reconstruction by domain-transform manifold learning,” Nature, vol. 555, no. 7697, pp. 487–492,2018. DOI: 10.1038/nature25988.
[12] S. Wang, Z. Su, L. Ying, X. Peng, S. Zhu, F. Liang, D. Feng, and D. Liang, “Accelerating magnetic resonance imaging via deep learning,” in IEEE Int. Symp. BiomedicalImaging (ISBI), 2016, pp. 514–517.
[13] T. Eo, Y. Jun, T. Kim, J. Jang, H. J. Lee, and D. Hwang, “KIKI-net: Cross-domain convolutional neural networks for reconstructing undersampled magnetic resonance images,” Magn. Reson.Med., vol. 80, no. 5, pp. 2188–2201, 2018. doi:10.1002/mrm.27201.
壁仞科技研究院作為壁仞科技的前沿研究部門，旨在研究新型智慧計算系統的關鍵技術，重點關注新型架構，先進編譯技術和設計方法學，並將逐漸拓展研究方向，探索未來智慧系統的各種可能。壁仞科技研究院秉持開放的原則，將積極投入各類產學研合作並參與開源社群的建設，為相關領域的技術進步做出自己的貢獻。
