摘要
本文介紹了用於成像的反演技術，簡單描述了反演成像的一般方法。本文重點總結了深度學習技術在反演成像中的最新應用進展，並討論了深度反演成像存在的問題及可能的研究方向。
日常生活中，我們可以根據一定條件得到期望的結果。比如廚師可以用食材和調料透過一定的程式加工出美味的菜餚。另一方面，美食家也可以透過品嚐一份菜餚估計出食材和加工方法。產生菜餚是一個前向過程，而由菜餚推出食材則是一個反演過程。在科研與工程實踐中也存在大量的前向和反演過程。比如圖形渲染是一個前向過程，而從影像中獲得光照資訊則是一個反演過程。
反演問題可以簡單理解為由果推因的問題：給定觀測結果，推匯出引起結果的原因。計算成像是反演問題(inverse problem)中的重要課題。醫學和工業領域廣泛應用的CT即是一種反演成像技術。在CT成像時，計算機透過觀測到的多角度X射線投影資料計算出探測目標的內部解剖結構，而無需破壞探測目標。類似的成像技術還有醫療上的MRI、腦電波(EEG)成像、電磁成像，石油物探的地震波成像，乃至天體觀測的射電成像等等。廣義上，反演成像也用在了一些影像處理的基礎應用上，如影像去噪、超解析度、修復等。在這些應用中，影像往往透過計算獲得。因此反演成像是一種計算成像技術。
反演成像：從觀測資料(EEG)到潛在影像(Brain)
y=A(x)+n
其中，y是觀測資料（如CT投影），x是未知待恢復影像，A是成像的過程。n是成像過程中的加性噪聲，在某些成像中如射電成像等，噪聲也可能是乘性的。對於CT和MRI等醫學常用影像手段，其成像可以簡化為線性過程，即：y=Ax+n，A為矩陣，其引數由成像條件決定，比如掃描角度、掃描排數等等。對於去噪問題，A可表達為單位矩陣。理想條件下，線性成像過程的求解，即重建影像可透過求逆來確定。
然而與一般的反演問題類似，反演成像存在所謂不適定問題。由於成像條件的限制，目標解可能不存在、不穩定，或存在非唯一解。即使是線性成像過程，其求解也不能由簡單的矩陣求逆來確定。比如，在CT成像中，為減少輻射對人體的傷害，輻射劑量會盡可能降低。這會降低取樣並增大噪聲的影響，使得一組觀測值可能對應多個潛在的影像。因此CT影像重建就是一個欠定問題。
為了從不適定的反演問題中得到滿足條件的可行解(feasible solution)，Tikonov等學者發展了經典的正則化方法[1]。透過引入問題的先驗或約束，我們可以將原問題轉換為適定的最最佳化問題。而最最佳化問題的解即是原問題的可行解。這一思路在當前的反演成像中仍然得到廣泛應用。
如前述，理想情況下，計算成像可透過對逆矩陣實現。然而，實際的成像過程中，噪聲的存在不可避免；有效的觀測資料量有限。因此這種實際的反演成像是典型的欠定問題。
欠定條件下的影像反演可表達為約束條件下的求解問題。以線性過程為例：
Ax = y, s.t. r(x)
其中r(x)是待求影像的先驗，常常表現為正則項。該問題也可表達為：
Argmin ||Ax–y|| + λ r(x)
設法獲得滿足上述約束問題的最優解，即可得到欠定反演的可行解影像·。
用於約束的先驗/正則項r(x)依具體成像應用而定。在用於去噪或醫學成像的CT，MRI中，影像梯度總變分是一個得到廣泛應用的約束條件。另一個常見的先驗約束是基於影像稀疏表達而發展出的壓縮感知約束。
傳統的先驗約束多由人工設計，依賴於對成像或目標影像的專業理解。近年來，深度學習先驗提取得到了廣泛的關注。這類方法利用深度模型的特徵提取能力，從已有資料中提取關於成像的知識，用於構建深度影像先驗(DIP)[9]。
基於隨機過程的描述
噪聲條件下的成像是一個隨機過程，對未知影像的重建也可以表達為最大化後驗機率(MAP)，即：
x* =arg max p(x|y)
由貝葉斯定理，得：
x*=arg max p(y|x)p(x)= arg min–(lnp(y|x)+lnp(x))
其中，p(y|x)是似然函式，由成像的物理模型描述，比如線性成像的y=Ax。而p(x)是待求影像的先驗。如果成像噪聲是加性白高斯噪聲，則MAP可簡化為：
arg min ½||Ax–y||22 + r(x)
與前述帶約束最最佳化問題表達一致。
反演成像傳統的求解方法大體可分為兩類。當反演問題的逆存在解析表達時，可行影像解可由解析表達直接確定確定，即：
x*=g(A-1y) （1）
更多情況下，反演問題不存在解析解，或者取樣不足或信噪比受限導致解析結果產生偽影(artifacts)。反演成像的可行解由迭代最佳化的方法獲得。一個經典的迭代方法是近端梯度方法（proximal gradient descent）：
x(k+1)= P(x(k) – ηAT(Ax(k)–y)) (2)
P()是正則項r()的近端（proximal）運算元。
基於深度學習的求解
近年來深度學習方法也用在了反演成像。與傳統方法相對應，一類直接的深度學習方法可用下圖描述:
其中G模組代表DNN模型，如殘差網、U-net、MLP等[2,3]。與解析方法對比，訓練好的神經網路的作用類似正則項的逆。訓練的過程即是深度網路從資料中學習先驗的過程。在有些方案中，深度模型也用於觀測資料y的前處理。
與傳統迭代求解對應，反演影像也可用展開（unrolled）的DNN方法來提升質量[4]。一種與MAP問題對應展開DNN模型結構如下圖:
注意，這一結構包含多個結構相同的迭代(proximal blocks)層，每一層運算元的作用類似公式2的迭代過程。
上述方法適用於觀測資料與目標影像(ground truth)對(pair) 都能夠獲得情況。當目標影像無法獲得而噪聲統計先驗已知時，我們可以構造包含噪聲先驗的損失函式透過自監督來訓練DNN，從而構建有效的反演影像求解模型。這種損失函式的構建可借鑑傳統統計理論中的估計方法，比如SURE(Stein’s Unbiased Risk Estimator)。
基於生成網路的求解方法
許多反演成像問題中，觀測資料的生成資訊不完整或未知，即前向變換矩陣A不完整。比如影像去模糊中，模糊核往往未知。這種情況下，生成模型如GAN或VAE可用於從訓練資料中構建完整的變換矩陣[5]。
同樣，利用成像過程的先驗，如統計分佈，我們還可以僅基於觀測資料（無目標影像）來訓練生成模型，從而靈活的構建基於生成模型的反演成像求解器。
基於流形變換的影像反演方法
2018年Nature期刊介紹了一種深度影像反演方法AUTOMAP[6]。該方法完全不依賴成像物理過程資訊。這種方法將影像重建看作是一個黑盒過程。給定觀測值y，該方法將y對映到觀測流形（FC網路），然後做微分同胚變換(diffeomorphism)到影像流形，最後再對映到目標影像空間（CNN網路）。透過MRI重建實驗，作者驗證了在訓練資料足夠的情況下，該模型可以學習到未知成像的反演解法。這一思路無疑對擴充套件反演成像的應用有很好的啟發作用。
深度學習技術的引入無疑極大促進了反演成像計算的發展與推廣。然而深度學習的深入應用也使得研究者能夠看到更多待解決的問題和進一步提升的方向[7]。有些問題在傳統方法中就已經存在。比如，非線性反演成像的求解。醫學EM成像和天文射電成像都存在非線性過程。此外，學者也證明稀疏取樣的欠定線性成像求解實質上是一個非線性問題。深度模型對非線性成像的求解是一個很有意思的問題。當然我們更關注的是幾個與深度學習應用緊密相關問題：
資料與模型
與其它深度學習類似，基於DNN的反演計算依賴於足夠的合格資料。成像問題的獨特之處在於資料觀測與成像模型是互動的。資料的測量方式直接影響成像與相應的深度模型，而成像計算方式也可以改變資料測量模式。比如，設計具有特殊模式的光學系統，利用計算成像直接從採集的二維光學影像中構建包含深度的影像。如何控制觀測資料的數量、使用方式，有效的適配資料測量模式與深度求解器，從而適用具體的反演成像應用是一個有趣的研究課題。
不確定性度量
眾所周知，深度學習方法的結果存在資料和系統（模型）的不確定性。資料引起的不確定性是傳統反演方法也面對的問題，已經有了較多的探索和結論。然而，深度模型本身引起的系統不確定性在計算成像中可能引起的偽影與不確定性尚未得到充分研究。這種誤差在自然影像增強中尚可接受。但在醫學影像領域，由系統引起的影像偽影使得醫生無法區分影像上的異常是真實結果還是錯誤[8]。這使得基於深度學習的醫學成像方法無法進入實用。
因此對求解方法引起的不確定的定量分析是當前的一個重要研究方向，值得進一步關注。
本文介紹了面向成像的反演問題及求解方法，重點討論了深度學習方法在各種應用條件的反演成像中的最新進展。本文也討論了深度學習反演成像發展中值得關注的幾個問題。
[1] A. N. Tikhonovand V. Y. Arsenin, "Solutions of Ill-Posed Problems", Wiley, New York,1977.
[2] M. T. McCann, K.H. Jin, and M. Unser, “Convolutional neural networks for inverse problems in imaging: A review,” IEEE Signal Processing Magazine,vol. 34, no. 6, pp. 85–95, 2017.
[3] O. Ronneberger,P. Fischer, and T. Brox, “U-net: Convolutional networks for biomedical image segmentation,” MICCAI, 2015, pp. 234–241.
[4] R. Liu, S.Cheng, L. Ma, X. Fan, and Z. Luo, “Deep proximal unrolling: Algorithmic framework, convergence analysis and applications,” IEEE Trans. Image Processing, vol. 28, no. 10, pp. 5013–5026, 2019.
[5] A. Pajot, E. deBezenac, and P. Gallinari, “Unsupervised adversarial imagereconstruction,” arXiv:1912.12164, 2018.
[6] B. Zhu, J. Z.Liu, S. F. Cauley, B. R. Rosen, and M. S. Rosen, “Image reconstruction by domain-transform manifold learning,” Nature, vol.555, no. 7697, pp. 487–492, 2018.
[7] G.Ongie, A. Jalal, C. A. Metzler, R. G. Baraniuk, A. G. Dimakis and R. Willett, "Deep Learning Techniques for Inverse Problems in Imaging," IEEE Journal on Selected Areas in Information Theory,vol.1, no. 1, pp. 39-56, 2020.
[8]H.Sun, K. Bouman, "Deep Probabilistic Imaging: Uncertainty Quantification and Multi-modal Solution Characterization for Computational Imaging", arXiv: 2010.14462.
[9] D. Ulyanov, A.Vedaldi, and V. Lempitsky, “Deep image prior,” CVPR 2018, pp.9446–9454.
