深度學習方法在反演計算的應用得到了廣泛的研究，最新的DNN方法在準確度等指標上已經超越了傳統實現。我們在前幾期公眾號中曾對這些工作進行了總結分析, 有興趣的讀者可參閱相關文章[4]。
然而，深度學習方法在反演計算中穩定性的表現尚未得到充分研究。這無疑阻礙了它在實際場景，特別是在可靠性要求高的醫學成像等領域的應用。本文調研了深度反演計算方法可靠性方面的最新進展，並總結了這方面可以進一步開展的探索方向。
近兩年深度學習在反演成像的應用研究取得了極大的進展。各類深度重建方法在準確性或視覺效果等指標上超越了傳統方法。我們在之前的公眾號曾經介紹了深度反演計算的一般情況和最新進展，有興趣的讀者可參閱相關文章[4]。
在實際應用時，一個不可迴避的問題是深度方法的可靠性。比如，深度方法的表現在不同情況下是否發生變化？什麼樣的干擾對其效能影響最大？然而，深度方法的可靠性(reliability)的問題尚未有很深入的研究，這無疑限制了深度方法在實際中的應用，特別是在醫學影像等重建質量敏感度高的領域。因此現階段反演成像領域的重要研究課題是深度重建方法的可靠性研究。一般來看，深度方法重建的可靠性可以從兩方面來考察：健壯性(robustness)和不確定性(uncertainty)。這裡健壯性是指重建方法抗輸入噪聲干擾的效能，而不確定性是重建方法（或深度模型）自身的隨機過程屬性帶來的不確定性。本文主要討論對深度反演方法的健壯性研究。
通常反演應用的測量過程中，測量或影像域的噪聲不可避免。一般地，成像過程可以描述如下：
其中，y是觀測資料（如CT投影），x是未知待恢復影像，A是成像的過程。n是成像過程中的加性噪聲。
近兩年各種型別的深度網路被成功應用於影像反演重建中，準確性等指標甚至超越了傳統方法。Genzel等[2]一共分析了25種基於DNN的反演重建方法，並將它們歸納為三類，如下圖：
各類深度重建方法的框圖歸納（Figure1 in [2]）
圖中上半部分的網路對應兩類網路，下半部分對應第三類DNN結構。
1後處理類：由已知變換陣A得到初始反演影像，再透過DNN(如U-Net)後處理。
2 全學習網路：這類方法中變換矩陣引數也是可學習的。
3 迭代網路：將迭代重建方法展開為多層DNN的深度方法。
此外，其它工作[3]還分析了基於深度先驗（如deepimage prior,DIP）的重建方法。這類方法用深度網路作為構建潛在影像的生成器，但重建過程本身的構建並不依賴於一般機器模型需要的訓練樣本。
深度重建方法常常被質疑它們的效能不穩定的。某些微小的擾動n有可能導致嚴重的重建偽影(artifacts)[1]。對此，學者們從多個角度深入分析了深度反演成像方法在一些常見應用中的健壯性表現。
對抗攻擊噪聲(adversarial noise)的表現
文獻[2]中，作者重點研究了測量域攻擊干擾(adversarial noise)對深度反演重建方法穩定性的影響，並與經典的TV方法進行了對比。他們測試了不同強度的普通高斯噪聲（統計噪聲）和對抗噪聲對深度反演成像方法的穩定性效能影響。對抗噪聲對深度網路的影響是深度學習的熱門研究。這類研究最早在分類應用中開展。深度反演重建屬於迴歸問題。研究[2]中採用最大化下列公式來確定對於深度方法的對抗擾動。對於加性干擾n，有：
這個方法透過引數η控制噪聲的水平。注意,對於每種深度重建方法，由該公式確定的對抗干擾向量可能是不同的。
研究[2]用一維和二維訊號重建問題對這些方法進行實驗。作者對比了重建訊號和原始訊號的差值隨對抗干擾的變化，發現DNN方法對統計噪聲的健壯性甚至優於TV方法。作者還認為儘管不同DNN方法的效能受其NN架構的影響，但深度重建方法對攻擊擾動的健壯性不弱於傳統TV方法。這個結論與文獻[1]的描述不盡一致。
研究[3]也分析了對抗噪聲對重建效能的影響。在這個研究中作者用fastMRI資料集對要訓練和無需訓練的深度反演成像方法抗噪聲效能都做了測試，並與基於壓縮感知的傳統方法做對比。與[2]不同的是作者採用了不同的策略來計算各種深度反演方法的對抗噪聲。透過分析重建影像PSNR與噪聲強度關係，作者認為重建方法對各自的對抗噪聲都是敏感的。
與自然影像重建的視覺效果好的目標不同，MRI等醫學成像更強調物理上的資料一致，特別是對小目標（比如直徑0.5CM的病變組織）恢復的準確性。針對這一應用導向的問題，文獻[3]用人造小特徵和實際特徵做了實驗。透過比較各方法重建結果，作者認為各深度反演方法的小特徵重建誤差與影像內容相關（如下圖）。在對比區域性特徵重建mse和影像整體SSIM後，他們發現各方法對小特徵重建的穩定性與其整體影像重建準確性正相關，而深度方法的穩定性甚至優於傳統方法。
小特徵在影像不同區域重建時的誤差分佈（多個方法對比，Figure7 in [3]）
深度重建方法往往依賴於訓練集預先訓練引數，再應用到測試集。同傳統方法相比，深度反演重建方法的一個特有問題是訓練集和測試集樣本分佈的改變問題。文獻[3]在fastMRI資料集上對此做了研究。作者一共分析三種情況：（1）分佈不同，訓練集和測試整合像都是膝關節影像但來源不同；（2）內容不同，訓練集膝關節，測試集大腦影像；（3）難重建影像：一組用基準方法(i-RIM)重建SSIM最低的影像，用來測試各實驗反演成像方法重建影像效能。作者發現在各種情況下，深度重建方法和傳統方法受到的影響是一致的。
反演成像特別是醫學影像的目標是為了用於目標檢測。目標檢測同樣是一個DNN佔主導的應用。很自然地，實際應用中，我們會同時考慮影像重建與目標檢測/分類方法的穩定性。文獻[2]對這個問題做了簡單的探索。
具體的，作者針對MINST訓練了一個分類器，與之前訓練的深度重建模型合併，確定合併模型的對抗噪聲。作者發現，較大強度的對抗噪聲嚴重的降低了最終的分類準確性。有意思的是，同樣噪聲干擾下重建方法生成的中間影像從視覺效果上反而並未降質太多。一個可能的原因是重建模型和分類DNN最佳化的方向不一致，而在確定對抗噪聲時，用於下游分類任務的DNN影響更大。聯合深度任務的穩定性是一個值得深入研究的方向。
總得來看，近期的研究結果表明，儘管穩定性會受到對抗噪聲影響，但深度反演成像方法的穩定性似乎並不比傳統方法差。對於影像小特徵恢復，深度方法的表現甚至優於傳統方法。對於深度方法特有的樣本分佈變化問題，各類深度方法都會受到樣本分佈變化的影響。但深度反演方法的一個潛在優勢是可以和下游分類或檢測任務結合，聯合考慮在實際應用中整體方法的穩定性。
[1]V. Antun, F. Renna, C. Poon, B. Adcock, and A. C. Hansen, “On instabilities of deep learning in image reconstruction and the potential costs of AI,” Proc. Natl. Acad. Sci., 2020
[2]M. Genzel, J. Macdonald, and M. März. “Solving inverse problems with deep neural networks – robustness included?” In: arXiv:2011.04268 [cs.LG] (2020).
[3]M. Z. Darestani, A. Chaudhari, and R. Heckely, “Measuring Robustness in Deep Learning Based Compressive Sensing”,arXiv:2102.06103v1.
[4] 深度學習在反演成像中的最新進展, 壁仞科技研究院公眾號, 3月6日, https://mp.weixin.qq.com/s/xCzK4NtXpodXmXjF_2TMAA
壁仞科技研究院作為壁仞科技的前沿研究部門，旨在研究新型智慧計算系統的關鍵技術，重點關注新型架構，先進編譯技術和設計方法學，並將逐漸拓展研究方向，探索未來智慧系統的各種可能。壁仞科技研究院秉持開放的原則，將積極投入各類產學研合作並參與開源社群的建設，為相關領域的技術進步做出自己的貢獻。
