條件隨機場在病理影像分析中的應用

摘要

病理影像分析是許多疾病臨床診斷必不可少的步驟，機器學習特別是深度學習的方法可以大大提高診斷效率。由於病理影像相鄰小區域之間通常具有明顯的空間相關性，近年來透過條件隨機場將空間資訊融合到神經網路中的方法取得了較好的效果。本文首先介紹條件隨機場的基本概念，然後展示條件隨機場配合神經網路在病理影像分析中的4個應用例項。

背景介紹

癌症是全球第二大死因，每年有近1000萬人死於癌症。透過早期癌症診斷獲取更準確的病理引數，為後續治療策略提供更可靠的參考依據，對提高治癒率，降低癌症死亡率和減少治療成本有重要作用。世界衛生組織（WHO）在2017年癌症早期診斷指南中提到，病理影像分析是各種疾病尤其是癌症的早期診斷的關鍵要素之一[1]。

純人工的病理影像分析過程十分繁瑣，只有少數經驗豐富的病理學家能夠進行詳盡的檢查和分析，且分析結果具有一定的主觀性，可能出現誤診的情況。為實現更加標準化和客觀的診斷，計算機輔助診斷（Computer-Aided Diagnosis）應運而生，大量將先驗知識和訓練資料相結合的方法得到了廣泛應用。

這些資料驅動的方法所能達到的準確率依賴於資料標籤的質量，而病理影像中每個元素的標籤與其附近其它元素的標籤緊密聯絡。比如在處理全視野組織學影像（Whole Slide Image）時，由於其大小通常是100,000*100,000量級，需要將其裁剪為大量的小影像塊進行處理，在這種情況下，若一個影像塊標籤為癌變區域，與其相鄰的影像塊標籤為癌變區域的機率很大。然而，目前已有的一些演算法，包括一些基於深度學習的方法中，都沒有很好地利用病理影像的空間特性。因此，在這些演算法中引入能夠融合空間特性的結構化模型可以進一步提升精度，目前條件隨機場模型的引入已經取得了較好的效果。

條件隨機場簡介

條件隨機場（Conditional Random Field）模型在很多領域都有廣泛的應用，如自然語言處理中的命名實體識別任務以及計算機視覺中的影像分割任務在加入條件隨機場模型後都能獲得更好的效果。有關條件隨機場的詳細介紹可以參考Charles Sutton的文章[2]，這裡簡述其優勢，並對相關概念做簡要討論。

條件隨機場可以理解為邏輯迴歸（Logistic Regression）分類器對任意圖形結構的擴充套件，或者是結構化資料生成模型（如HMM）的判別性模擬，與其他常見的機率圖模型相比，它有三個主要的優勢：

1.解決了MEMM模型中標籤偏差的問題；

2.與生成式模型相比，條件隨機場模型是根據已知的觀測序列預測標籤序列，不需要遍歷所有可能的觀測序列，效率大大提升；

3.與基於有向圖的貝葉斯模型相比，條件隨機場模型放寬了假設條件，最終獲得的結果可以更接近真實資料分佈。

圖1 六類常見模型的關係圖[2]

要理解條件隨機場，首先需要了解機率圖模型的一些基本概念。

機率圖模型（Probabilistic Graphical Model）是由圖表示的機率分佈。對於一組隨機變數，其聯合機率分佈

可以由一個無向圖

來表示，圖中的結點表示隨機變數，邊表示隨機變數之間的機率依賴關係。

機率圖模型可以讓我們更直觀地表示和理解隨機變數之間的關係，但在實際應用當中，我們更關心如何求聯合機率分佈

，為簡化計算我們會引入不同的假設，如要求其滿足成對、區域性或全域性馬爾可夫性時，就得到了馬爾科夫隨機場（Markov Random Field），或稱機率無向圖模型（Probabilistic Undirected Graphical Model）。

對應給定的機率無向圖模型，我們希望將整體的聯合機率寫成若干子聯合機率的乘積的形式，也就是將機率無向圖模型進行因子分解（Factorization）。根據Hammersley-Clifford定理[11]，機率無向圖模型的聯合機率分佈

可寫作圖中所有最大團（Maximal Clique）上的函式的乘積的形式，即

為規範化因子（Normalization Factor），定義如下

最大團（Maximal Clique）的定義如下：無向圖

中任何兩個結點均有邊連線的結點子整合為團，若

是無向圖

的一個團，且不能再加入任何一個

的結點使其成為一個更大的團，則稱此

為最大團。

稱為勢函式（Potential Function），要求是嚴格正的，通常定義為指數函式。

圖2 機率無向圖舉例[2]

舉個例子，如圖2所示的機率無向圖模型，其聯合機率分佈為

MRF的定義限制了每個結點的機率計算僅受其領域結點的影響，極大地簡化了聯合機率分佈

的計算。但MRF是一個生成式模型（Generative Model），對於聯合機率分佈的估計

需要遍歷所有可能的觀測序列。而在很多情況下，估計邊緣機率

的效率要更高。由此我們引入條件隨機場（Conditional Random Field）：設

與

是隨機變數，

是在給定

的條件下

的條件機率分佈。若隨機變數

構成一個由無向圖

表示的馬爾科夫隨機場，即

對任意結點

成立，則稱條件機率分佈

為條件隨機場。式中

表示在圖

中與結點

有邊連線的所有結點

，

表示結點

以外的所有結點，

，

為結點

，

對應的隨機變數。

條件隨機場的圖模型佈局是可以任意給定的，這裡主要介紹影像分割問題常用的全連線條件隨機場（FC-CRF/DenseCRF）。

設

與

是兩個隨機場，

中的每個變數

表示畫素

對應的影像輸入（如畫素的RGB值），

表示畫素

對應的標籤（如語義分割中的具體類別）。條件隨機場

可以用Gibbs分佈描述為

其中，

為

對應的機率無向圖，

為

中團（clique）的集合，每個團

對應一個勢函式

。

對於一個標註

，Gibbs能量函式定義為

在FC-CRF模型中，

是一個完全圖（complete graph），

是所有的一元和二元團，將

記為

，對應的Gibbs能量函式可以表示為

影像與類別標籤構成的條件隨機場如圖3，一元勢函式

描述每個畫素點分配對應標籤的代價，二元勢函式

描述畫素點與畫素點之間的關係，鼓勵相似畫素分配相同的標籤，而相差較大的畫素分配不同標籤，這樣CRF能夠使圖片儘量在邊界處分割。全連線條件隨機場會引入較大的計算量，通常透過平均場近似（Mean-field Approximation）提高推斷效率。

圖3 影像與類別標籤構成的條件隨機場

條件隨機場在病理影像分析中的應用舉例

1.透過CRF將空間資訊融入神經網路

Baidu Silicon Valley Artificial Intelligence Lab在2018年提出一個神經條件隨機場（Neural Conditional Random Field）深度學習框架[3]，用於檢測全視野組織學影像中的癌細胞擴散區域。該框架結構如圖4，主要包含卷積神經網路特徵提取模組（CNN Feature Extractor）和條件隨機場（CRF）模組。原始的全視野組織學影像被切分成多個patch，CNN模組提取每個patch的特徵，輸出Embedding，CRF模組將Embedding作為輸入，融合空間資訊預測出每個patch是否正常（normal or tumor）的邊緣分佈。

圖4 神經條件隨機場NCRF框架結構圖[3]

該方法在Camelyon16資料集[4]（訓練集包含270張全視野組織學影像，測試集包含130張全視野組織學影像）上進行了測試，最終平均FROC值（Free-response Receiver Operating Characteristic score）為0.8096。圖5為其中的一個測試樣例，可以看到NCRF給出了更準確的機率分佈預測。

圖5 NCRF癌細胞擴散區域檢測結果示意圖[3]（（a）輸入的全視野組織學影響（b）實際的癌細胞擴散區域（c）基準方法預測的癌細胞擴散區域機率分佈圖（d）NCRF方法預測的癌細胞擴散區域機率分佈圖）

2.透過CRF將多尺度空間資訊融入神經網路

倫敦癌症研究院（The Institute of Cancer Research, London）在2019年提出一個基於超畫素的條件隨機場模型SuperCRF（Superpixel-based Conditional Random Field）[5]，用於細胞分類。該CRF模型結構如圖2，細胞和超畫素都被看成模型中的結點，訓練過程中融合了多個尺度的空間資訊，增強了模型對於單個細胞的分類能力。考慮到淋巴細胞會以十分稀疏或十分稠密的狀態浸潤到腫瘤區域以及基質組織中，對於其他細胞的預測會產生較大幹擾，故該CRF模型構建過程中排除了淋巴細胞。

圖6 SuperCRF結構示意圖[5]

該模型在一個包含105張黑色素瘤全視野組織學影像的資料集上的效能測試結果見表1，準確率（accuracy）為96.48%，精度（precision）為96.44%，召回率（recall）為96.29%，遠高於其他幾種方法。

表1 SuperCRF的測試結果[5]

3.透過CRF後處理提升模型精度

中山大學機器智慧與先進計算重點實驗室在2020年將CRF和CNN整合到一起，提出了GECNN-CRF[6]。該工作針對CNN模型在訓練過程中由於輸入資料隨機旋轉導致的特徵不一致的問題提出了一種特殊的卷積方法，並將CNN模型的機率輸出直接用作FC-CRF模型的一元勢函式（unary potential），透過使用平均場近似（mean-field approximate）演算法來獲取邊緣分佈並計算模型的交叉熵損失以實現端到端的訓練。

該工作的消融實驗結果見表2，CRF的加入使模型準確率（Accuracy）由79.1%提升到83.7%，AUC由86.4%提升到89.7%。

表2 GECNN-CRF測試結果[6]

Resnet-18與GECNN-CRF模型的測試例項比較如圖7，可以看到GECNN-CRF模型能更準確地定位癌症區域。

圖7 Resnet-18與GECNN-CRF模型的效能比較[6]

4.透過CRF和CNN交叉搭建多層級框架

瀋陽東北大學醫學影像與智慧分析工程研究中心在2020年提出一個用於胃部組織病理影像分割的層級化條件隨機場（Hierarchical Conditional Random Field）模型[7]。該模型結構如圖8，構建了畫素級勢函式（Pixel-Level Potentials）和影像塊級勢函式（Patch-Level Potentials），其中畫素級勢函式使用U-Net[8]實現，影像塊級勢函式則透過ResNet-50[9]、VGG-16[10]、以及Inception-V3[11]三個網路來構造，兩種勢函式的引入整合了多尺度的資訊。此外，在構造二元勢函式（binary potential）時，每個畫素關聯了周圍48個畫素的資訊，每個影像塊關聯了周圍8個影像塊的資訊。

圖8 層級化條件隨機場模型結構圖[7]

該方法在一個有560張影像的胃部組織資料集上測試結果見表3，可以看到HCRF相較於DenseCRF和U-Net精度有進一步的提升。透過圖9所示的測試樣例可以看出HCRF引入的多層級的空間資訊有助於進一步減少背景區域的誤分割，使分割區域具有更好的連續性。

表3 HCRF測試結果[7]

圖9 HCRF測試樣例[7]

結語

深度學習的方法大大提高了病理影像分析的效率，為更好地利用病理影像的空間特性，條件隨機場模型也逐漸融入神經網路框架中，用於改進網路結構或者用作後處理步驟，進一步提升模型精度。此外，條件隨機場的一些改進模型也有很大的應用潛力，如[16]中用於影像塊分類的多標籤條件隨機場（multi-label CRF），可以很好地支援病理影像語義分割任務；再如[17]中用於提高遙感影像分類精度的層級化條件隨機場（hierarchical CRF），可以應用到同樣是大尺寸的全視野組織學影像上。目前關於這些改進模型在病理影像分析方面的具體應用都有待進一步研究。

參考文獻

1、Silva R C F. Guide to Cancer Early Diagnosis[J]. Revista Brasileira de Cancerologia, 2017, 63(1): 41-42.

2、Sutton C, McCallum A. An introduction to conditional random fields for relational learning[J]. Introduction to statistical relational learning, 2006, 2: 93-128.

3、Li Y, Ping W. Cancer metastasis detection with neural conditional random field[J]. arXiv preprint arXiv:1806.07064, 2018.

4、Bejnordi B E, Veta M, Van Diest P J, et al. Diagnostic assessment of deep learning algorithms for detection of lymph node metastases in women with breast cancer[J]. Jama, 2017, 318(22): 2199-2210.

5、Zormpas-Petridis K, Failmezger H, Raza S E A, et al. Superpixel-based Conditional Random Fields (SuperCRF): Incorporating global and local context for enhanced deep learning in melanoma histopathology[J]. Frontiers in oncology, 2019, 9: 1045.

6、Dong J, Guo X, Wang G. GECNN-CRF for Prostate Cancer Detection with WSI[C]//Chinese Intelligent Systems Conference. Springer, Singapore, 2020: 646-658.

7、Sun C, Li C, Zhang J, et al. Gastric histopathology image segmentation using a hierarchical conditional random field[J]. Biocybernetics and Biomedical Engineering, 2020, 40(4): 1535-1555.

8、Ronneberger O, Fischer P, Brox T. U-net: Convolutional networks for biomedical image segmentation[C]//International Conference on Medical image computing and computer-assisted intervention. Springer, Cham, 2015: 234-241.

9、He K, Zhang X, Ren S, et al. Deep residual learning for image recognition[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2016: 770-778.

10、Simonyan K, Zisserman A. Very deep convolutional networks for large-scale image recognition[J]. arXiv preprint arXiv:1409.1556, 2014.

11、Szegedy C, Vanhoucke V, Ioffe S, et al. Rethinking the inception architecture for computer vision[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2016: 2818-2826.

12、Learning M. An introduction to conditional random fields[J]. Machine Learning, 2011, 4(4): 267-373.

13、李航. 統計學習方法[M]. Qing hua da xue chu ban she, 2012.

14、Hammersley J M, Clifford P. Markov fields on finite graphs and lattices[J]. Unpublished manuscript, 1971, 46.

15、Krähenbühl P, Koltun V. Efficient inference in fully connected crfs with gaussian edge potentials[J]. Advances in neural information processing systems, 2011, 24: 109-117.

16、Zeggada A, Benbraika S, Melgani F, et al. Multilabel conditional random field classification for UAV images[J]. IEEE Geoscience and Remote Sensing Letters, 2018, 15(3): 399-403.

17、Yang Y, Stein A, Tolpekin V A, et al. High-resolution remote sensing image classification using associative hierarchical CRF considering segmentation quality[J]. IEEE geoscience and remote sensing letters, 2018, 15(5): 754-758.

往期推薦

1、MLIR編譯技術應對硬體設計挑戰？—初探CIRCT專案

2、擎天柱: 訓練超大模型的高效二維方法

3、科學計算領域的底數值精度加速問題