
病理影像包含豐富的表型資訊,準確的病理影像分析結果可以對個性化癌症治療提供很好的參考依據。近年來,數字顯微鏡的快速發展使得組織切片的高解析度和高速數字化成為可能,而基於機器學習,特別是深度學習的方法已成為病理影像分析的主流方法,相關的研究層出不窮。本文將對現有的應用於病理影像分析的深度學習方法進行梳理,加以分析和討論,並對其未來的發展進行展望。
病理影像包含豐富的表型資訊(Phenotypic Information),可用於監測癌症患者的病情,預測存活率,準確的病理影像分析結果可以對個性化癌症治療提供很好的參考依據。一個典型的病理影像採集過程主要包括以下幾個步驟:1.獲取活體組織切片(Biopsy);2.透過石蠟包埋(Paraffin Embedding)獲取固定好的組織塊(Tissue Block);3.將組織塊進行切片;4.將切片置於載玻片上並進行染色(Staining);5.將染色後的組織置於掃描器上進行影像採集;6.最終獲得數字化的病理影像。
病理學中的計算影像分析已經存在多年 [2,3]。然而,由於載玻片數字化、計算機硬體、處理時間和影像分析方法以及資料儲存的能力等多方面無法提供很好的支援,其在常規病理學中的應用受到限制[1]。近年來,數字顯微鏡的快速發展使得組織切片的高解析度和高速數字化成為可能,而基於機器學習,特別是深度學習的方法已成為病理影像分析的主流方法,相關的研究數量逐年攀升。

圖1 基於深度學習方法的數字病理學相關文獻數量
(資料來源於Google Scholar)
應用於病理影像分析的深度學習方法總結如圖2,輸入為病理影像,使用的模型為深度神經網路。根據對資料標籤的要求,我們將模型分成監督學習、弱監督學習、無監督學習、以及遷移學習4組進行討論,涉及到的神經網路結構包括:A.卷積神經網路,B.迴圈神經網路,C.全卷積網路,D.自編碼器,E.生成對抗網路;涉及到的應用包括:1.針對細胞及細胞核的檢測、分割、分類,2.針對腺體、組織、腫瘤的分割,3.針對癌症的檢測、分類、評級,4.針對生存分析的預測、預後,5.針對染色的歸一化、遷移。

在病理影像分析過程中應用監督學習方法的典型流程總結如圖3,首先需要提供帶有標籤的病理影像資料;接下來需要將原始影像拆解為小的影像塊(Patch),這是由於原始影像尺寸較大(典型值為100,000*100,000),且存在大量對於建模無意義的區域(如背景區域、汙染區域、無標籤區域等);最後根據任務的不同使用分類、迴歸、分割三類經典的深度學習模型進行處理。

分類模型通常設計為基於滑動視窗的方法,根據任務目標的不同可以分為區域性(如預測細胞、細胞核、腺體等)和全域性(如疾病診斷和預後)兩類。
區域性任務中使用的標籤為影像塊級(Patch-level)的標籤,即每個影像塊被標註為包含分類主體(如包含要預測的細胞、細胞核等)或背景,當存在多種分類主體時也可標註成多分類模式。這類任務最早的工作是Ciresan等人於2013年提出的基於CNN的畫素預測方法,這一方法用於檢測乳腺癌病理切片中的有絲分裂[5]。由於CNN模型的訓練較為複雜,且需要大量的資料進行模型調整,隨後出現的一系列工作主要集中於設計具有生物學意義的手工特徵(biologically interpretable handcrafted features),並將其與CNN進行結合,以獲取更好的效能[6,7,8,9,10]。最新的一些工作主要考慮透過眾包來獲取大量的標籤。然而,將標籤標註工作外包給非專家人員可能會導致資料集中存在具有主觀性的不一致的標籤,這些帶有噪聲的標籤將會給傳統的深度學習模型的訓練帶來極大的挑戰。提高標籤質量的一種方法是為每個樣本收集多個冗餘標籤,並在訓練模型之前透過各種投票機制將它們聚合。例如,Albarqouni 等人設計了特殊的“眾包層”(crowdsourcing layer),將資料聚合過程作為CNN學習過程的一部分,以提高模型效能[11]。另一種方法是利用病理學專家對困難標籤提供的反饋來改善標籤質量[12]。Marzahl 等人的研究表明,使用預先計算的標籤為標註人員提供參考可以提高模型效能[13]。
全域性任務主要透過影像塊級(patch-level)的分類方法來進行全視野影像級(whole-slide level)的疾病預測。這些方法包括一些簡單的CNN結構的使用[14,15],以及一些較為複雜的模型的使用[16,17],這些複雜的模型可以準確地定位癌變組織並給出相應的疾病評級。但這些方法都是對稠密的影像塊進行處理,需要花費較長的時間。於是,Roa等人提出了一種CNN和準蒙特卡羅取樣結合的方法,僅針對具有高度不確定性的區域進行處理[18]。近年來,基於注意力機制的方法[17,19]越來越受歡迎,與上述基於影像塊的方法相比,這些方法有一些有趣的特性:1.透過注意力提供的區域選擇機制,模型在進行疾病預測時僅關心診斷資訊最豐富的區域;2.模型引數大大減少,訓練更快;3.模型複雜度與病理影像的大小無關。
迴歸模型透過直接對一個畫素是目標中心的可能性進行迴歸來檢測或定位目標(通常為一個細胞的中心或一個細胞核的中心)。在組織學影像中,檢測細胞或者細胞核是一項比較有挑戰性的任務,這是因為它們的形狀通常不規則且存在大量重疊現象。在這一任務上使用基於畫素的分類方法時,並不能保證充分利用目標中心的畫素和鄰近目標中心畫素之間的拓撲關係,因此通常效果欠佳。為提高目標檢測效果,許多學者將其建模為迴歸問題,由此可以比較方便地引入拓撲約束,比如使目標中心的畫素對應的機率值高於距離目標中心較遠的畫素對應的機率值。相關的工作包括早期Chen等人提出的基於FCN的模型[21],以及較新的透過調整損失函式[22]或者透過增加額外的特徵[23]來提高效能的案例。
分割模型用於提取病理影像中的一些基本元素,如細胞、腺體、細胞核、以及一些其他的組織,這些元素的獲取是進一步計算形態學指標並用於評估腫瘤惡性程度的前序步驟。可以設計基於滑動視窗的方法,用每個畫素為中心的影像塊代表該畫素,透過對每個影像塊分類來獲得分割結果,但這樣會帶來大量冗餘的計算。在用於病理影像分割的模型中,比較常見的是基於FCN的模型[24]和基於UNet的模型[25]。Swiderska-Chadaj等人比較了FCN和UNet的效果,發現基於UNet的模型具有更好的魯棒性和通用性[26]。與標準的FCN相比,UNet的一個核心特點是有一條上取樣路徑(upsampling path),配合跳接結構(skip connection)產生了更多具有生物學意義的特徵圖。
這些方法都是對影像塊進行處理,影像塊級的方法存在三點缺陷:1.影像塊所對應的視野比較狹窄,所包含的來自周圍環境的上下文資訊十分有限;2.基於影像塊的分析邏輯與病理學專家的分析邏輯不一致,病理學專家會在不同放大倍數下觀察影像中相互關聯的關鍵區域,而不是孤立的固定大小的影像塊;3.通常基於影像塊的方法存在大量重疊區域,會帶來大量冗餘的計算,導致推斷時間較長。為應對前兩個問題,出現了一些模仿病理學家分析邏輯的方法,如Ho等人提出了一個基於FCN的多編碼器多解碼器的結構,將不同放大倍數的影像塊作為輸入,生成豐富的中間特徵,以獲得更準確的乳腺癌分割結果[27]。為應對計算量問題,Lin等人在FCN中加入了一種稠密掃描機制(dense scanning mechanism),在影像掃描過程中,重疊區域共享計算量[28];Guo等人則設計了一種兩級的結構,在腫瘤分割任務中,先透過一個CNN分類器挑選疑似腫瘤的區域,再使用基於FCN的模型對這些區域進行精細化分割[29]。
基於監督學習的方法依賴於大量精細的標註資料,而要獲取病理影像的高質量標籤是十分困難的,因此也出現了一些使用大量“非專家”標籤的方案[12,13]。此外,下文即將介紹的基於弱監督學習和無監督學習的方法也為解決缺少標註資料的問題帶來新的思路。
2.弱監督學習
在病理影像分析過程中應用弱監督學習方法的典型流程總結如圖4,弱監督學習(Weakly Supervised Learning)旨在根據粗粒度的標籤(如影像級的標籤)推斷出細粒度的標籤(如畫素級/影像塊級的標籤)。由於病理影像通常十分巨大,要獲取畫素級的標籤是十分困難的,但影像級的標籤(如是否存在腫瘤,是否惡性癌症等)卻是比較容易獲取的,故關於弱監督學習方法的研究更具有實用意義。

用於病理影像分析的弱監督學習方法最常見的一種形式為多例學習(Multiple-Instance Learning),其處理物件為多個未知標籤的例項(instance)組成的“包”(bag),提供的標籤為“包”的標籤,一般將至少包含一個正例(Positive instance)的包標記為“正包”,而僅包含負例(Negative instance)的包標記為“負包”。比如,每張具有影像級標註的病理影像可以看作一個“包”,而影像中的每個畫素或者每個影像塊可以看作一個例項,若該病理影像中存在癌變區域,則將其標註為“正包”,若該病理影像中不存在癌變區域,則將其標註為“負包”,我們希望透過這些“包”級的標籤訓練出一個模型,讓它既能預測“包”級標籤又能預測例項級標籤,也即,既能預測整張病理影像中是否存在癌變區域,又能預測出癌變區域的具體位置。
全域性檢測模型的目標是預測“包”級的資訊,如預測某張病理影像中是否存在癌變區域。全域性預測資訊通常由例項級預測資訊聚合得到,但由於病理學影像外觀變化性較大,例項級預測資訊中存在很多噪聲,透過普通的池化或者投票機制獲取的聚合資訊不可靠。為應對這一問題,出現了一些關於聚合方法的研究,如Campanella等人透過一個RNN模型將例項中語義資訊更為豐富的特徵聚合到一起,以更準確地獲取整個病理影像的診斷預測結果[30]。
區域性檢測模型的目標是預測例項級的資訊,如檢測出癌變組織、癌變細胞所在區域。這類模型通常基於FCN進行設計,訓練過程與有監督學習類似,關鍵問題在於如何產生訓練標籤。首先可以考慮將“包”級的標籤直接用於所包含的例項,但由此獲得的例項級預測效果較差[31]。為應對這一問題,Xu等人提出了一個從“包”級標籤中生成例項級標籤的方案,取得了與監督學習方法相媲美的效果[32]。
全域性區域性同時檢測模型的目標是同時預測“包”級的資訊和例項級的資訊,如預測某張病理影像中是否存在癌變區域,若存在則同時給出癌變區域的具體位置。由於例項級的標籤較難獲取,通常以“包”級的標籤測試模型效能,然後將例項級的預測結果進行視覺化,如生成熱點圖(heat map)[33]和顯著圖(saliency map)[34],用以輔助評估模型的可解釋性。
在病理影像分析過程中應用無監督學習方法的典型流程總結如圖5,首先將輸入資料變換為一個低維子空間內的特徵表示,然後將特徵表示聚合成互斥或分層的簇,並透過一些約束來保證獲取到合理的特徵表示。早期的工作可見於Xu等人關於稀疏自編碼器在無監督細胞核分割任務上的應用[35]。在一些更為複雜的任務,如在組織和細胞的分類任務中,生成對抗模型也得到了應用[36]。

近年來,自監督學習也是一個研究熱點,由於其同樣不需要資料集提供標籤,此處暫且將其與無監督學習放在一起討論。基於上下文的自監督學習方法(如基於空間順序預測的方法[37]和基於影像旋轉的方法[38])以及基於生成模型的方法(如將灰度影像對映成對應的RGB影像的方法)已經在獲取更好的初始化網路和利用更少的標籤學習目標任務方面獲得了較大的成功。然而,在病理影像中,細胞組織結構形成的位置約束、顏色或染色的分佈規則等多個方面都與自然場景影像中已發現的規律不同。這一方面使得病理影像的自監督學習任務變得更加困難,另一方面也為研究人員開發可能適用於醫學影像的新技術提供了更多的機會。
4.遷移學習
遷移學習旨在將一個域(source domain)中提取到的知識應用於另一個域(target domain),比較常見的一種做法是使用ImageNet預訓練的模型,這一做法在病理影像分析中也得到了廣泛應用。
此外,病理影像有其特殊性:在切片製作的過程中,根據目標任務不同,會使用不同的染色方法(IHC、H&E等),且即使是使用同一種染色方法,也會由於染色程度的不同導致影像外觀變化較大,這會嚴重影響所訓練的CNN模型的效果。為應對這一問題,主要產生了兩類方法:域適應(Domain adaptation)和染色歸一化(Stain normalization)。
域適應是遷移學習的一個子領域,目標是在一個或多個有標籤的源域(source domains)上訓練模型,然後將其遷移到僅有少量標籤或沒有標籤的目標域(target domains)上,並保持與源域上相近的模型效能。Ciga等人透過改進網路結構來減少模型對目標域標籤的依賴,提出了一個多級域對抗網路(multi-level domain-adversarial network)[39]。Gadermayr等人則透過生成對抗網絡合成不同染色條件下的病理影像來擴增資料集[40]。
域適應主要是從特徵層面進行調整,以使得兩個域的資料分佈更為接近,而染色歸一化則直接調整輸入影像,以使得不同染色條件下的輸入影像在外觀上更為相近。此外,可以透過影像增強(Data augmentation)來對抗染色變化性,如訓練過程中在預先選定的色彩空間內(如HSV、HED)改變每個畫素每個通道的值[41,42,43]。早期的使用機器學習的方法假設染色均勻地衰減光(光密度),並將每個光密度影像分解為濃度(外觀)和顏色(染色)矩陣[44]。之後這一假設被放寬,一些工作在生成顏色矩陣時考慮了影像的化學染色特性和形態特性[45,46]。最近,神經網路也被用於處理染色變化性問題,如Janowczyk等人將稀疏自編碼器用於模板匹配[47],GAN被用於染色風格遷移和染色歸一化[48,49]。Tellez等人分析了染色歸一化和資料增強兩種技術對模型效能的影響(兩種技術的效果示意如圖6,使用染色歸一化會使不同的資料集在顏色空間上的分佈更為集中,使用資料增強則會產生相反的效果),其實驗結果表明基於HSV或HED色彩空間的資料增強均有助於提升模型效能,而染色歸一化帶來了一定程度的過擬合,需要配合資料增強才能達到較好的效果,其中基於神經網路的染色歸一化方法更具研究潛力[50]。

從上述討論中我們可以看到,基於深度學習的方法提供了強大的病理影像分析能力。從病理影像一些基本元素(如細胞、組織、腺體等)的檢測、分割、分類等一系列基礎的任務,到聚合這些基礎任務提供的資訊形成對整張病理影像不同區域的分類或分割、對癌變區域的檢測、以及對腫瘤惡化程度的評級,再到最終提供生存分析和個性化治療參考,基於深度神經網路的方法都得到了廣泛應用。
目前已有一些將深度學習的方法整合到顯微鏡上實現即時AI輔助診斷的案例[52],診斷效率和準確率都得到了有效提升。如何基於現有的在病理影像分析方面取得的成果,進一步改善AI輔助診斷的效能,更好地提供治療建議,將會是接下來一段時間的研究重點。最終,我們希望實現一個能夠整合多模態資料(包括醫療影像、基因序列、診斷報告、藥物分子結構等相關資訊)的智慧醫療診斷系統,真正發揮AI在臨床應用中的價值。
[1] Acs, B., Rantalainen, M., &Hartman, J. (2020). Artificial intelligence as the next step towards precision pathology. Journal of internal medicine, 288(1), 62-81.
[2] Bengtsson, E. (1987). The measuring ofcell features. Analytical and quantitative cytology and histology, 9(3),212-217.
[3] Ong, S. H., Jin, X. C., & Sinniah,R. (1996). Image analysis of tissue sections. Computers in biology and medicine, 26(3), 269-279.
[4] Srinidhi, C. L., Ciga, O., &Martel, A. L. (2020). Deep neural network models for computational histopathology: A survey. Medical Image Analysis, 101813.
[5] Cireşan, D. C., Giusti, A.,Gambardella, L. M., & Schmidhuber, J. (2013, September). Mitosis detectionin breast cancer histology images with deep neural networks. In International conference on medical image computing and computer-assisted intervention (pp.411-418). Springer, Berlin, Heidelberg.
[6] Wang, H., Roa, A. C., Basavanhally, A.N., Gilmore, H. L., Shih, N., Feldman, M., … & Madabhushi, A. (2014).Mitosis detection in breast cancer pathology images by combining handcraftedand convolutional neural network features. Journal of Medical Imaging, 1(3),034003.
[7] Wang, S., Yao, J., Xu, Z., & Huang,J. (2016, October). Subtype cell detection with an accelerated deep convolution neural network. In International Conference on Medical Image Computing and Computer-Assisted Intervention (pp. 640-648). Springer, Cham.
[8] Xing, F., Xie, Y., & Yang, L.(2015). An automatic learning-based framework for robust nucleus segmentation.IEEE transactions on medical imaging, 35(2), 550-566.
[9] Romo-Bucheli, D., Janowczyk, A.,Gilmore, H., Romero, E., & Madabhushi, A. (2016). Automated tubule nuclei quantification and correlation with oncotype DX risk categories in ER+ breastcancer whole slide images. Scientific reports, 6(1), 1-9.
[10] Kashif, M. N., Raza, S. E. A.,Sirinukunwattana, K., Arif, M., & Rajpoot, N. (2016, April). Handcrafted features with convolutional neural networks for detection of tumor cells in histology images. In 2016 IEEE 13th International Symposium on BiomedicalImaging (ISBI) (pp. 1029-1032). IEEE.
[11] Albarqouni, S., Baur, C., Achilles,F., Belagiannis, V., Demirci, S., & Navab, N. (2016). Aggnet: deep learning from crowds for mitosis detection in breast cancer histology images. IEEE transactions on medical imaging, 35(5), 1313-1321.
[12] Amgad, M., Elfandy, H., Hussein, H.,Atteya, L. A., Elsebaie, M. A., Abo Elnasr, L. S., … & Cooper, L. A.(2019). Structured crowdsourcing enables convolutional segmentation of histology images. Bioinformatics, 35(18), 3461-3467.
[13] Marzahl, C., Aubreville, M., Bertram,C. A., Gerlach, S., Maier, J., Voigt, J., … & Maier, A. (2019). Fooling the crowd with deep learning-based methods. arXiv preprint arXiv:1912.00142.
[14] Cruz-Roa, A., Basavanhally, A.,González, F., Gilmore, H., Feldman, M., Ganesan, S., … & Madabhushi, A.(2014, March). Automatic detection of invasive ductal carcinoma in whole slideimages with convolutional neural networks. In Medical Imaging 2014: Digital Pathology(Vol. 9041, p. 904103). International Society for Optics and Photonics.
[15] Ertosun, M. G., & Rubin, D. L.(2015). Automated grading of gliomas using deep learning in digital pathology images: a modular approach with ensemble of convolutional neural networks. InAMIA Annual Symposium Proceedings (Vol. 2015, p. 1899). American Medical Informatics Association.
[16] Qaiser, T., & Rajpoot, N. M.(2019). Learning where to see: A novel attention model for automated immunohistochemical scoring. IEEE transactions on medical imaging, 38(11),2620-2631.
[17] Zhang, Z., Chen, P., McGough, M.,Xing, F., Wang, C., Bui, M., … & Yang, L. (2019). Pathologist-levelinterpretable whole-slide cancer diagnosis with deep learning. Nature Machine Intelligence, 1(5), 236-245.
[18] Cruz-Roa, A., Gilmore, H.,Basavanhally, A., Feldman, M., Ganesan, S., Shih, N., … & González, F.(2018). High-throughput adaptive sampling for whole-slide histopathology imageanalysis (HASHI) via convolutional neural networks: Application to invasivebreast cancer detection. PloS one, 13(5), e0196828.
[19] Xu, B., Liu, J., Hou, X., Liu, B.,Garibaldi, J., Ellis, I. O., … & Qiu, G. (2019, April). Look,investigate, and classify: a deep hybrid attention method for breast cancer classification. In 2019 IEEE 16th international symposium on biomedical imaging(ISBI 2019) (pp. 914-918). IEEE.
[20] Jiang, Y., Yang, M., Wang, S., Li, X.,& Sun, Y. (2020). Emerging role of deep learning‐based artificialintelligence in tumor pathology. Cancer Communications, 40(4), 154-166.
[21] Chen, H., Wang, X., & Heng, P. A.(2016, April). Automated mitosis detection with deep regression networks. In2016 IEEE 13th International Symposium on Biomedical Imaging (ISBI) (pp.1204-1207). IEEE.
[22] Xie, Y., Xing, F., Shi, X., Kong, X.,Su, H., & Yang, L. (2018). Efficient and robust cell detection: Astructured regression approach. Medical image analysis, 44, 245-254.
[23] Graham, S., Vu, Q. D., Raza, S. E. A.,Azam, A., Tsang, Y. W., Kwak, J. T., & Rajpoot, N. (2019). Hover-net: Simultaneous segmentation and classification of nuclei in multi-tissue histology images. Medical Image Analysis, 58, 101563.
[24] Kumar, N., Verma, R., Anand, D., Zhou,Y., Onder, O. F., Tsougenis, E., … & Sethi, A. (2019). A multi-organ nucleus segmentation challenge. IEEE transactions on medical imaging, 39(5),1380-1391.
[25] Ronneberger, O., Fischer, P., &Brox, T. (2015, October). U-net: Convolutional networks for biomedical image segmentation. In International Conference on Medical image computing andcomputer-assisted intervention (pp. 234-241). Springer, Cham.
[26] Swiderska-Chadaj, Z., Pinckaers, H.,van Rijthoven, M., Balkenhol, M., Melnikova, M., Geessink, O., … &Ciompi, F. (2019). Learning to detect lymphocytes in immunohistochemistry withdeep learning. Medical image analysis, 58, 101547.
[27] Ho, D. J., Yarlagadda, D. V.,D’Alfonso, T. M., Hanna, M. G., Grabenstetter, A., Ntiamoah, P., … &Fuchs, T. J. (2021). Deep multi-magnification networks for multi-class breastcancer image segmentation. Computerized Medical Imaging and Graphics, 88,101866.
[28] Lin, H., Chen, H., Graham, S., Dou,Q., Rajpoot, N., & Heng, P. A. (2019). Fast scannet: Fast and dense analysis of multi-gigapixel whole-slide images for cancer metastasis detection.IEEE transactions on medical imaging, 38(8), 1948-1958.
[29] Guo, Z., Liu, H., Ni, H., Wang, X.,Su, M., Guo, W., … & Qian, Y. (2019). A fast and refined cancer regions segmentation framework in whole-slide breast pathological images. Scientificreports, 9(1), 1-10.
[30] Campanella, G., Hanna, M. G.,Geneslaw, L., Miraflor, A., Silva, V. W. K., Busam, K. J., … & Fuchs, T.J. (2019). Clinical-grade computational pathology using weakly supervised deeplearning on whole slide images. Nature medicine, 25(8), 1301-1309.
[31] Cheplygina, V., de Bruijne, M., &Pluim, J. P. (2019). Not-so-supervised: a survey of semi-supervised, multi-instance, and transfer learning in medical image analysis. Medical imageanalysis, 54, 280-296.
[32] Xu, G., Song, Z., Sun, Z., Ku, C.,Yang, Z., Liu, C., … & Xu, W. (2019). Camel: A weakly supervised learning framework for histopathology image segmentation. In Proceedings of the IEEE/CVF International Conference on Computer Vision (pp. 10682-10691).
[33] Wang, X., Chen, H., Gan, C., Lin, H.,Dou, Q., Tsougenis, E., … & Heng, P. A. (2019). Weakly supervised deeplearning for whole slide lung cancer image analysis. IEEE transactions oncybernetics, 50(9), 3950-3962.
[34] Huang, Y., & Chung, A. C. (2019,October). Evidence localization for pathology images using weakly supervised learning. In International conference on medical image computing andcomputer-assisted intervention (pp. 613-621). Springer, Cham.
[35] Xu, J., Xiang, L., Liu, Q., Gilmore,H., Wu, J., Tang, J., & Madabhushi, A. (2015). Stacked sparse autoencoder(SSAE) for nuclei detection on breast cancer histopathology images. IEEE transactions on medical imaging, 35(1), 119-130.
[36] Chen, X., Duan, Y., Houthooft, R.,Schulman, J., Sutskever, I., & Abbeel, P. (2016, December). Infogan: Interpretable representation learning by information maximizing generative adversarial nets. In Proceedings of the 30th International Conference on NeuralInformation Processing Systems (pp. 2180-2188).
[37] Noroozi, M., & Favaro, P. (2016,October). Unsupervised learning of visual representations by solving jigsaw puzzles. In European conference on computer vision (pp. 69-84). Springer, Cham.
[38] Gidaris, S., Singh, P., &Komodakis, N. (2018). Unsupervised representation learning by predicting imagerotations. arXiv preprint arXiv:1803.07728.
[39] Ciga, O., Chen, J., & Martel, A.(2019). Multi-layer domain adaptation for deep convolutional networks. In Domain Adaptation and Representation Transfer and Medical Image Learning withLess Labels and Imperfect Data (pp. 20-27). Springer, Cham.
[40] Gadermayr, M., Gupta, L., Appel, V.,Boor, P., Klinkhammer, B. M., & Merhof, D. (2019). Generative adversarial networks for facilitating stain-independent supervised and unsupervised segmentation: a study on kidney histology. IEEE transactions on medicalimaging, 38(10), 2293-2302.
[41] Liu, Y., Gadepalli, K., Norouzi, M.,Dahl, G. E., Kohlberger, T., Boyko, A., … & Stumpe, M. C. (2017).Detecting cancer metastases on gigapixel pathology images. arXiv preprintarXiv:1703.02442.
[42] Li, Y., & Ping, W. (2018). Cancer metastasis detection with neural conditional random field. arXiv preprintarXiv:1806.07064.
[43] Tellez, D., Balkenhol, M.,Otte-Höller, I., van de Loo, R., Vogels, R., Bult, P., … & Ciompi, F.(2018). Whole-slide mitosis detection in H&E breast histology using PHH3 asa reference to train distilled stain-invariant convolutional networks. IEEE transactions on medical imaging, 37(9), 2126-2136.
[44] Macenko, M., Niethammer, M., Marron,J. S., Borland, D., Woosley, J. T., Guan, X., … & Thomas, N. E. (2009,June). A method for normalizing histology slides for quantitative analysis. In2009 IEEE International Symposium on Biomedical Imaging: From Nano to Macro(pp. 1107-1110). IEEE.
[45] Khan, A. M., Rajpoot, N., Treanor, D.,& Magee, D. (2014). A nonlinear mapping approach to stain normalization indigital histopathology images using image-specific color deconvolution. IEEETransactions on Biomedical Engineering, 61(6), 1729-1738.
[46] Bejnordi, B. E., Litjens, G.,Timofeeva, N., Otte-Höller, I., Homeyer, A., Karssemeijer, N., & van derLaak, J. A. (2015). Stain specific standardization of whole-slide histopathological images. IEEE transactions on medical imaging, 35(2), 404-415.
[47] Janowczyk, A., Basavanhally, A., &Madabhushi, A. (2017). Stain normalization using sparse autoencoders (StaNoSA): application to digital pathology. Computerized Medical Imaging and Graphics,57, 50-61.
[48] Zanjani, F. G., Zinger, S., Bejnordi,B. E., & van der Laak, J. A. (2018). Histopathology stain-color normalization using deep generative models.
[49] de Bel, T., Hermsen, M., Kers, J., vander Laak, J., & Litjens, G. (2018, December). Stain-transforming cycle-consistent generative adversarial networks for improved segmentation ofrenal histopathology. In International Conference on Medical Imaging with Deep Learning–Full Paper Track.
[50] Tellez, D., Litjens, G., Bándi, P.,Bulten, W., Bokhorst, J. M., Ciompi, F., & van der Laak, J. (2019).Quantifying the effects of data augmentation and stain color normalization inconvolutional neural networks for computational pathology. Medical imageanalysis, 58, 101544.
[51] Stenzinger, A., Alber, M., Allgäuer,M., Jurmeister, P., Bockmayr, M., Budczies, J., … & Klauschen, F. (2021,February). Artificial Intelligence and Pathology: from Principles to Practiceand Future Applications in Histomorphology and Molecular Profiling. In Seminarsin cancer biology. Academic Press.
[52] Chen, P. H. C., Gadepalli, K., MacDonald,R., Liu, Y., Kadowaki, S., Nagpal, K., … & Stumpe, M. C. (2019). Anaugmented reality microscope with real-time artificial intelligence integrationfor cancer diagnosis. Nature medicine, 25(9), 1453-1457.


壁仞科技研究院作為壁仞科技的前沿研究部門,旨在研究新型智慧計算系統的關鍵技術,重點關注新型架構,先進編譯技術和設計方法學,並將逐漸拓展研究方向,探索未來智慧系統的各種可能。壁仞科技研究院秉持開放的原則,將積極投入各類產學研合作並參與開源社群的建設,為相關領域的技術進步做出自己的貢獻。


關鍵詞
方法
病理影像
區域
深度學習
資訊