港科大等釋出首個醫學世界模型MeWM！精準模擬腫瘤演化，規劃治療方案

2025-06-23 08:01 CVer

點選下方卡片，關注“CVer”公眾號

AI/CV重磅乾貨，第一時間送達
點選進入—>【醫學影像】投稿交流群

新增微訊號：CVer2233，小助手會拉你進群！
掃描下方二維碼，加入CVer學術星球！可以獲得最新頂會/頂刊上的論文idea和CV從入門到精通資料，及最前沿應用！發論文/搞科研/漲薪，強烈推薦！

轉載自：新智元 ｜編輯：LRST

【導讀】醫學世界模型（MeWM）是一種創新的AI系統，能夠模擬疾病演變並預測不同治療方案下的腫瘤變化。透過生成術後腫瘤影像，可以幫助醫生在術前評估治療效果，最佳化治療方案，顯著提升臨床決策的準確性，為精準醫療提供了有力支援。
《黃帝內經》的這句「上醫治未病」千年智慧揭示了一個核心真理：最高明的治療在於預判疾病發展。
香港科技大學（廣州）與約翰霍普金斯大學等機構的研究團隊合作提出的首個醫學世界模型（Medical World Model，MeWM），首次讓AI具備了「預演」疾病演變的能力，透過生成式模型模擬不同治療方案下的腫瘤變化，為臨床決策提供視覺化依據，將「治未病」理念落地為前沿演算法。
論文連結：https://arxiv.org/pdf/2506.02327
程式碼倉庫：https://github.com/scott-yjyang/MeWM
專案主頁：https://yijun-yang.github.io/MeWM
Hugging Face：https://huggingface.co/papers/2506.02327
該專案提出三個核心貢獻：
  1. 腫瘤演變模擬器：使用3D擴散模型模擬不同治療方案下的腫瘤形態演變，在視覺圖靈測試中取得優異表現；
  2. 生存風險預知：透過生存分析模型預測治療方案的患者預後生存風險，利用逆動力學推理最優治療方案，方案制定準確率大幅超越傳統多模態大模型；
  3. 臨床決策閉環：構建「方案生成-模擬推演-生存評估」的自動化、視覺化最佳化迴圈，通用支援癌症介入治療規劃。
論文第一作者為楊逸君，共同作者包括計算機視覺奠基人Alan Yuille和美國工程院院士Rama Chellappa，通訊作者為朱磊和陳杰能。

什麼是醫學世界模型？
MeWM 引入世界模型（WM）理念，構建「觀察–模擬–評估–最佳化」的閉環路徑。
模型以影像觀察為輸入，透過感知模組生成初始狀態，進展預測模型根據不同干預生成未來狀態，生存評估結果反饋至策略模組，生成以恢復為目標的動作，反過來影響後續觀察與模擬，形成臨床決策最佳化的閉環。
圖1：醫學世界模型以醫學影像為輸入，透過感知模組構建初始病情狀態，再由疾病進展生成式模型預測在不同治療條件下的未來病情狀態。根據預期恢復情況生成的策略指導治療決策，並形成閉環反饋，透過逆向建模與生存分析不斷最佳化干預路徑。

在癌症介入治療中構建「模擬-評估-最佳化」
MeWM在肝癌TACE治療方案探索中實現了一個由策略生成、動態模擬和風險評估構成的「過去–現在–未來」閉環機制。
策略模型（Policy Model）會在 CT 掃描和以語言為形式的治療目標的基礎上，採用VLM（如GPT-4o）生成滿足臨床規則的候選治療組合，包括多種治療藥物與栓塞材料搭配。初始階段會並行生成B個治療組合（稱為protocol beams），覆蓋不同策略空間。
隨後，動態模型（Dynamics Model）會針對每個候選方案，利用3D條件擴散模型模擬治療後腫瘤形態，逐步構建方案執行軌跡，生成的每一組術後腫瘤候選將交由啟發式函式評估。
逆動態模型（Inverse Dynamics Model） 在每一步中對所有候選腫瘤影像進行生存風險的打分，基於啟發式函式輸出風險值，並動態替換掉風險最高的beam方案，從而實現低風險方案的優先保留與高風險方案的迭代最佳化。
最終，整個探索過程中選出的風險最低組合被作為推薦方案輸出，實現了從個體影像出發、結合多步生成與評估的個性化治療策略搜尋流程。
圖2: MeWM系統基於術前CT，結合治療目標生成多組TACE組合，涵蓋不同化療藥物與栓塞材料。每組方案透過生成模型預測術後腫瘤反應，並由生存評估模組計算風險得分，最終篩選出最優干預路徑。流程支援在真實肝癌場景下實現個體化、資料驅動的治療決策

動作驅動的生成模型訓練流程
MeWM創新性地將「治療行為」作為條件控制生成，模擬不同組合下腫瘤的真實演化反應：
  1. 從放療記錄提取結構化治療動作；
  2. 將術前影像與動作融合輸入3D擴散模型，生成術後影像；
  3. 透過對比學習提升組合間的區分度與生成的一致性。
在醫生圖靈測試中，MeWM合成影像被誤判為真實影像的比例最高，specificity高達79%，遠超現有方法。結構保真性評估指標（FID/LPIPS）亦領先。
圖3:腫瘤生成式模型包含三個關鍵環節：(a) 放療報告解析與動作生成：由 GPT-4o 與 Deepseek-R1 提取藥物與栓塞材料資訊，構建治療組合；(b) 術後腫瘤生成：將動作嵌入與術前 CT 融合輸入擴散模型，生成術後腫瘤影像；(c) 組合對比學習（CCL）：透過拉近相似方案、區分不同方案，提升模型生成效果的真實度與動作一致性。

MeWM如何重新整理治療規劃效能
為了全面驗證MeWM在治療決策最佳化任務中的有效性，研究團隊分別在私有和公開資料集上進行了系統性實驗。
實驗首先透過視覺圖靈測試驗證了生成式模型模擬預後腫瘤形態的真實性，而後分析了生存分析模型根據術前術後影像預測生存風險的準確性。
最後檢驗了機制在TACE治療方案篩選上的準確性，對比了多個多模態大模型，並表明各模組的有效性。

核心結果
術後腫瘤生成效果
在真實性評估中，MeWM經受了由三位放射科醫生參與的「圖靈測試」。研究共準備了240份CT影像，其中120例為真實術後影像，另外120例由不同模型合成。
醫生需在不知情的情況下判斷每張影像是真實還是合成，依據是影像中是否存在典型術後特徵，如碘油沉積、壞死區與殘留活組織的混合表現。
結果顯示，三位醫生在識別真實影像方面表現穩定，但在識別合成影像方面差異顯著：MeWM 所生成影像被誤判為真實的比例最高，specificity分別為79%、71%和75%，遠優於其他方法，說明其合成結果在外觀上最接近真實術後腫瘤。
同時，MeWM在生成質量指標上也表現優異，FID和LPIPS均為所有方法中最低，進一步證明了生成的腫瘤影像在結構細節與視覺真實度上的領先水平。
可靠的啟發式函式
在生存風險評估中，MeWM的啟發式模型相較傳統Cox比例風險模型展現出更高的準確性。
基於公開資料集，實驗發現Cox模型難以區分高低風險樣本，預測結果過於平滑，MSE為0.3550；而 MeWM模型更貼近真實分佈，MSE降至0.2142
進一步的Kaplan-Meier分析顯示，MeWM的風險分層能力更強，C-Index提高至 0.752，顯著優於影像組學特徵驅動的Cox模型。
結果表明，MeWM能有效捕捉術前與術後影像中的風險變化，為治療效果評估提供更可靠的支援。
革命性的臨床輔助決策能力
在TACE治療方案探索任務中，MeWM 展現出顯著的效能優勢。
在私有資料集上，其F1-score達到52.38%，較GPT-4o、Claude-3.7和MedGPT等多模態大模型提升超過10%；在公開資料集上，F1-score達到64.08%，接近專業放射科醫生（71.43%）的水平，同時在Jaccard、Precision和Recall等關鍵指標上也全面領先多模態大模型。
不同於僅依賴視覺語言推理的模型，MeWM基於生成的術後CT進行生存分析評分，形成完整的「治療模擬—效果評估—方案篩選」閉環機制，使得模型能夠更準確地判斷不同治療組合帶來的潛在療效差異。
進一步地，將MeWM融入醫生的決策流程中，平均可帶來13%的F1-score提升，輔助醫生在術前更有效地預判治療結果並最佳化用藥與栓塞材料配置，其推薦結果在多個真實病例中與專家方案高度一致，體現了其在臨床輔助決策中的實際應用潛力。

結語：讓AI成為醫生的「時間旅行者」
MeWM不僅能「預測治療結果」，更能「基於未來進行當前最佳化」。
這不僅是生成模型在醫學領域的創新突破，更是世界模型在臨床決策中的首次落地實踐。
未來，MeWM有望成為醫生的第二讀圖者、術前規劃的智慧助手，推動臨床治療從經驗驅動邁向資料驅動、模擬先行的新紀元。
Medical World Model的釋出標誌著世界模型在醫學領域的一次重要進展，為精準醫療的視覺化、可量化、可最佳化研究提供了新的思路。
參考資料：
https://arxiv.org/abs/2506.02327

何愷明在MIT授課的課件PPT下載
在CVer公眾號後臺回覆：何愷明，即可下載本課程的所有566頁課件PPT！趕緊學起來！

CVPR 2025 論文和程式碼下載

在CVer公眾號後臺回覆：CVPR2025，即可下載CVPR 2025論文和程式碼開源的論文合集

ECCV 2024 論文和程式碼下載

在CVer公眾號後臺回覆：ECCV2024，即可下載ECCV 2024論文和程式碼開源的論文合集
醫學影像交流群成立
掃描下方二維碼，或者新增微訊號：CVer2233，即可新增CVer小助手微信，便可申請加入CVer-醫學影像微信交流群。另外其他垂直方向已涵蓋：目標檢測、影像分割、目標跟蹤、人臉檢測&識別、OCR、姿態估計、超解析度、SLAM、醫療影像、Re-ID、GAN、NAS、深度估計、自動駕駛、強化學習、車道線檢測、模型剪枝&壓縮、去噪、去霧、去雨、風格遷移、遙感影像、行為識別、影片理解、影像融合、影像檢索、論文投稿&交流、PyTorch、TensorFlow和Transformer、NeRF、3DGS、Mamba等。
一定要備註：研究方向+地點+學校/公司+暱稱（如醫學影像+上海+上交+卡卡），根據格式備註，可更快被透過且邀請進群

▲掃碼或加微訊號: CVer2233，進交流群
CVer計算機視覺（知識星球）人數破萬！如果你想要了解最新最快最好的CV/DL/AI論文、實戰專案、行業前沿、從入門到精通學習教程等資料，一定要掃描下方二維碼，加入CVer知識星球！最強助力你的科研和工作！

▲掃碼加入星球學習
▲點選上方卡片，關注CVer公眾號
整理不易，請點贊和在看


相關文章