©PaperWeekly 原創·作者 |王群中
單位 |香港中文大學本科生
研究方向 |資料探勘
導讀
近年來，隨著圖神經網路（Graph Neural Networks, GNN）在推薦系統、生物資訊、社交網路等領域的廣泛應用，“圖提示”（Graph Prompting）作為一種輕量級遷移學習方法逐漸受到關注。
該方法透過對輸入圖結構進行微調（如新增提示向量或子圖），在不修改模型引數的前提下適配新的任務場景，顯著簡化了模型部署流程。過去三年內已經有幾十篇相關研究出現，在推薦系統、藥物發現、社交網路等多個領域頻頻出圈，成為圖神經網路的新寵。
儘管已有多項實證研究表明圖提示具有良好效能，但該機制的理論基礎尚不明晰。理論性的缺乏使得過去基於經驗的圖提示研究工作頻頻遭受質疑，成為圖提示研究的一朵令人不安的“烏雲”。
為回應這一研究空白，香港中文大學王群中（大二本科生）、孫相國博士（共同一作、通訊作者）、以及程鴻教授，近期在 ICML 2025 的論文 “Does Graph Prompt Work? A Data Operation Perspective with Theoretical Analysis”，系統提出從“資料操作”視角理解圖提示的理論框架，從數學上系統解釋了圖提示的工作機制，並給出了形式化定義、誤差上界分析及分佈刻畫，為圖提示的有效性提供了明確的理論支撐。
論文名稱：
Does Graph Prompt Work? A Data Operation Perspective with Theoretical Analysis
論文連結：
https://arxiv.org/abs/2410.01635
程式碼連結：
https://github.com/sheldonresearch/ProG
原來圖提示是在“改圖”，而不是“改模型”
傳統做法是：先預訓練一個模型，再針對新任務微調模型引數。這過程複雜又耗時，像是在反覆“拆機換件”。圖提示則完全不同——它保留原模型不動，只在輸入的圖資料上“加點料”，例如加上幾個特殊節點或特徵向量，讓原模型自己“看懂”新任務。
已有研究指出，這種機制在實際中可能等價於某種圖資料操作（如新增節點、修改特徵、刪除子圖等）。但這些結論大多基於實驗觀察，缺乏系統化的理論分析。這篇論文試圖以形式化的方式回答兩個核心問題：
-
圖提示是否具備模擬圖資料操作的能力？
-
這種能力是否能夠穩定地轉化為下游任務效能提升？
圖提示為何有效？從資料層面看圖提示機理
該論文最重要的理論貢獻是提出了一個關鍵概念：“橋接圖”（Bridge Graph）。
簡單說，就是對於每一個原始圖資料，都可以透過某種“資料操作”變成一個新的圖，這個新圖經過原來的預訓練模型處理後，結果就能“神奇地”符合下游任務要求。而圖提示，就是學會如何找到這個資料操作，並在理論上證明了：
-
這樣的“橋接圖”確實存在；
-
誤差是可控的，而且通常很小；
-
不管是處理一個圖，還是一批圖，都能有效運作；
-
即便模型結構很複雜（比如用了注意力機制），理論也依然成立。
這等於從根上說明：圖提示不是“偶然有效”，而是“必然有效”！
研究貢獻一：提出“橋接圖”理論，刻畫圖提示的本質能力
作者引入“橋接圖”（Bridge Graph）和 “ε – 擴充套件橋接集”等概念，形式化描述圖提示如何在理論上將原始圖轉換為可被預訓練模型正確解析的圖嵌入。這一轉化等價於找到某種圖操作函式，使得模型輸出近似等同於下游任務的最優結果。
論文證明了如下結論：對任意下游任務和輸入圖，始終存在一組提示結構，可以使得圖提示生成的圖嵌入接近目標嵌入函式輸出，且該誤差具備上界。
研究貢獻二：推導誤差上界，並刻畫誤差來源與可控性
論文進一步從模型結構角度推導了圖提示誤差的理論上界，並分析了誤差的來源及可控因素。主要結論包括：
-
在 GNN 的權重矩陣為行滿秩時，可以在理論上實現無誤差匹配；
-
在非滿秩情況下，誤差的上界可由模型秩缺失度（如矩陣秩損失）與資料複雜度共同決定；
-
對於多個圖組成的資料集，誤差的均方根值仍可被一個全域性上界控制，該上界與下游嵌入矩陣的主成分譜有關；
-
提示結構的複雜度（如提示向量個數）與誤差控制能力成正相關，但其增長速度可遠低於樣本數量的增長，提示學習具備良好的可擴充套件性。
這些推導結果為後續設計提示結構提供了理論指導，支援當前實證中“中等規模提示即可取得良好效果”的經驗觀察。
研究貢獻三：誤差的統計分佈建模及對非線性模型的擴充套件
除了分析誤差上界，作者還嘗試刻畫誤差的數值分佈形態。透過理論分析與模擬實驗，發現當提示引數被合理最佳化後，殘差誤差在一定假設下近似服從卡方分佈（Chi distribution），其自由度與模型秩損失相關。
此外，論文還將理論框架擴充套件至包含非線性結構的 GNN 模型（如 GAT），證明在具有足夠表示能力（如權重矩陣滿秩）的條件下，上述圖提示能力仍然成立，增強了該理論的適用範圍。
實驗驗證：理論與實踐相符
為驗證理論結果，作者在合成圖資料和真實圖資料上開展了廣泛實驗，包括不同模型結構（GCN/GAT）、不同提示策略（GPF/All-in-One）和不同資料規模等設定。主要實驗觀察包括：
-
在滿秩條件下提示學習可達到接近零誤差；
-
在非滿秩情況下，誤差表現與模型表示能力和提示規模一致；
-
隨著提示覆雜度適度提升，誤差迅速下降並趨於收斂；
-
多圖任務中，提示規模的需求隨樣本增長速度顯著低於線性趨勢。
總結
研究首次從理論角度系統剖析圖提示機制的本質，並對其有效性給出嚴謹的數學證明。透過引入橋接圖、誤差上界分析、分佈建模等理論分析，論文為圖提示從工程技巧走向可解釋建模提供了堅實基礎。
未來，該理論框架可為圖提示方法的結構設計、複雜度控制與泛化分析提供參考，也有望推動圖神經網路在跨任務、跨域、低資源等複雜場景下的進一步發展。關於圖提示的更多參考資料：
https://github.com/sheldonresearch/ProG?tab=readme-ov-file#our-work
更多閱讀
#投 稿 通 道#
讓你的文字被更多人看到
如何才能讓更多的優質內容以更短路徑到達讀者群體，縮短讀者尋找優質內容的成本呢？答案就是：你不認識的人。
總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋樑，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發出更多的可能性。
PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優質內容，可以是最新論文解讀，也可以是學術熱點剖析、科研心得或競賽經驗講解等。我們的目的只有一個，讓知識真正流動起來。
📝 稿件基本要求：
• 文章確係個人原創作品，未曾在公開渠道發表，如為其他平臺已發表或待發表的文章，請明確標註
• 稿件建議以 markdown 格式撰寫，文中配圖以附件形式傳送，要求圖片清晰，無版權問題
• PaperWeekly 尊重原作者署名權，並將為每篇被採納的原創首發稿件，提供業內具有競爭力稿酬，具體依據文章閱讀量和文章質量階梯制結算
📬 投稿通道：
• 投稿郵箱：[email protected]
• 來稿請備註即時聯絡方式（微信），以便我們在稿件選用的第一時間聯絡作者
• 您也可以直接新增小編微信（pwbot02）快速投稿，備註：姓名-投稿
△長按新增PaperWeekly小編
🔍
現在，在「知乎」也能找到我們了
進入知乎首頁搜尋「PaperWeekly」
點選「關注」訂閱我們的專欄吧
·