KDD2024|已開源！可解釋性點過程對社交網路互動的挖掘

©PaperWeekly 原創 · 作者 | 蒙子卓

單位 | 悉尼科技大學博士生

研究方向 | 可解釋性點過程

本篇文章介紹了可解釋性點過程對社交網路互動的挖掘。該文章已被 KDD 2024 收錄，目前程式碼已開源。

論文標題：

Interpretable Transformer Hawkes Processes: Unveiling Complex Interactions in Social Networks

論文連結：

https://arxiv.org/abs/2405.16059

程式碼連結：

https://github.com/waystogetthere/Interpretable-Transformer-Hawkes-Process

背景

社交網路中使用者的行為，如網路購物平臺使用者的瀏覽，購買等可建模為各種型別的事件。不同型別事件之間的相互影響對其發生起到關鍵作用。然而，挖掘這些互動一直是時序點過程領域的難題。現有的深度時序點過程模型在社交網路中存在侷限性，其無法直接顯式挖掘事件型別之間的影響，這限制了其可解釋性和表達能力。

本研究提出 Interpretable Transformer Hawkes Process (ITHP)，對現有的 Transformer Hawkes Process (THP, Zuo et al.) 進行了改進。ITHP 結合了 THP 與統計非線性 Hawkes Process 的優勢，在保證了深度點過程的表達性的情況下對齊了非線性 hawkes process 的核函式，從而能夠顯式提取事件型別之間的影響。ITHP 還提高了非事件間隔期間強度函式的靈活性，更適合捕捉社交網路中的複雜事件傳播模式。

實驗結果表明，ITHP 在克服現有模型侷限性方面效果顯著，能夠有效探索社交網路中使用者或群體的複雜影響。

方法

具體來說，現有的深度點過程模型（Du et al., 2016, Mei et al., 2017, Zhang et al., 2019, Zuo et al., 2020）無法對事件型別之間的相互影響進行直接建模。同時，其只針對事件點上的強度進行建模，而對非事件間隔區間的強度則使用線性外插法進行粗略模擬。其在維度 k 的強度函式如下所示：

在此公式中，給定歷史的 encoding （包含了的資訊）, 則在此區間的強度則是一個隨著時間 t 變化的近似線性函式（紅色部分）。此種假設將很難模擬真實世界中的複雜事件強度。

ITHP 提出的強度函式則使用了修改過的自注意力機制去進行核函式的模擬，對於任意時間任意維度來說，其強度函式為：

其中，代表著由修改後的自注意力機制（具體參照原文）所構築的核函式。透過查詢每一個歷史事件來計算其對當前時間和維度的影響，最後進行累加從而獲得全部歷史的影響。注意核函式的輸出只與雙方的型別 ()，時間差有關。這使得 ITHP 更接近統計非線性 non-stationary hawkes process 的強度建模方法。

ITHP 的優點有二：1）在摒棄了線性外插法後，ITHP 對非事件區間的強度函式建模能有更好的靈活性並達到更高的水平；2）同時，由於顯式設定了核函式，ITHP 也能像統計 hawkes process 一樣顯式挖掘事件型別之間的影響。接下來我們透過實驗去證明這 2 點。

實驗

我們的實驗分為兩個部分: 1）在人造資料集上，我們透過對核函式的重建和對真實強度的復原；2）在公共資料集上，將 test-loglikelihood 等指標和基線模型進行對比，並對挖掘出來的事件型別之間的影響進行分析。

（1）人造資料集：我們在此選擇呈現 ITHP 對一個人造資料集的核函式和測試序列強度的復原情況。該人造資料集是一個核函式為半正弦的 hawkes process。更多實驗結果請參照原文。

▲ ITHP 對一個2維資料集的核函式的復原

▲ ITHP 對一個二維人造資料據集的測試序列強度的還原

（2）公共資料集：我們在 5 個公共資料集上和 4 個基線模型進行對比。結果如下圖所示每個模型的 TLL 透過減去 ITHP 的 TLL 進行標準化。值得注意的是，為了實現可解釋性，ITHP 在構築核函式時對自注意力機制進行了某種程度的簡化，導致其引數數量有所減少。有趣的是，我們觀察到 ITHP 在引數數量較少的情況下，仍能實現與其他引數數量較多的模型相當的效能。

與此同時，為了量化事件型別之間的影響，我們對於每個核函式，計算，表示型別對型別的影響程度。每個是一個標量，並可在熱力圖中展示。

下圖展示了其中一個公共資料集（TAXI）的型別之間的影響（更多實驗結果請參照原文），其中橫軸和縱軸象徵著事件型別，色塊越深代表受到激勵越大：

在這個資料集中，有 10 種類型的事件，代表紐約市五個行政區內的計程車上下車。型別 1-5 表示“下車”動作，型別 6-10 對應“上車”動作。學習到的熱力圖揭示了三個資訊：

（i）型別 4（曼哈頓下車）受型別 6-10（上車）的影響最大。這與資料現狀符合（型別 4 佔總體事件超 40%），因此其強度受其他上車事件激勵最大

（ii）“上車”和“下車”事件總是交替發生。一個司機不能連續進行上車或連續進行下車，因此型別的自激勵效果在這個資料集不甚明顯。這與學習到的熱力圖相吻合（對角線的顏色代表著自激勵效果，都不顯著）

（iii）型別 9 和 4，即曼哈頓的上車和下車，表現出最顯著的相互激勵。這是因為大多數上車（44.61%）和下車（42.89%）動作發生在曼哈頓，而且 90.8% 的乘客在曼哈頓上車也會在曼哈頓下車。

附：THP 和 ITHP 對非事件間隔區間的強度建模對比

比較 ITHP 和 THP 學習到的強度。THP 因外推強假設只能維持線性模式，未能捕捉波動強度。相比之下，ITHP 更靈活，成功捕捉波動強度，並準確擬合強度水平。

結論

為了利用事件序列資料建模社交網路中的互動，我們引入了 ITHP。它增強了深度點過程模型的可解釋性和表達能力。ITHP 繼承了 Transformer Hawkes Process 的優點，並與非線性 Hawkes Process 一致，提供了使用者或群體互動的實用見解，同時增強了非事件間隔中的強度函式靈活性。我們的實驗證明了 ITHP 在克服現有模型侷限性方面的有效性，開闢了理解和建模社交生態系統複雜動態的新途徑。

更多閱讀