WWW2025|中南、微軟提出端到端雙重動態推薦模型，釋放LLM在序列推薦中的潛力

©PaperWeekly 原創 · 作者 | 殷珺

單位 | 中南大學碩士研究生

研究方向 | 大語言模型、推薦系統

論文題目：

Unleash LLMs Potential for Sequential Recommendation by Coordinating Dual Dynamic Index Mechanism

論文連結：

https://openreview.net/pdf?id=GE71TxvTH3

程式碼連結：

https://github.com/Esperanto-mega/ED2

論文錄用：

The ACM Web Conference Research Track 2025 (Oral)

摘要

由於大型語言模型（Large Language Models，LLMs）在語義理解和邏輯推理方面表現出前所未有的能力，它們在下一代序列推薦系統（Recommender Systems，RSs）的開發中展現出了巨大的潛力。

然而，現有的基於 LLM 的序列推薦系統大多將索引生成與序列推薦分離，這導致語義資訊與協同資訊的融合不夠充分。此外，對使用者相關資訊的忽視限制了基於 LLM 的序列推薦系統對高階使用者-物品互動模式的挖掘。

為了解決上述問題，我們提出了端到端雙重動態（End-to-End Dual Dynamic, ED²）推薦模型，這是首個採用雙重動態索引機制的基於 LLM 的序列推薦系統。該機制不僅能夠將索引生成和序列推薦整合到統一的 LLM 主幹流程中，還使得基於 LLM 的序列推薦系統能夠有效利用使用者相關資訊。

具體而言，為了提升 LLM 對雙重動態索引的理解能力，我們提出了一種多粒度 Token 調節器，該調節器基於 LLMs 的語義知識，在多個表示粒度上構建對齊監督。此外，我們特別設計了使用者集合資料及一系列新穎的指令微調任務，以捕捉高階使用者-物品互動模式。

在三個公開資料集上的廣泛實驗表明，ED² 的效能優越，在命中率（Hit-Rate）上平均提升 19.62%，在歸一化折損累計增益（NDCG）上平均提升 21.11%。

動機

儘管取得了顯著成就，當前基於 LLM 的序列推薦系統仍然面臨以下侷限：

（i）靜態索引機制限制了 LLM 對語義資訊和協同資訊的融合。如圖 1b 所示，現有的基於 LLM 的序列推薦系統大多采用靜態索引機制，將索引生成過程與序列推薦過程分離。

在推薦系統最佳化過程中，靜態索引保持不變，因此無法考慮物品之間的協同相似性。例如，電影《變形金剛》（2007年7月3日）與教學影片《Transformer詳細講解》（2021年10月28日）在文字內容上高度相似，但在使用者互動記錄中的重疊度卻極低。

（ii）忽視使用者相關資訊，限制了 LLM 對高階使用者-物品互動模式的挖掘。如圖 1b 所示，大多數主流的基於 LLM 的序列推薦系統（如 FDSA、TIGER 和 LC-Rec）僅依賴物品相關資訊（即物品文字內容和互動物品序列）進行下一個物品的預測，而不考慮使用者相關資訊。這使得基於 LLM 的序列推薦系統難以捕捉和利用高階使用者-物品互動模式。

在傳統的序列推薦系統中，高階使用者-物品互動模式至關重要，並對推薦結果有著巨大貢獻。例如，使用者共同購買模式（co-purchase pattern）能夠識別出具有相似興趣的使用者，而使用者偏好模式（user preference pattern）則反映了使用者在長時間跨度上的一致性喜好。

方法

3.1 端到端雙重動態語義推薦系統

端到端雙重動態（ED²）推薦模型由共享的 LLM 主幹網路和雙重動態索引生成器組成。共享的 LLM 主幹網路負責理解使用者/物品的文字特徵，並推理序列推薦結果。雙重動態索引生成器能夠將 LLM 主幹網路提供的使用者/物品表示量化為離散索引。

具體而言，語義資訊首先在 LLM 主幹網路的幫助下從文字內容中提取，然後透過雙重動態索引生成器壓縮為緊湊的索引，最終透過面向序列推薦的微調與協同資訊融合。

3.1.1 語義資訊提取

為了充分利用與使用者和物品相關的語義資訊，我們基於它們的文字特徵初始化使用者/物品表示。

對於每個使用者及其互動序列，我們查詢並組織對應的文字特徵，形成集合。在 LLM 主幹網路的文字編碼器中，LLM 的分詞器（Tokenizer）首先將文字內容轉換為標記索引（token indices），然後標記嵌入層（token embedding layer）將標記索引投影為標記嵌入（token embeddings）。

最終，LLM 基於其內在的語義知識，將標記嵌入轉換為語義表示。語義資訊提取過程可以表示為：

其中，d 表示 LLM 的隱藏層特徵維度。

3.1.2 雙重動態語義索引生成

基於 LLM 主幹網路文字編碼器提取的語義表示，雙重動態索引生成器將其中的語義資訊壓縮為離散索引。由於雙重動態索引的離散性，下游的 LLM 主幹推薦器能夠直接生成推薦結果的索引，從而充分激發 LLM 主幹的自然語言生成能力。

通常，每個使用者/物品都與一個唯一識別符號（如 <user_9974>、<item_161>）相關聯。一種樸素的策略是將所有唯一識別符號直接新增到 LLM 詞表中，但這種方法會導致詞表大小隨使用者和物品數量線性增長。

借鑑序列量化（sequential quantization）技術，我們在設計雙重動態索引生成器式採用了分層架構，透過 M 個索引標記（每個標記有 N 種可能取值）的組合來表示每個使用者、物品。

例如，如圖 2 中雙重動態索引生成階段所示，物品 <item_5175> 可表示為 =<a2,b4,c5,d7>，其中 M=4，N=8。在該分層索引機制下，表達空間隨索引長度 M 指數級增長。

一個長度為 M 基數為 N 的分層索引理論上可以表示個不同的物件，而新引入的索引標記總數僅為 N×M。以物品為例，量化過程將以殘差方式執行 M 次，其數學表達如下：

最終，物品的語義索引可表示為： .

3.1.3 生成式序列推薦

為了讓 LLM 主幹網路理解序列推薦任務，我們透過自然語言指令將雙重動態索引與使用者互動序列進行聚合。具體而言，互動序列中的原始使用者索引和物品索引被替換為相應的雙重動態索引。由此，互動記錄被重組為一個由自然語言 Token 和雙重動態索引 Token 組成的異構序列。在我們的實現中，一條異構自然語言指令的示例如下：

“You are an expert in sequential recommendation. Based on the historical interaction sequence: , could you please predict the most suitable item for user ?”

記異構自然語言指令為，LLM 主幹網路首先將自然語言指令轉換為隱藏表示。然後，在 LLM 主幹網路的基礎上附加一個擴充套件的語言模型頭，用於將隱藏狀態投影到索引標記詞表，表示如下，

其中，是推薦結果的索引表示。若有需要，可以透過逆查詢操作（inverse look-up）將索引轉換回原始物品 ID。基於異構指令提示的序列推薦任務可以自然地轉化為語言生成任務，其最佳化目標定義為負對數似然（Negative Log-Likelihood, NLL），具體如下：

其中，F 是由 LLM 主幹網路與擴充套件的語言模型頭組成的整體模型，B 表示批次大小（batch size），和分別為第個樣本的真實索引與自然語言指令。

3.2 多粒度 Token 調節器

給定動態索引和對應的文字特徵，值得注意的是，和從兩個不同的角度描述了同一實體。因此，LLM 對動態索引的理解應當與對文字特徵的理解相似。

如圖 3 所示，多粒度 Token 調節器模組在索引層和標記層構建了對齊監督。我們提出的基於索引層對齊監督最佳化目標公式如下，

其中，為批次大小，和分別為動態索引和文字特徵的 LLM 表示。具有相似表示的使用者/物品往往會分配相似的索引，這些索引共享一部分相同的標記。因此，我們提出了基於標記層對齊監督的最佳化目標，公式如下，

其中是第個量化器的輸入，是與索引標記對應的碼字。

3.3 高階互動模式挖掘

我們設計了高階使用者-物品互動模式的挖掘方法，使得 LLM 能夠捕捉這些隱式模式。具體而言，我們首先根據歷史行為構建相關的使用者集合資料。對於每個物品，與之有過歷史互動的使用者被記錄為一個關聯集合，其中表示使用者的互動序列。

作為序列推薦任務的對稱任務，我們設計了使用者預測任務，旨在挖掘使用者共同購買模式。LLM 主幹網路推薦系統透過提示多個歷史上與特定物品有過互動的使用者，然後指示其生成另一個喜歡相同物品的使用者的索引。下面是異構指令的示例：

“You are a professional recommendation system. The item is historically purchased by the following users: . Could you please predict another user who may be interested in this item?”

為了挖掘使用者偏好模式，我們還設計了基於使用者最近評論、搜尋查詢和整體個人資料的指令調優任務。