簡介

當前，序列推薦系統（Sequential Recommender Systems, SRS）廣泛應用於電子商務和短影片平臺等場景。然而，現有的 SRS 中存在著嚴重的長尾問題。長尾問題在推薦系統中指大量低流行度（長尾）物品難以被有效推薦的現象，導致使用者驚喜度降低、賣家利潤減少和系統整體受損。

這種現象主要體現在兩個方面：首先，使用者難以發現新的、有價值的物品，推薦體驗變得單一，無法滿足個性化需求；其次，低流行度物品銷售量低，賣家收益受損，甚至可能被迫下架，影響整個市場的多樣性。

此外，長尾問題還會導致系統整體受損，使用者滿意度下降，賣家流失，最終影響整個推薦系統的價值。如圖（a）所示，柱狀圖顯示了大部分物品的互動頻率都很低，呈現明顯的長尾分佈，但是常用的 SRS 模型 SASRec 對於這些物品的推薦效果較差。

我們發現 SRS 的長尾問題是由其有偏的物品嵌入分佈造成的。如圖（b）所示，SASRec 中低流行度物品的嵌入點分佈稀疏且距離較遠，說明其嵌入質量較差。

相比之下，大語言模型（LLM）透過文字特徵（如標題）捕捉物品之間語義關係，有希望成為一個無偏的物品嵌入生成器。圖（c）顯示了 LLaMA 生成的物品嵌入的分佈，這些嵌入點更均勻地分佈，這促使我們開發一個基於 LLM 的生成器來生成更高質量的嵌入。

然而，現有的基於 LLM 的 SRS 方法存在兩個主要挑戰：

（i）語義差距：LLM2X 採用通用的 LLM 來生成物品嵌入。雖然這些嵌入可以包含語義，但它們並不針對推薦領域。為了解決這個問題，像 SAID 和 TSLRec 這樣的方法提出微調開源 LLM，以更好地與推薦任務對齊。然而，這些方法仍然侷限於語言建模或類別預測，忽視了推薦領域中用屬性區分物品的關鍵作用。

（ii）語義損失：如圖所示，為了將 LLM 嵌入進一步適配協同過濾 SRS 模型，現有方法透過 PCA 等方法進行降維，並降維的嵌入直接使用到 SRS 模型中。然而，大幅度的降維和持續的訓練會導致 LLM 嵌入中原始語義豐富性的顯著損失，從而限制了它們的有效性，尤其是對於長尾物品。

方法

2.1 Overview

圖中展示了我們提出的 LLMEmb 的訓練和推理過程，該嵌入生成器由一個 LLM 和一個介面卡組成。

對於訓練過程，設計了兩個階段分別對 LLM 和介面卡進行訓練。第一階段稱為監督對比微調（SCFT），目標是微調通用 LLM，以提高其根據不同屬性區分物品的能力。具體來說，一個物品的文字提示由其屬性組成，透過隨機刪除一定比例的屬性將其增強為成兩個副本。

然後，透過對比不同物品的嵌入來微調 LLM。微調過後的 LLM 能夠生成更適合推薦任務的 LLM 嵌入，包含物品的語義資訊。第二階段稱為推薦適應訓練（RAT），涉及訓練一個介面卡，將 LLM 嵌入轉換為最終的物品嵌入，使其適合推薦模型。

最後，這些物品嵌入被輸入到 SRS 模型中，並通用的推薦損失函式進行訓練。在推理階段，LLMEmb 將提前生成所有物品嵌入。這些預先計算好的嵌入將替換 SRS 模型的原始嵌入層，從而避免了推理過程中 LLM 帶來的巨大推理開銷。

2.2 SCFT

SCFT 主要透過對比微調 LLM，使其具有透過識別屬性的語義來區分物品的能力。該過程主要包含三個關鍵的步驟：Prompt 構建、資料增強和對微調

Prompt 構建：我們將物品的每一個屬性都使用文字形式表示，比如 “Attribute is value”。我們將這一段文字作為一個 meta prompt，那麼每個物品的 prompt 就是由這樣的多個 meta prompt 構成的。

資料增強：我們微調 LLM 的目的是使其能夠透過屬性的語義資訊來區分不同的物品，從而學習到推薦領域的資訊。因此我們將同一個物品丟棄掉一部分屬性的兩個副本作為一對正樣本，不同的物品作為負樣本。具體構造副本的過程如下式所示：

對比微調：構建好正負樣本後，我們將物品 prompt 輸入到 LLM 中，並將 LLM 最後一層的所有 token embedding 進行平均池化作為物品的表徵，即 。利用物品表徵構建對比學習損失函式。

2.3 RAT

推薦適配訓練 RAT 的目的是使 LLM 生成的物品表徵能夠學習到推薦的協同過濾訊號。其次，由於 LLM 嵌入的維度過大，也需要將其轉換適合 SRS 維度的嵌入。因此 RAT 包含了三個步驟：嵌入轉換、適配訓練和協同對齊。

嵌入轉換：之前的方法通常直接使用 PCA 對 LLM 嵌入進行降維，但是這一做法會顯式損害原本 LLM 嵌入中含有的語義資訊。因此本文提出使用一個可微調的轉換器，將 LLM 嵌入轉換為最終的物品嵌入。

適配微調：這一步為了將協同過濾訊號注入到生成的嵌入當中，使用正常的SRS損失函式對介面卡進行進一步的訓練。

協同對齊：由於在適配微調中只有一小部分的引數是可訓練的，容易造成過擬合的問題。因此提出將生成的物品嵌入與一般的 SRS 嵌入進行對齊，緩解訓練上的困難。

實驗

3.1 實驗設定

我們在實驗中使用了資料集 Yelp，Beauty 和 Fashion 資料集。

為了驗證方法的通用性，我們結合了三個常用的 SRS 模型進行實驗：GRU4Rec，SASRec 和 Bert4Rec 此外，我們廣泛地對了長尾序列推薦和基於 LLM 的序列推薦模型：MELT, LLM2X, SAID 和 TSLRec。

3.2 整體實驗結果

LMEmb 在三個資料集上的整體和長尾效能均優於所有競爭者，尤其是在長尾物品上表現突出。TSLRec 通常表現不佳，因為它在使用 LLM 時僅採用物品 ID 而不是文字資訊。

儘管 SAID 和 LLM2X 也能為所有 SRS 模型帶來提升，但它們仍然遜色於 LLMEmb，尤其是在長尾物品上。這種比較表明，LLMEmb 可以更好地保持原始 LLM 嵌入中的語義關係。

3.3 消融實驗

消融實驗驗證了 LLMEmb 各個設計模組的有效性：未進行微調的 LLM 生成的嵌入效能較差，證明了彌補通用 LLM 與推薦任務之間語義差距的必要性。移除可訓練的 Adapter 後效能下降，表明 Adapter 在轉換 LLM 嵌入維度方面的有效性。移除協同對齊損失後效能下降，證明了協同對齊在最佳化過程中的有效性。

3.4 嵌入視覺化

t-SNE 視覺化結果表明，SAID 可以透過引入 LLM 嵌入獲得更均勻的分佈，但由於語義損失問題，它仍然根據物品的流行度進行聚集。相比之下，LLMEmb 獲得的嵌入分佈更均勻，這證明了 LLMEmb 優於其他方法。

總結

LLMEmb 是一種新穎的基於 LLM 的生成器，用於為序列推薦生成物品嵌入。為了使 LLM 具備識別物品的能力，我們設計了一種監督對比微調方法。然後，為了避免語義損失並注入協同訊號，我們提出了推薦適應訓練來更新可訓練的 Adapter。最後，訓練好的 LLM 和 Adapter 構成了 LLMEmb，可以生成最終的物品嵌入。

我們在三個真實世界資料集上進行了實驗，並驗證了 LLMEmb 的有效性。

更多閱讀

#投 稿 通 道#

 讓你的文字被更多人看到 

如何才能讓更多的優質內容以更短路徑到達讀者群體，縮短讀者尋找優質內容的成本呢？答案就是：你不認識的人。

總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋樑，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發出更多的可能性。 

PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優質內容，可以是最新論文解讀，也可以是學術熱點剖析、科研心得或競賽經驗講解等。我們的目的只有一個，讓知識真正流動起來。

📝 稿件基本要求：

• 文章確係個人原創作品，未曾在公開渠道發表，如為其他平臺已發表或待發表的文章，請明確標註 

• 稿件建議以 markdown 格式撰寫，文中配圖以附件形式傳送，要求圖片清晰，無版權問題

• PaperWeekly 尊重原作者署名權，並將為每篇被採納的原創首發稿件，提供業內具有競爭力稿酬，具體依據文章閱讀量和文章質量階梯制結算

📬 投稿通道：

• 投稿郵箱：[email protected] 

• 來稿請備註即時聯絡方式（微信），以便我們在稿件選用的第一時間聯絡作者

• 您也可以直接新增小編微信（pwbot02）快速投稿，備註：姓名-投稿

△長按新增PaperWeekly小編

🔍

現在，在「知乎」也能找到我們了

進入知乎首頁搜尋「PaperWeekly」

點選「關注」訂閱我們的專欄吧

·

·

·