港大發布XRec：首個讓推薦系統「會說話」的智慧大模型

傳統的推薦系統雖然能給出精準的結果，但常常被視為"黑箱"式的演算法，難以讓使用者理解其內在的推薦邏輯。香港大學黃超老師團隊最新研發的 XRec 系統，透過融合大語言模型（LLM）的語義理解能力和協同過濾的使用者偏好建模，實現了推薦過程的“透明化”轉變。

XRec 不僅能生成個性化、貼合用戶需求的推薦結果，更能以通俗易懂的自然語言，向用戶闡述其推薦依據和內在邏輯。這種創新性的“可解釋推薦”正規化，不僅大幅提升了使用者體驗和信任度，也為推薦技術的未來發展帶來新的可能。與傳統的“黑箱”型推薦系統相比，XRec 彰顯了推薦系統向更智慧化和可解釋化方向演進的新趨勢。

程式碼連結：

https://github.com/HKUDS/XRec

論文連結：

https://arxiv.org/pdf/2406.02377

實驗室連結：

https://sites.google.com/view/chaoh

總體介紹

XRec 是一款兼具自然語言處理和推薦系統功能的大語言模型。其核心在於將語義分析和使用者建模技術有機融合，實現對使用者需求的深度理解和個性化推薦。與傳統的基於協同過濾的推薦系統相比，XRec 在推薦過程中引入了一定程度的智慧化和可解釋性，為推薦系統的技術升級提供了新的思路。

具體而言，XRec 透過整合自然語言處理的語義分析能力和推薦系統中的協同過濾技術，能夠深入洞悉使用者的興趣偏好，併為推薦提供可解釋的說明，讓使用者更好地理解推薦決策的依據。這種可解釋性的模型範式有助於提高推薦結果的透明度。

模型方法

XRec 是一個融合大型語言模型（LLMs）和圖神經網路（GNNs）的智慧推薦系統框架，其獨特之處在於能夠實現使用者行為訊號和文字語義資訊的高效融合，為推薦結果提供豐富多樣的自然語言解釋。

2.1 行為關係建模

XRec 巧妙地利用 GNNs 的強大表徵學習能力，有效捕捉了使用者-商品之間錯綜複雜的互動關係。具體來說，基於圖神經網路的訊息傳遞機制，XRec 的協作圖 tokenizer 在使用者-商品互動圖上進行資訊的傳播和聚合，促進了使用者和商品節點表徵的學習。這不僅能夠更好地捕捉節點之間的關聯，還能夠反映出互動過程中蘊含的複雜模式。GNN 作為一種“協作訊號的 tokenizer”，將這些複雜的使用者-商品關聯模式編碼到潛在的嵌入空間中。

2.2 協同關係及文字語義融合

表徵空間對齊的對映器：XRec 的核心創新在於它能夠高效融合來自不同維度的資訊源，實現使用者行為訊號和文字語義的深度協同建模。為實現跨模態語義融合，XRec 配備了一個輕量級的介面卡模組，用於協調融合不同語義模態（行為訊號和文字語義）間的差異。這種跨模態語義對齊使用了注意力機制和殘差連線等技術手段，能夠有效縮小行為訊號和文字語義之間的語義鴻溝，從而更好地整合利用這些多模態資訊。

協同訊號的注入：XRec 其中之一的創新之處在於它能夠實現行為訊號和文字語義的深度融合，充分發揮不同模態資訊的互補優勢，為推薦系統帶來顛覆性的創新。其中最引人注目的就是 XRec 巧妙地將豐富的協同訊號注入到大型語言模型（LLM）中，從而賦予推薦結果更加生動、富有洞見的解釋能力。

具體來說，在完成前述的跨模態語義對齊後，我們的系統已經做好將協同訊號融入 LLM 的準備工作。我們會在輸入提示中預留一些特殊的標記位（tokens），然後將提示轉換為 token 嵌入，最後將已適配的協同資訊嵌入注入到這些保留位置中。這種行為驅動的生成方式，能夠充分發揮 LLM 在自然語言生成方面的優勢，使得 XRec 能為推薦結果提供富有見地且富有意義的解釋內容。

這種創新性地融合 CF 技術和 LLM 的做法，賦予了 XRec 獨特的優勢。一方面，它保留了基於使用者行為的協同過濾的建模優勢，能夠捕捉複雜的使用者-商品互動模式；另一方面，它又能透過 LLM 的生成能力為推薦結果提供出色的文字解釋，大幅增強了整個推薦過程的可解釋性。

XRec 採用了一種獨特的融合機制，巧妙地將豐富的協同訊號注入到大型語言模型（LLM）中，充分發揮不同模態資訊的互補優勢，為推薦系統帶來了顛覆性的創新。

我們注意到，隨著輸入提示長度的增加，分配給每個嵌入 token 的注意力權重（attention weight）容易出現下降，這可能導致本就稀疏的協同訊號被嚴重稀釋。為了解決這一問題，我們提出了一種全新的融合策略：不僅在 LLM 的輸入階段就注入適配後的協同嵌入，還將其擴充套件到整個網路的各個隱藏層中。

具體來說，我們對 LLM 內部的查詢（query）、鍵（key）和值（value）投影函式進行了專門的修改：

這樣不僅確保了協同上下文的強大表徵，還使得梯度在回傳到專家混合（MoE）模組時更為有效，充分發揮了 LLMs 在深層語義理解方面的優勢，同時又能充分吸收圖神經網路（GNN）在捕捉結構模式方面的專長。

這種創新性的跨模態融合策略，與傳統的簡單融合方式相比，能夠大幅提升推薦系統的效能和可解釋性。一方面，它保留了基於使用者行為的協同過濾建模優勢，捕捉了複雜的使用者-商品互動模式;另一方面，它又能透過 LLM 的強大生成能力為推薦結果提供出色的文字解釋，大幅增強了整個推薦過程的可解釋性。

2.3 模型的進一步最佳化

模型架構最佳化：XRec 採用了獨特的跨模態融合策略，透過在 LLM 的關鍵投影函式中注入適配後的協同資訊嵌入，確保了協同上下文的強大表徵，增強了 LLM 在深層語義理解方面的優勢。此外，它還將協同訊號擴充套件到整個網路的各個隱藏層中，使得梯度在回傳到專家混合模組時更為有效，充分發揮了 LLM 和 GNN 在各自擅長領域的專長。這種創新性的融合方式大幅提升了推薦系統的效能和可解釋性。

損失函式最佳化：為了提升 LLM 在生成語境和句法連貫解釋方面的能力，XRec 採用了負對數似然（NLL）作為訓練損失函式。這種加權形式的損失函式不僅關注預測準確性，還能確保模型最佳化生成解釋的整體連貫性。透過按字元數進行歸一化，XRec 確保了各個解釋在損失計算中獲得公平的權重，從而推動模型學習生成更加流暢自然的文字。

引數最佳化策略：為了降低訓練複雜度，XRec 選擇凍結了 LLM 內部的所有引數，僅在基於專家混合的介面卡模型中進行引數更新。這種策略確保了模型能夠充分利用 LLM 龐大的知識儲備，同時又能夠靈活地針對特定任務進行最佳化和精細調整，提高了模型的適應性和泛化能力。

模型效能評估

XRec 模型在多個公開資料集上的驗證實驗取得了出色表現。透過使用 GPTScore 和 BERTScore 等可解釋性指標進行評估，結果顯示 XRec 在可解釋性和穩定性方面均明顯優於基準模型（Att2Seq、NRT、PETER 和 PEPLER）。這些實驗結果充分證明了 XRec 在推薦系統應用中的強大實力。

3.1 泛化能力分析

為了全面檢驗 XRec 的泛化能力，我們在不同資料稀疏性的場景下進行了實驗。將測試集劃分為五個子集（tst1 至 tst5），涵蓋了從罕見到頻繁不等的使用者群體。結果表明，XRec 不僅在常規使用者群體中表現卓越，在零樣本場景下（僅包含訓練期間未遇到的新使用者）也優於基準模型，與其他子集的效能基本持平。這種在冷啟動場景下的出色表現，體現了 XRec 強大的泛化能力，對於新使用者的推薦應用具有重要價值。

3.2 關鍵模組分析

為了深入探究 XRec 關鍵元件的影響，我們進行了一系列消融實驗。透過比較包含所有特性的完整模型（Ours）與三種變體（無 Profile、無協同訊號注入、無屬性&協同訊號注入），並使用 GPTScore 和 BERTScore 這兩個可解釋性指標進行評估，我們發現：使用者/專案屬性以及協同資訊的注入，都為模型的出色表現做出了重要貢獻。這突出了每個元件在推動模型效能和能力方面的關鍵作用。

總結

創新框架：本研究提出了一種全新的 XRec 框架，它實現了基於圖的協同過濾方法與大語言模型（LLM）技術的有機融合。這種創新設計使得 XRec 能夠為推薦輸出生成全面而見解深刻的解釋說明。XRec 配備了專門的協同資訊介面卡模組，作為協同訊號（collaborative signal）與 LLM 語義空間之間的關鍵連線紐帶，有效捕捉到了構成使用者偏好和專案關聯的高階依賴性。

效能優勢總結：廣泛的實驗結果充分證明了 XRec 框架的顯著優勢。它不僅提升了推薦過程的可解釋性，而且在具有挑戰性的零樣本場景中展現出了出色的泛化能力和魯棒性。這意味著XRec能夠更好地滿足使用者個性化需求，為下一代智慧推薦系統開闢新的可能。

模型泛化性亮點：XRec 的創新之處在於，它實現了基於圖的協同過濾方法與大語言模型（LLM）技術的有機融合。關鍵在於，XRec 配備了專門的協同資訊介面卡模組，作為協同訊號（collaborative signal）與 LLM 語義空間之間的關鍵連線紐帶。這種設計使得 XRec 能夠有效捕捉到構成使用者偏好和專案關聯的高階依賴性，從而提升了推薦過程的可解釋性，並在具有挑戰性的零樣本場景中展現出出色的泛化能力和魯棒性。

更多閱讀