華為GTS部門AI演算法團隊 投稿量子位 | 公眾號 QbitAI
專門解決電信行業使用者行為建模的難題。
華為GTS部門AI演算法團隊提出GTS-LUM，實現行動通訊使用者精準行為洞析與多跳預測，實驗中效果大幅優於Meta的HSTU和位元組的HLLM。
GTS-LUM，全稱Global Technical Service-Large User Model，主要有以下幾個創新點：
基於海量使用者行為序列資料自監督、多模異構Encoder-Adapter-LLM Decoder架構、Q-former語義空間和業務空間知識對齊、創新多尺度時序處理機制、多使用者運營場景後訓練、精準捕捉使用者業務級淺層語義。
實驗中，在所有評估指標上均顯著優於基線模型，拿下領域新SOTA。
以下是更多細節。
GTS-LUM方法解析
隨著電信市場滲透率趨近飽和，存量使用者價值挖掘與使用者留存成為運營商核心戰略。
電信使用者在網行為產生的海量資料（日均PB級）成為一種新型資料模態。
以往，運營商借助傳統機器學習的方法學習使用者行為，但受制於模型體量，預測精度上的瓶頸日益突出。而不同於成熟的網際網路推薦場景下的使用者行為建模，電信場景的特殊性體現在：
用戶的長週期決策機制
電信服務作為社會基礎設施具備強連續型需求，導致使用者決策呈現長週期特徵。
使用者關鍵決策行為（如套餐變更、攜號轉網）更多受長期服務體驗驅動（如網路穩定性、資費合理性等），與網際網路場景的短期興趣驅動機制形成本質差異。
該決策特徵使得傳統序列建模方法中基於近期行為的取樣策略面臨挑戰，直接應用可能導致關鍵歷史資訊丟失，損失預測精度。
多模異構資料特點
與網際網路場景中常見的以歷史使用者-商品互動序列為基礎，預測使用者下一段時間內的商品互動為目標不同，電信使用者的資料輸入與預測目標有明顯的異質特性，體現在：
-
行為打點多樣性：包含使用者-使用者/產品/位置/渠道/網元互動等資訊； -
時間粒度層次性：包含秒級（如即時信令）、日級（如業務辦理）、月級（如賬單）等多個尺度； -
目標異質性：包含使用者流失預警、套餐升級預測、營銷響應建模等多運營任務。
這種複雜性使得現有技術面臨幾個瓶頸：
1、跨時間尺度建模不足：當前序列建模方法缺少有效的時間處理機制，以捕捉使用者跨日、周、月等多時間尺度下使用者的長期行為演化模式；
2、多模異構資料表徵侷限：當前網際網路推薦技術常藉助商品的文字描述，難以充分利用電信領域異構資料模態豐富的特點強化使用者表徵能力，直接應用存在異構空間對齊問題；
3、目標分離嚴重：電信領域現有方案通常對流失預警、套餐升級預測等運營任務獨立建模，效率低下，缺乏統一模型架構提取和目標更加有效關聯的使用者表徵。
由此，華為GTS部門AI演算法團隊提出了GTS-LUM。
GTS-LUM技術架構如下圖所示：
多尺度時序處理機制
GTS-LUM基於多層級時間劃分融合語義策略，透過構建“時段-週期”語義描述最佳化使用者行為序列建模。
具體而言，基礎層級將每日劃分為若干典型時間區間（如早高峰、午間時段等）；並在週期層級疊加工作日/週末的周級維度特徵，形成對使用者行為發生事件的複合語義描述。然後將使用者行為按照指定時間切片範圍進行處理匯聚。
針對同一時間切片的使用者行為，組織序列時，在起始端嵌入對應的時段-週期語義描述，並在序列末端新增特殊分隔符[SEP]作為行為片段的邊界標識。
該設計透過粗粒度業務時間特徵與細粒度行為位置關係的協同建模，形成具有時間感知能力的使用者行為序列。
多模異構框架
GTS-LUM構建了多模態協同的使用者行為嵌入框架，精準捕捉使用者業務級淺層語義。
在語義特徵維度，透過任一時間切片內對使用者和產品/位置/渠道的互動行為進行處理匯聚得到“一句話”描述，然後基於預訓練語言模型獲得文字向量嵌入，並在語義空間執行譜聚類，從而提取可解釋的行為語義編碼。
在業務特徵維度，採用Node2Vec演算法對使用者-使用者互動等圖資料以及TableGPT2框架對終端裝置、地理位置等屬性維表進行處理，生成多模態業務嵌入向量。
本方法的核心創新在於引入了基於Q-Former介面卡的跨模態對齊機制：
透過交叉注意力層自動篩選與當前語義最相關的多模態業務特徵，並藉助共享的自注意力層構建業務特徵空間和語義空間的潛在對映關係，最後透過對比學習任務實現跨模態知識對齊。
值得注意的是，論文中創新性地為Q-Former引入了額外訓練任務，包括序列片段-文字匹配、序列片段-文字對比學習和序列片段-文字生成，使其兼具多模態對齊器與使用者長期興趣壓縮器的雙重功能。
目標感知建模
GTS-LUM進一步優化了使用者表徵學習過程，透過目標感知建模突出了與任務場景最相關的歷史行為。
不同於傳統推薦模型的目標後置正規化，GTS-LUM將預測標籤前置於行為序列起始位置，利用LLM的因果注意力機制實現雙階段最佳化：
在注意力計算階段，目標標籤作為先驗條件動態調整歷史行為的注意力權重分佈；在表徵生成階段，基於Decoder的自迴歸架構實現漸進式特徵最佳化，透過多步解碼過程迭代調整使用者表徵向量。
工業級驗證效果
在某省級運營商真實場景中，選取20w左右使用者資料量在Ascend 910B2 NPU上進行訓練和推理，實驗結果顯示GTS-LUM表現亮眼。
GTS-LUM與業界方案對比如下：
GTS-LUM在所有評估指標上均顯著優於基線模型。
結果表明，儘管典型推薦模型在實驗室資料中表現良好，但在具有領域特定複雜性的工業級資料集上會出現顯著的效能下降。
具體而言，GTS-LUM相比Meta@HSTU方案平均提升107.86%，相比ByteDance@HLLM方案提升31.38%，這些改進凸顯了融合多模態輸入的重要性，以及將開放世界知識與特定業務知識對齊的必要性。
更多實驗結果，請參閱論文。
GitHub連結：https://github.com/zzzzztw/GTS-LUM/blob/main/GTS-LUM.pdf
一鍵三連「點贊」「轉發」「小心心」
歡迎在評論區留下你的想法！
— 完 —
學術投稿請於工作日發郵件到：
標題註明【投稿】，告訴我們：
你是誰，從哪來，投稿內容
附上論文/專案主頁連結，以及聯絡方式哦
我們會（儘量）及時回覆你
🌟 點亮星標 🌟