在複雜推薦場景中，多工聯合最佳化面臨 “聯合訓練耗時冗長、新任務泛化能力差” 的低效困境，行業亟待突破性解決方案。
北京郵電大學-騰訊聯合提出兩階段多工提示調優框架 MPT-Rec，精準攻克知識遷移中任務無關性難題：透過兩階段解耦和多工提示調優機制，大幅降低任務無關噪聲干擾對新任務的負面影響，實現新任務訓練效率提升，新任務泛化效能顯著增強。
兩階段多工提示調優框架 MPT-Rec 僅用 10% 的訓練引數超越全參訓練學習的效能，為多工推薦系統打破 “效能 – 效率” 雙瓶頸提供了前沿思路，研究成果被 CCF-A 類頂刊 TOIS接收。
論文標題：
Efficient Multi-task Prompt Tuning for Recommendation
論文連結：
https://doi.org/10.48550/arXiv.2408.17214
程式碼倉庫：
https://github.com/BAI-LAB/MPT-Rec
引言
隨著業務場景的不斷拓展，真實的推薦系統在應對多工學習框架中不斷湧現的新任務時，面臨著諸多挑戰。本文旨在提升多工推薦在處理新任務時的泛化能力。
如圖 1 所示，我們發現，在多數多工學習方法中，聯合訓練雖能提升新任務的效能，卻總會對現有任務造成負面影響。此外，全面重新訓練的機制不僅增加了訓練成本，還限制了多工推薦模型的泛化效率。
我們的目標是合理設計不同任務間的共享機制，在提高新任務學習效率的同時，維持模型處理已有任務的效能。我們提出了一種創新的兩階段任務提示調優多工學習框架（MPT-Rec），以解決推薦系統中新任務的泛化問題和多工訓練效率問題。
▲ 圖1：新增任務對已有任務效能的影響
方法
在多工預訓練階段，我們將任務共享資訊與任務特定資訊分離，隨後利用任務感知提示向量，將已有任務的知識高效遷移至新任務。在多工提示調優階段，MPT-Rec 透過凍結預訓練任務中的引數，有效避免了新任務可能帶來的負面影響，同時大幅降低了訓練成本。
如圖 2 所示，MPT-Rec 由兩個部分組成：多工預訓練元件和多工提示調優元件，分別對應於 MPT-Rec 中的兩個訓練階段。
▲ 圖2：MPT-Rec 的整體框架
2.1 多工預訓練
多工預訓練階段旨在提高現有任務的效能，同時提取可轉移的知識以促進新任務的泛化，主要包括兩個操作：學習解耦資訊和學習融合資訊。
Step1：學習解耦資訊
為解決任務間負遷移問題，我們採用生成對抗網路實現任務共享資訊與任務特定資訊的顯式分離，保障新任務學習時兩類資訊的高質量傳輸。
該網路由任務共享專家（生成器）和任務分類器（判別器）構成。生成器致力於生成不含任務特定資訊的表徵，以此迷惑任務分類器；判別器則嘗試依據任務共享表徵判斷任務標籤。經訓練，任務共享專家習得的共享資訊能規避判別器識別，從而實現兩類資訊在不同類別專家間的顯式分離。
具體而言，多工預訓練元件按照以下步驟學習解耦資訊：
1. 輸入向量經專家網路處理，得到任務共享表徵 xₛ 與任務特定表徵 xₖ；
2. 利用共享表徵 xₛ 透過塔型網路生成首個預測結果，並計算損失值 Lossₛ；
3. 藉助共享表徵 xₛ 經任務分類器獲取任務標籤預測值，與真實標籤對比計算環境損失 Lossₑ；
4. 對 Lossₛ 與 Lossₑ 進行加權組合，得到生成對抗網路訓練損失：
生成對抗網路訓練損失的第一項確保共享表徵蘊含有效資訊，第二項則過濾任務特異性內容。透過生成對抗機制的迭代最佳化，實現任務共享資訊與任務特定資訊的有效分離。
Step 2：學習融合資訊
在利用生成對抗網路分離任務共享資訊與任務特定資訊後，設計融合網路，透過為各任務分配任務標籤向量引導資訊融合，將兩類資訊整合用於任務最終預測。
具體而言，多工預訓練元件按照以下步驟學習融合資訊：
1. 融合任務特定表徵與標籤向量，構建任務感知表徵xₑ;
2. 利用門控網路生成的權重，融合任務共享表徵與任務感知表徵，得到融合表徵 x₍f₎ ；
3. 透過塔形網路對融合表徵 x₍f₎ 進行預測，得到結果 ŷ₍f₎，並結合真實標籤 yₖ 計算融合表徵預測損失。
最後，多工預訓練階段的總損失為生成對抗網路訓練損失與融合表徵預測損失之和：
2.2 多工提示調優
多工提示調優階段旨在利用現有知識，加快新任務的訓練過程。此目標非常適合由於業務場景的變化而頻繁請求新任務最佳化的推薦情況。
我們提出了一種任務感知提示調優方法，將任務標籤向量當作提示，組合在多工預訓練階段訓練好的任務特定表徵當作新任務的特定表徵，因此大大提高了新任務的訓練效率。多工提示調優主要包括兩個操作：任務特定資訊遷移和任務感知提示調優。
Step3：任務特定資訊遷移
在任務特定資訊遷移過程中，我們首先將輸入向量投影到任務標籤向量的語義空間中，然後計算投影后的向量與不同任務標籤向量之間的內積，以此作為相似度。接著，我們對這些內積應用 softmax 函式，得到對應的權重分數。最後，我們利用這些權重來融合現有的任務特定表徵，從而獲得新任務的特定表徵。
Step 4：任務感知提示調優
在任務感知提示調優過程中，我們首先將融合生成的新任務專屬表徵與新任務標籤向量深度融合，構建出具備強語義關聯的任務感知表徵。隨後，該表徵與遷移而來的任務共享表徵進行有機整合，形成兼顧任務獨特性與跨任務共性的複合特徵，為新任務預測提供核心依據。
基於此融合表徵的預測輸出，我們透過計算預測結果與真實標籤間的損失函式，利用梯度反向傳播機制對模型引數進行精準更新，實現模型在新任務場景下的高效最佳化與效能提升。
實驗
我們在三個資料集上進行了實驗，並將我們的模型與幾種具有代表性的多工學習模型進行比較，以展示 MPT-Rec 的有效性和高效率。
驗證1：多工推薦實驗結果
三個資料集的實驗結果如表 1 所示。所有任務在這三個資料集上都是二分類任務，我們使用 AUC 作為評估指標。由表 1 可知：
▲ 表1：MPT-Rec 的多工學習能力
實驗結果表明：我們提出的方法 MPT-Rec 在所有資料集上都取得了最佳效能。與使用任務共享專家和任務特定專家來區分資訊的 PLE 不同的是，MPT-Rec 透過生成對抗網路在學習過程中施加了更明確的限制，使其更能避免任務無關資訊的轉移。
驗證2：新任務泛化實驗結果
為了評估多工學習方法的泛化能力，我們透過排除預測特徵構建了一個新任務 T3。
▲ 表2：MPT-Rec 的新任務泛化能力
實驗結果表明：我們提出的 MPT-Rec 模型具有以下顯著優點：
（1）效能卓越：透過生成對抗網路學習高質量任務共享資訊，避免混雜無用噪聲，在效能表現上更為出色。
（2）高效低耗：相比全引數訓練方案，在兩個資料集上 FLOPs 減少超 90%；以較小效能下降為代價大幅提升訓練效率。
（3）適應性強：資料集越大，MPT-Rec 在多工學習中採用微調方案的優勢越顯著，隨著輸入特徵維度增加，展現出更好的新任務泛化性。
多工解耦效果視覺化展示
結論
在本文中，我們提出了一種兩階段解耦多工提示推薦框架 MPT-Rec，旨在解決多工推薦系統中新任務學習的負遷移和高成本問題。MPT-Rec 由預訓練和提示調優兩個階段組成。在預訓練階段，我們將任務共享資訊和任務特定資訊分離開，使其在提示調優階段得到有效利用。
對三個現實資料集的大量實驗表明了我們提出的多工學習框架的有效性。與 SOTA 多工學習方法相比，MPT-Rec 取得了最好的效能。此外，它在新任務學習中保持相當模型效能的情況下，大幅提高了訓練效率（訓練引數不到全參訓練的十分之一）。
更多閱讀
#投 稿 通 道#
讓你的文字被更多人看到
如何才能讓更多的優質內容以更短路徑到達讀者群體，縮短讀者尋找優質內容的成本呢？答案就是：你不認識的人。
總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋樑，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發出更多的可能性。
PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優質內容，可以是最新論文解讀，也可以是學術熱點剖析、科研心得或競賽經驗講解等。我們的目的只有一個，讓知識真正流動起來。
📝 稿件基本要求：
• 文章確係個人原創作品，未曾在公開渠道發表，如為其他平臺已發表或待發表的文章，請明確標註
• 稿件建議以 markdown 格式撰寫，文中配圖以附件形式傳送，要求圖片清晰，無版權問題
• PaperWeekly 尊重原作者署名權，並將為每篇被採納的原創首發稿件，提供業內具有競爭力稿酬，具體依據文章閱讀量和文章質量階梯制結算
📬 投稿通道：
• 投稿郵箱：[email protected]
• 來稿請備註即時聯絡方式（微信），以便我們在稿件選用的第一時間聯絡作者
• 您也可以直接新增小編微信（pwbot02）快速投稿，備註：姓名-投稿
△長按新增PaperWeekly小編
🔍
現在，在「知乎」也能找到我們了
進入知乎首頁搜尋「PaperWeekly」
點選「關注」訂閱我們的專欄吧
·