蟻數科團隊 投稿至 凹非寺
量子位 | 公眾號 QbitAI
大模型的快速及持續發展，離不開對模型所有權及資料隱私的保護。
AAAI 2025期間，螞蟻數科、浙江大學、利物浦大學和華東師範大學聯合團隊提出了一種創新的跨域微調框架ScaleOT，可以實現在模型效能無損的前提下，將模型隱私保護效果提升50%。
相比於知識蒸餾技術，還降低了90%的算力消耗，為百億級引數模型的跨域微調提供了一種高效和輕量化的解決方案。
這篇論文以其創新性入選了本屆AAAI的Oral論文。據瞭解，本屆大會共收到近13000篇論文，被選中做口頭報告的比例不足5%。
目前，該演算法已經融入螞蟻數科旗下的摩斯大模型隱私保護產品中，並已成為國內首批透過信通院大模型可信執行環境產品專項測試的產品之一。
跨域微調框架ScaleOT
為同時保護模型產權與資料隱私，目前業內採用的主流方案是跨域微調。
主流的跨域微調方法存在顯著侷限性：
-
其一，其“均勻抽積木”式的處理方式容易造成模型關鍵層的缺失，從而導致模型效能顯著下降；
-
其二，若採用蒸餾技術來彌補效能損失，計算成本幾乎與重新訓練一箇中型模型相當。此外，現有方法在隱私保護方面缺乏靈活性，難以根據不同場景需求動態調整隱私保護強度。
ScaleOT提出了三大創新思路，有效地實現了在模型效能與隱私安全之間的平衡。
首先是對大模型智慧層的重要性進行評估，用強化學習給大模型做掃描，自動識別哪些層對當前任務最關鍵，動態保留模型“核心層”，有效降低模型效能損耗。
其次，對保留的模型原始層做“打碼”，讓攻擊者無法透過中間層復原原始模型，可以在效能幾乎無損的情況下，顯著提升隱私保護強度。
最後，該框架還可以根據不同場景需求進行靈活組裝，實現隱私強度可調節。
螞蟻數科技術團隊這一創新的大模型隱私微調演算法，為大模型隱私保護提供了新穎的思路與解決方案。
具體而言，如圖2（b）所示，跨域微調不是使用完整的模型進行訓練，而是允許資料所有者使用模型所有者提供的有失真壓縮模擬器進行微調，但這種正規化有個缺點：會讓資料所有者得到的模擬器的效能較差。
然後，訓練得到的介面卡會被返回給模型所有者，並被插入到完整模型中，以建立一個高效能的微調模型。
特別需要指出，資料所有者和模型所有者端之間的模型效能差異是模型隱私的關鍵因素，這會促使下游使用者使用微調的完整模型。
△圖2
因此，跨域微調的主要難題在於高效壓縮 LLM，透過在維持效能差異的同時提升適應版完整模型，從而實現對模型隱私的保護。
遵循跨域微調策略，原生 OT方法採用的策略是 Uniform LayerDrop（均勻層丟棄），從完整模型中均勻地刪除一部分層，如下圖1（a）所示。
△圖 1：分層壓縮策略比較。（a）Uniform LayerDrop；（b）帶估計的重要性分數的 Dynamic LayerDrop；（c）帶協調器的 Dynamic LayerReplace；（d）使用不同壓縮比的結果。新方法在所有者端實現了更好的效能，同時保持了效能差異。
然而，儘管大型模型中的許多引數是冗餘的，但每層的重要性差異很大，這種均勻刪除可能會導致適應後的完整模型的效能下降。
此外，直接的層刪除會導致被刪除層的輸入和輸出隱藏空間之間錯位，這也會導致所有者端的效能下降。雖然知識蒸餾可以緩解這個問題，但訓練一個所需的模擬器的成本至少是 LLM 大小的一半，這意味著巨大的訓練成本為提供具有不同壓縮比的模擬器帶來了重大缺陷。
ScaleOT實現：框架設計和建立過程
如圖 2(c) 所示，該框架由兩個階段組成：重要性估計和模擬器生成。
對於第一階段，團隊提出了一種基於重要性感知型層替換的演算法 Dynamic LayerReplace，該演算法需要使用一種強化學習方法來確定 LLM 中每一層的重要性。同時，對於不太重要的層，動態選擇並訓練一組可訓練的協調器作為替代，這些協調器是輕量級網路，可用於更好地實現剩餘層的對齊。
在第二階段，根據學習到的重要性得分，可將原始模型層及其對應的協調器以各種方式組合到一起，從而得到模擬器（emulator），同時還能在模型所有者端維持令人滿意的效能，如圖 1(d) 所示。
根據實踐經驗發現，如果使用秩分解來進一步地壓縮剩餘的模型層，還可以更好地實現隱私保護，同時模型的效能下降也不會太多。基於這一觀察，該團隊提出了選擇性秩壓縮（SRC）方法。
團隊進行了大量實驗，涉及多個模型和資料集，最終證明新提出的方法確實優於之前的方法，同時還能調整壓縮後模擬器模型的大小以及 SRC 中的秩約簡率。因此，這些新方法的有效性和可行性都得到了驗證。
總結起來，這項研究做出了三大貢獻：
-
提出了一種靈活的方法，可為跨域微調得到多種大小的壓縮版模型：提出了一種重要性感知型有失真壓縮演算法 Dynamic LayerReplace，該演算法面向使用 LLM 的跨域微調，可透過強化學習和協調器來擴充套件模擬器。這些元件可以實現靈活的多種規模的壓縮模型生成。
-
僅需一點點微調效能下降，就能透過進一步的壓縮獲得更好的隱私：新提出的選擇性秩壓縮策略僅需少量效能損失就能進一步提升模型隱私。
-
全面的實驗表明，新提出的 ScaleOT 優於當前最佳方法。
-
△圖offsite tuning訓練過程中產生的不同模型
在研究中，考慮到隱私問題阻止了資料和LLM的所有者之間共享和共存資料及模型。目標是在不訪問模型所有者的模型權重的情況下，使用資料所有者的資料來調整模型。從預訓練的模型①開始，以及下游資料集D。
該團隊在下游資料上微調這個模型，以實現
得到模型⑤，其中
該團隊的目標是透過找到一個比模型①更小、更弱的替代模型模型②（稱為模擬器），來促進隱私遷移學習。
這種方法可確保與下游使用者共享模型②不會威脅到LLM的所有權。
然後，資料所有者使用他們的資料集對替代模型進行微調，得到模型③。
該團隊希望，透過將訓練好的權重重新整合到原始模型中得到模型④，幾乎可以複製模型⑤，從而消除了直接模型①的需求。
一個有效的跨域微調應該滿足以下條件：
1）模型① < 模型④，以使微調過程成為必要。
2）模型③ < 模型④，以阻止下游使用者使用微調後的模擬器。
3）模型④ ≈ 模型⑤，以鼓勵下游使用者使用模型④。
基於 Transformer 架構設計跨域微調，更強的實用性
這篇論文關注的重點是基於 Transformer 架構來設計跨域微調。
這裡需要將每個 Transformer 層視為一個基本單元，而 LLM 可以表示成 M = {m_1, m_2, . . . , m_n}，其中 n 是總層數。
該團隊的新方法需要將 M 分成兩個元件：**一個緊湊型的可訓練適應器 A 和模型的其餘部分 E。層索引的集合可以定義成滿足此條件。
為了保護模型的隱私，需要對保持不變的元件 E 執行一次有失真壓縮，這會得到一個模擬器 E*，從而可透過更新 A 來促進模型微調。
待完成在資料所有者端的訓練後，更新後的適應器 A′ 會被返回到模型所有者端並替換 M 中的原來的 A。於是可將最終更新後的 LLM 表示為 M′ = [A′, E]。值得注意的是，有失真壓縮必定會限制下游使用者的 [A′, E∗] 模型效能，但卻實現了對模型所有權的保護。
這篇論文解決了該問題的兩個關鍵：獲得 A 和 E 的適當劃分以及實現從 E 到 E∗ 的更好壓縮，從而實現有效的微調並保持隱私。
對於前者，該團隊在模型層上引入了重要性分數（importance score），可用於引導 A 和 E 的選擇。具體而言，在用輕量級網路動態替換原始層的過程中，可透過強化學習來估計重要性分數。
這些輕量級網路（稱為協調器/harmonizer）可以進一步用作 E 中各層的替代，從而提高完整版已適應模型的效能。
此外，對於 E 中被協調器替換的其餘層，該團隊還提出了選擇性秩壓縮（selective rank compression）方法，該方法在保持完整版已適應模型效能的同時還能保證更好的隱私。
重要性感知型動態層替換
△圖動態層替換演算法展示。
該團隊提出了一種全新的基於層替換的壓縮演算法：Dynamic LayerReplace（動態層替換）。
其目標是估計 LLM 中每層的重要性，並用輕量級網路（稱為協調器）替換不太重要的層，以保持層之間的語義一致性。為此，他們採用了一種雙過程方法，包含了協調器更新迴圈和重要性更新迴圈。
在協調器更新迴圈中，根據重要性評分，選擇部分完整層替換為和諧器，然後使用深度學習（DL）來透過梯度下降訓練協調器。在重要性更新迴圈中，每層的重要性評分透過借鑑強化學習中的K臂賭博機問題進行更新。
在訓練結束時，可以獲得一組用於層替換的協調器，以及估計的逐層重要性評分。它們將用於隨後的可擴充套件模擬器生成階段。
選擇性秩壓縮
該團隊透過大量研究發現，大語言模型的引數數量遠超過實際需要，即使去掉一部分引數也不會顯著影響模型的整體效能。
基於這一發現，該團隊提出了一種透過低秩近似壓縮模擬器權重的方法來增強模型的隱私保護功能。當權重的高階分量被降低時，模擬器的表達能力會相應減弱，從而產生更大的效能差距。同時，剩餘的低階權重分量仍然可以為調優過程中的介面卡更新提供近似梯度方向。
Transformer模型的每一層主要由兩個部分組成：多頭自注意力層(MHSA)和前饋神經網路層(FFN)。MHSA負責處理詞元之間的互動，而FFN則進一步處理單個詞元內的資訊轉換。為了提升表達能力，FFN的隱藏維度通常設定得很高，是輸入輸出維度的2.5到4倍。
考慮到FFN本身就具有高秩的特性，該團隊提出了一種策略——只對MHSA層的權重進行秩壓縮，以增強模型的隱私保護。
如圖3所示，實驗表明，如果對所有層(MHSA+FFN)或僅對FFN進行秩壓縮，都會導致模型和資料效能的指數級下降。相比之下，僅對MHSA層進行秩壓縮時。雖然會使模擬器效能快速下降，但對外掛效能的影響較小，尤其是在壓縮比大於0.6時。因此，研究團隊選擇了對模擬器中的MHSA層進行秩壓縮的策略。
建立保護隱私且實用的模擬器
既要滿足保護隱私，還具備擴充套件性的模擬器的設計基於三個核心引數：調整層數量(Na)、協調器替換比例(α)和結構秩壓縮比例(β)。這些引數共同決定了如何使用大語言模型(M)、重要性分數(S)和協調器(H)來建立模擬器(E)，從而在保護隱私和保持模型效能之間取得平衡。
如圖3所示，團隊在虛線框內確定了一個適合生成有效模擬器用於異地調優的廣泛區域。透過調整這兩個引數，可以建立具有低壓縮率的模擬器器，以實現卓越的plug-in效能（甚至與完全微調相比可達到無損），或者採用較高的壓縮率以增強模型隱私性。
ScaleOT效果評估：更好的效能，更優的模型隱私
該團隊首先在中等大小的模型（包括GPT2-XL 和OPT-1.3B，大約10億引數量）上評估了他們提出的ScaleOT，如表1所示。
所有方法都滿足了跨域微調的條件，即外掛的效能超過了完整模型的零樣本和模擬器微調的效能。此外，沒有SRC的ScaleOT幾乎實現了與完整微調相當的無損效能。這突出了動態層替換與基線OT中使用的Uniform LayerDrop相比的有效性。
值得注意的是，由於選擇了重要的層進行更新，外掛的效能可以超過直接在LLM上進行微調的效能，這得益於稀疏訓練帶來的更好收斂性。
最後，SRC的加入顯著降低了模擬器零樣本和微調的效能，平均降低了9.2%和2.2%，而外掛的效能幾乎沒有下降。總體而言，ScaleOT不僅實現了更好的效能，還確保了良好的模型隱私。
隨後，該團隊驗證了他們提出的ScaleOT在更大的LLM上的有效性，包括擁有大約70億引數的OPT-6.7B和LLaMA-7B。
如表2所示，由於在有限的硬體上無法執行知識蒸餾，OT未能達到令人滿意的效能。CRaSh透過LayerSharing提高了效能，但由於壓縮後無法完全恢復效能，導致結果並不理想。
相比之下，ScaleOT使得大型模型的壓縮變得可行，僅需要在壓縮階段訓練大約1-2%的引數。值得注意的是，該團隊提出的方法在WebQs任務上實現了強大的外掛效能，其中零樣本準確率為零，突顯了其在新的下游應用中的潛力。
此外，ScaleOT取得了值得稱讚的結果，表明其有效性並不侷限於特定的模型大小。這使得ScaleOT成為增強不同規模模型跨域微調結果的有價值策略。
重要性得分
該團隊對OPT-6.7B和LLaMA-7B的估計重要性得分進行了視覺化，如圖6所示。可以明顯看出，在不同網路中，重要性分佈存在相當大的差異。
然而，一個一致的模式出現了：第一層具有顯著的重要性。這一發現與OT的觀察結果相呼應，儘管缺乏明確的解釋。
與引數高效微調的正交性
根據設計，ScaleOT能與引數高效微調（PEFT）方法無縫整合，從而形成一種綜合方法，顯著減少可訓練引數並提升效率。這可以透過在調整層中使用PEFT方法來實現，包括Adapter-tuning和LoRA等策略。
如表3所示，該團隊觀察到Adapter-tuning和LoRA在保持外掛效能的同時大幅減少了可訓練引數。
螞蟻數科技術團隊這一全新的大模型隱私微調演算法，有效攻克在模擬器生成時計算複雜度高、模型隱私安全性不足等難題，成功為大模型隱私保護提供了新穎的思路與解決方案。
該創新源自螞蟻數科在AI隱私安全領域的持續投入與實踐，這一演算法也已融入摩斯大模型隱私保護產品，該產品是信通院首批透過大模型可信執行環境產品專項測試的廠商。
論文地址：
https://arxiv.org/pdf/2412.09812
https://arxiv.org/pdf/2412.09812
學術投稿請於工作日發郵件到：
標題註明【投稿】，告訴我們：
你是誰，從哪來，投稿內容
附上論文/專案主頁連結，以及聯絡方式哦
我們會（儘量）及時回覆你
一鍵關注 👇 點亮星標
一鍵三連「點贊」「轉發」「小心心」
歡迎在評論區留下你的想法！
