近期，中國科學技術大學團隊提出了一種精準編輯大語言模型內知識的演算法 AlphaEdit，為大模型的知識更新和管理提供了一種高效解決方案。
該演算法的核心思想是在對模型進行知識更新時，將引數變化投影到原始知識的零空間上。這種方法理論上保證了在定向更新大模型內錯誤、過時和不安全知識時，模型的通用能力不會受到干擾。
值得關注的是，研究人員在主流編輯方法只加入一行程式碼，就實現了 Llama 3 在知識編輯任務表現效能提升 35%。
該方法具有普適性，可以應用於大多數常用的模型編輯演算法，並且在論文中的測試結果中得到了驗證。
審稿人之一對該論文評價稱：“該研究有效解決了當前模型編輯中知識更新和保留間始終難以平衡的問題。”
圖丨各類模型編輯方法在 Llama 3（8B）上的表現（來源：ICLR）
日前，相關論文以《AlphaEdit：基於零空間約束的語言模型知識編輯》（AlphaEdit: Null-Space Constrained Knowledge Editing for Language Models）為題發表在國際學習表徵會議（ICLR 2025，International Conference on Learning Representations）上，並被遴選為 Oral Presentation（僅佔投稿總數的 1.8%）。
圖丨相關論文（來源：ICLR）
該課題組發現，以往研究通常將“加入新知識”和“保留舊知識”這兩個目標放在一起。目前，大多數研究正規化透過調整最佳化目標中二者的引數來維持平衡。
但是，現有的平衡方式並不理想，往往會為了保證新知識的成功加入而犧牲一部分舊知識，進而影響模型的語言流暢性和邏輯性。這種權衡在頻繁更新知識的情況下，容易導致模型崩潰。
圖丨當前方法與 AlphaEdit 的正規化對比（來源：ICLR）
為解決上述問題，他們大膽提出：是否可以打破這種限制，而是每一步只需要處理一件事呢？
研究人員在查閱大量數學文獻和理論後，找到了經典數學概念——零空間。零空間理論能夠在不破壞舊知識的情況下，完美地保留新知識，從而實現對模型的無損更新。
“雖然只加入一行程式碼聽起來很簡單，但它將原本演算法目標的兩部分簡化為一部分，透過零空間投影矩陣將結果投影到原始知識的零空間中。這種簡化使得它具有很強的泛化性，並且其適用於目前大部分基於定位的模型編輯演算法。”方俊峰說。
圖丨方俊峰（來源：方俊峰）
實驗結果顯示，AlphaEdit 在幾乎所有指標和基礎模型上都取得了優越的效能，特別是在效率和泛化能力上，與最佳基線方法相比，平均提升了 12.54% 和 16.78%。
此外，AlphaEdit 在文字生成的流暢性和連貫性方面也表現出顯著的改進。在對編輯後的大模型進行的一般能力測試中，AlphaEdit 保持了模型的原始效能，在編輯了 3000 個樣本後，平均保留了 98.48% 的模型一般能力。
值得關注的是，該方法對模型的語言輸出流暢度幾乎沒有造成損害。方俊峰指出，“我們的方法是目前唯一能夠在理論上徹底避免這種情況的解決方案。”
此外，研究人員還驗證了該方法具有普適性，其在遺忘學習、持續學習、概念擦除、模型去偏和多模態安全等領域，都可實現簡單且好用的效果。
圖丨AlphaEdit 透過一行程式碼實現效果激增的過程（來源：ICLR）
模型編輯是大模型發展過程中非常重要的一環。隨著模型架構的不斷增大，其效果也在持續增強。未來隨著算力的提升，可能會出現更大規模的模型架構。
然而，模型規模的增大也帶來了新的挑戰。儘管小模型可透過微調快速更新知識，但對大模型進行微調的難度將隨著規模的增大而顯著增加。因此，高效、精確的模型編輯在這種背景下顯得尤為重要。
此外，在垂類大模型能力持續增強的發展趨勢下，基礎模型本身的迭代更新或被推遲，而模型編輯可以在官方更新緩慢的情況下，快速響應市場和使用者的需求，保持模型的時效性和實用性。
儘管目前的模型編輯方法在理論方面不會對舊知識造成破壞，但實際操作中仍會存在一些近似誤差，導致微小的破壞。
“此前，模型編輯由於破壞較為嚴重難以被工業界接受，可能幾千次更新就會導致模型崩潰。但如今，我們已經將這種破壞降低了 1 個數量級，這使模型編輯的意義變得更加重大。”方俊峰說。
在接下來的研究階段，該課題組首先計劃將這項技術推廣到更多國內外知名的大模型中，以驗證其通用性和泛化性。
其次，他們計劃探索將零空間應用於不同的垂直領域，例如安全防護或多模態生成，以在增強大模型安全性、提升特定能力的同時，確保原始儲存知識的邏輯表達能力不受影響。
此外，研究人員還考慮利用零空間來增強大模型的某個特定能力，比如針對藝術、生化、數學等領域的模型，或定製化模型（如定製家教）。該團隊認為，將這項技術應用於持續學習等深度學習領域，也是具有研究價值的方向之一。
參考資料：
1.https://openreview.net/forum?id=HvSytvg3Jh
2.https://github.com/jianghoucheng/AlphaEdit
運營/排版：何晨龍、劉雅坤
