ICLR2025傑出論文獎出爐！中科大、Meta的SAM2等工作獲獎

2025-05-20 15:54 CVer

點選下方卡片，關注“CVer”公眾號

AI/CV重磅乾貨，第一時間送達
點選進入—>【頂會/頂刊】投稿交流群

新增微訊號：CVer2233，小助手會拉你進群！
掃描下方二維碼，加入CVer學術星球！可以獲得最新頂會/頂刊上的論文idea和CV從入門到精通資料，及最前沿應用！發論文/搞科研/漲薪，強烈推薦！

轉載自：機器之心
剛剛，ICLR 宣佈了今年度的傑出論文獎。
今年共有三篇論文獲獎（Outstanding Paper），其中一篇由中國科學技術大學與新加坡國立大學合作完成。另外還有三篇獲得了榮譽提名（Honorable Mentions），包括大家熟悉的 Meta「分割一切」論文的 2.0 版本。
以下是詳細資訊。
傑出論文
論文 1：Safety Alignment Should be Made More Than Just a Few Tokens Deep
  • 作者：Xiangyu Qi, Ashwinee Panda, Kaifeng Lyu, Xiao Ma, Subhrajit Roy, Ahmad Beirami, Prateek Mittal, Peter Henderson
  • 單位：普林斯頓大學、Google DeepMind
  • 連結：https://openreview.net/forum?id=6Mxhg9PtDE
當前大語言模型（LLM）的安全對齊（safety alignment）存在脆弱性。簡單的攻擊，甚至是看似無害的微調（fine-tuning），都可能突破對齊約束（即「越獄」模型）。研究者注意到，許多這類脆弱性問題源於一個共同的底層缺陷：現有對齊機制往往採取捷徑，即僅在模型生成的最初幾個輸出 token 上進行調整。研究者將此類現象統一稱為「淺層安全對齊」（shallow safety alignment）。
在本文中，研究者透過若干案例分析，解釋淺層安全對齊為何會存在，並揭示其如何普遍性地貢獻於近年來發現的多種 LLM 脆弱性，包括對對抗性字尾攻擊（adversarial suffix attacks）、預填充攻擊（prefilling attacks）、解碼引數攻擊（decoding parameter attacks）和微調攻擊（fine-tuning attacks）的易感性。
本研究的核心貢獻在於，研究者提出的「淺層安全對齊」的統一概念，為緩解上述安全問題指明瞭有前景的研究方向。研究者展示，透過將安全對齊機制延伸至超出最初數個 token 的範圍，能在一定程度上增強模型對常見攻擊方式的魯棒性。
此外，研究者還設計了一種帶正則項的微調目標函式（regularized fine-tuning objective），透過對初始 token 的更新施加約束，使得模型的安全對齊對微調攻擊更具永續性。
總體而言，研究者主張：未來的大語言模型安全對齊策略，應當超越僅對幾個初始 token 實施控制的做法，而實現更深層次的對齊。
論文 2：Learning Dynamics of LLM Finetuning
  • 作者：Yi Ren, Danica J. Sutherland
  • 單位：不列顛哥倫比亞大學
  • 連結：https://openreview.net/forum?id=tPNHOoZFl9
  • 程式碼：https://github.com/Joshua-Ren/Learning_dynamics_LLM
學習動態（learning dynamics）描述特定訓練樣本的學習過程如何影響模型對其他樣本的預測結果，是理解深度學習系統行為的有力工具。為了深入理解這一過程，研究者研究了大語言模型在不同微調型別下的學習動態，方法是分析潛在響應之間影響如何逐步積累的一種分步式分解（step-wise decomposition）。
研究者的框架提供了一種統一的視角，能夠解釋當前指令微調（instruction tuning）和偏好微調（preference tuning）演算法訓練過程中的多個有趣現象。研究者特別提出了一種假設性解釋，以說明為何某些型別的幻覺（hallucination）現象會在微調後變得更加顯著。例如，模型可能會將用於回答問題 B 的短語或事實用於回答問題 A，或在生成內容時反覆出現類似的簡單短語。
研究者還擴充套件了這一分析框架，引入一個稱為「壓縮效應」（squeezing effect）的獨特現象，以解釋在離線策略直接偏好最佳化（off-policy Direct Preference Optimization, DPO）過程中觀察到的一個問題：如果 DPO 訓練持續時間過長，甚至連原本被偏好的輸出也更難被生成。
此外，該框架進一步揭示了線上策略 DPO（on-policy DPO）及其變體為何能更有效地最佳化模型行為的根本原因。本研究不僅為理解大語言模型的微調過程提供了新的視角，還啟發了一種簡單而有效的對齊效果提升方法。
論文 3：AlphaEdit: Null-Space Constrained Model Editing for Language Models
  • 作者：Junfeng Fan, Houcheng Jiang（姜厚丞）, Kun Wang, Yunshan Ma, Jie Shi, Xiang Wang, Xiangnan He, Tat-Seng Chua
  • 單位：新加坡國立大學、中國科學技術大學
  • 連結：https://openreview.net/forum?id=HvSytvg3Jh
  • 程式碼：https://github.com/jianghoucheng/AlphaEdit
大型語言模型（LLM）常常會出現幻覺現象，生成錯誤或過時的知識。因此，模型編輯方法應運而生，能夠實現針對性的知識更新。為了達成這一目標，一種流行的方式是定位 – 編輯方法，先定位出有影響的引數，再透過引入擾動來編輯這些引數。然而，目前的研究表明，這種擾動不可避免地會擾亂大型語言模型中原先保留的知識，尤其是在連續編輯的情境下。
為了解決這個問題，研究者推出了 AlphaEdit，這是一種創新的解決方案，它會在將擾動應用到引數之前，先將擾動投影到保留知識的零空間上。從理論上，作者證明了這種投影方式可以確保在查詢保留知識時，經過編輯後的大型語言模型的輸出保持不變，從而緩解了知識被擾亂的問題。在包括 LLaMA3、GPT2-XL 和 GPT-J 在內的各種大型語言模型上進行的大量實驗表明，AlphaEdit 平均能使大多數定位 – 編輯方法的效能提升 36.7%，而且僅需新增一行用於投影的額外程式碼。
傑出論文榮譽提名
論文 1：Data Shapley in One Training Run
  • 作者：Jiachen T. Wang, Prateek Mittal, Dawn Song, Ruoxi Jia
  • 單位：普林斯頓大學、加州大學伯克利分校、弗吉尼亞理工學院
  • 連結：https://openreview.net/forum?id=HD6bWcj87Y
資料 Shapley 值提供了一個用於歸因資料在機器學習環境中貢獻的系統框架。然而，傳統的資料 Shapley 值概念需要在各種資料子集上重新訓練模型，這對於大規模模型來說在計算上是不可行的。此外，這種基於重新訓練的定義無法評估資料對特定模型訓練過程的貢獻，而這在實踐中往往是人們關注的焦點。
本文引入了一個新概念——In-Run Data Shapley，它消除了模型重新訓練的需求，專門用於評估資料對特定目標模型的貢獻。In-Run Data Shapley 計算每次梯度更新迭代的 Shapley 值，並在整個訓練過程中累積這些值。作者提出了幾種技術，使 In-Run Data Shapley 能夠高效擴充套件到基礎模型的規模。在最最佳化的實現中，這一新方法與標準模型訓練相比幾乎不增加執行時間開銷。
這一顯著的效率提升使得對基礎模型預訓練階段進行資料歸因成為可能。作者在論文中展示了幾個案例研究，這些研究為預訓練資料的貢獻提供了新見解，並討論了它們對生成式人工智慧中版權問題和預訓練資料篩選的影響。
論文 2：SAM 2: Segment Anything in Images and Videos
  • 作者：Nikhila Ravi, Valentin Gabeur, Yuan-Ting Hu, Ronghang Hu, Chaitanya Ryali, Tengyu Ma, Haitham Khedr, Roman Rädle, Chloe Rolland, Laura Gustafson, Eric Mintun, Junting Pan, Kalyan Vasudev Alwala, Nicolas Carion, Chao-Yuan Wu, Ross Girshick, Piotr Dollar, Christoph Feichtenhofer
  • 單位：Meta AI、斯坦福大學
  • 連結：https://openreview.net/forum?id=Ha6RTeWMd0
在這篇論文中，Meta 提出了 Segment Anything Model 2（SAM 2），這是一種旨在解決影像和影片中可提示視覺分割（promptable visual segmentation）任務的基礎模型。他們構建了一個數據引擎，該引擎可透過使用者互動不斷最佳化模型與資料，採集了迄今為止規模最大的影片分割資料集。他們的模型採用簡單的 Transformer 架構，並引入流式記憶體，以支援即時影片處理。
基於這些資料訓練得到的 SAM 2 在多項任務上展現出強大的效能。在影片分割中，SAM 2 在減少至原有方法約三分之一的互動次數的同時，準確率表現更佳。在影像分割任務中，SAM 2 的精度更高，並且速度相比之前的 SAM 提升了六倍。
主模型、資料集、互動式演示以及程式碼都已經開源釋出，更多詳情可參閱機器之心報道《Meta 開源「分割一切」2.0 模型，影片也能分割了》。
論文 3：Faster Cascades via Speculative Decoding
  • 作者：Harikrishna Narasimhan, Wittawat Jitkrittum, Ankit Singh Rawat, Seungyeon Kim, Neha Gupta, Aditya Krishna Menon , Sanjiv Kumar 
  • 單位：Google Research, Google DeepMind, Mistral AI
  • 連結：https://openreview.net/forum?id=vo9t20wsmd
級聯和推測解碼是兩種常見的提高語言模型推理效率的方法。兩者皆透過交替使用兩個模型來實現，但背後機制迥異：級聯使用延遲規則，僅在遇到「困難」輸入時呼叫較大的模型，而推測解碼則透過推測執行，主要並行呼叫較大的模型進行評分。這些機制提供了不同的優勢：在經驗上，級聯提供了有說服力的成本-質量權衡，甚至常常優於大模型；而推測級聯則提供了令人印象深刻的加速，同時保證了質量中立性。
在本文中，研究者透過設計新的推測級聯技術，將延遲規則透過推測執行來實現，從而結合了這兩種方法的優勢。他們刻畫了推測級聯的最佳延遲規則，並採用了最佳規則的外掛近似方法。透過在 Gemma 和 T5 模型上進行一系列語言基準測試的實驗，結果表明他們的方法較之傳統的級聯和推測解碼基線模型，在成本 – 質量權衡方面更具優勢。
傑出論文選取流程
ICLR 官方在部落格上簡單介紹了他們的傑出論文選取流程。
具體來說，ICLR 2025 傑出論文委員會（Outstanding Paper Committee）採用了一種兩階段遴選流程，目標是展現本次大會上提出的卓越研究成果。
一開始，該委員會獲得了一份包含 36 篇論文的清單，這些論文要麼由領域主席推薦，要麼獲得了評審專家的優異評分。委員會成員會先進行初步評審，選出最終入圍論文。
之後，所有入圍論文再由委員會全體成員審閱，並根據理論洞見、實踐影響、寫作能力和實驗嚴謹性等因素進行排名。最終由專案主席確認最終決定。
參考連結：https://blog.iclr.cc/2025/04/22/announcing-the-outstanding-paper-awards-at-iclr-2025/
何愷明在MIT授課的課件PPT下載
在CVer公眾號後臺回覆：何愷明，即可下載本課程的所有566頁課件PPT！趕緊學起來！

CVPR 2025 論文和程式碼下載

在CVer公眾號後臺回覆：CVPR2025，即可下載CVPR 2025論文和程式碼開源的論文合集

ECCV 2024 論文和程式碼下載

在CVer公眾號後臺回覆：ECCV2024，即可下載ECCV 2024論文和程式碼開源的論文合集
CV垂直方向和論文投稿交流群成立
掃描下方二維碼，或者新增微訊號：CVer2233，即可新增CVer小助手微信，便可申請加入CVer-垂直方向和論文投稿微信交流群。另外其他垂直方向已涵蓋：目標檢測、影像分割、目標跟蹤、人臉檢測&識別、OCR、姿態估計、超解析度、SLAM、醫療影像、Re-ID、GAN、NAS、深度估計、自動駕駛、強化學習、車道線檢測、模型剪枝&壓縮、去噪、去霧、去雨、風格遷移、遙感影像、行為識別、影片理解、影像融合、影像檢索、論文投稿&交流、PyTorch、TensorFlow和Transformer、NeRF、3DGS、Mamba等。
一定要備註：研究方向+地點+學校/公司+暱稱（如Mamba、多模態學習或者論文投稿+上海+上交+卡卡），根據格式備註，可更快被透過且邀請進群

▲掃碼或加微訊號: CVer2233，進交流群
CVer計算機視覺（知識星球）來了！想要了解最新最快最好的CV/DL/AI論文速遞、優質實戰專案、AI行業前沿、從入門到精通學習教程等資料，歡迎掃描下方二維碼，加入CVer計算機視覺（知識星球），已彙集上萬人！

▲掃碼加入星球學習
▲點選上方卡片，關注CVer公眾號
整理不易，請點贊和在看


相關文章