ICML2025傑出論文出爐！南京大學研究者上榜！

2025-07-24 02:28 CVer

點選下方卡片，關注“CVer”公眾號

AI/CV重磅乾貨，第一時間送達
點選進入—>【頂會/頂刊】投稿交流群

新增微訊號：CVer2233，小助手會拉你進群！
掃描下方二維碼，加入CVer學術星球！可以獲得最新頂會/頂刊上的論文idea和入門到精通資料，及最前沿應用！發論文/搞科研/漲薪，強烈推薦！

來源：機器之心

本週一，ICML 2025 公佈了最佳論文獎項。
今年獲獎論文共計 8 篇，其中包括 6 篇傑出論文獎和 2 篇傑出立場論文獎。值得關注的是，南京大學研究者也位列獲獎名單之中。
國際機器學習會議 ICML（International Conference on Machine Learning），是全球範圍內人工智慧領域的頂級學術會議之一，由國際機器學習學會（IMLS）舉辦，與 NeurIPS、ICLR 並列為 AI 三大頂會。本屆 ICML 為第四十二屆，於 7 月 13-19 日在加拿大溫哥華舉行。

今年的 ICML 大會共獲得 12107 篇有效論文投稿，其中 3260 篇被接收，接收比例為 26.9%。相比 2024 年的 9653 篇投稿數量持續大幅增長，展示了 AI 領域的火熱。
以下是今年的獲獎論文與簡要介紹。
傑出論文獎
論文 1： Train for the Worst, Plan for the Best: Understanding Token Ordering in Masked Diffusions

  • 論文地址：https://arxiv.org/pdf/2502.06768
  • 作者：Jaeyeon Kim、Kulin Shah、Vasilis Kontonis、Sham Kakade、Sitan Chen
  • 機構：哈佛大學、得克薩斯大學奧斯汀分校
論文摘要： 近年來，掩碼擴散模型（MDMs，masked diffusion models）逐漸嶄露頭角。與自迴歸模型（ARMs）相比，MDMs 在訓練時透過犧牲複雜性來換取推理時的靈活性。具體而言，在訓練階段，MDM 學習解決大量的填充問題，但在推理時，它們幾乎以任意的順序解碼 Token。
本文深入研究了這兩種競爭效應。
在訓練層面，本文透過理論分析和實驗驗證表明：相較於自迴歸模型，MDMs 確實需要處理計算複雜度更高的子問題。在推斷層面，本文發現採用自適應 Token 解碼順序的策略能顯著提升 MDMs 的效能，使其有效規避困難子問題。
在像數獨這樣的邏輯謎題中，自適應推理可以將預訓練 MDMs 的解題準確率從不到 7% 提高到約 90%，甚至超越了具有 7 倍引數量的自迴歸模型，這些模型透過教師強制（teacher forcing）顯式訓練，學習正確的解碼順序。 
論文 2：The Value of Prediction in Identifying the Worst-Off

  • 論文地址：https://arxiv.org/pdf/2501.19334
  • 作者：Unai Fischer Abaigar、Christoph Kern、Juan Perdomo
  • 機構：慕尼黑大學、哈佛大學
論文摘要：機器學習正越來越多地用於政府專案中，以識別和支援最弱勢群體，優先為他們提供援助。
本文研究了在追求公平的背景下，預測技術對福利分配的影響，並將其與其他政策工具（如擴大行政資源）進行比較。
透過數學模型和針對德國居民長期失業問題的真實案例研究，本文系統性地評估了預測技術在識別最弱勢群體方面的有效性。研究成果為政策制定者提供了明確的分析框架和實用的資料驅動工具，幫助他們在設計此類系統時做出有原則性的決策。
論文 3：CollabLLM: From Passive Responders to Active Collaborators

  • 論文地址：https://arxiv.org/pdf/2502.00640
  • 論文主頁：https://wuyxin.github.io/collabllm/
  • 作者：Shirley Wu、Michel Galley、Baolin Peng、Hao Cheng、Gavin Li、Yao Dou、Weixin Cai、James Zou、Jure Leskovec、Jianfeng Gao
  • 機構：斯坦福大學、微軟、佐治亞理工學院
論文摘要：大語言模型通常使用下一輪獎勵進行訓練，這限制了它們在長期互動中的最佳化能力。因此，它們常常對模糊或開放性使用者請求作出被動回應，未能幫助使用者實現最終意圖，導致對話效率低下。
為了解決這些侷限性，作者提出了 CollabLLM，這是一種新穎且通用的訓練框架，旨在增強多輪人類與大語言模型的協作。
其關鍵創新在於透過多輪感知獎勵的協作模擬，估算響應的長期貢獻。透過強化學習對這些獎勵進行微調，CollabLLM 不僅僅回應使用者請求，還能主動挖掘使用者意圖，並提供富有洞察力的建議，這是邁向更加以人為本的人工智慧的關鍵一步。
他們還設計了一個多輪互動基準，涵蓋了如文件創作等三項具有挑戰性的任務。與基線模型相比，CollabLLM 在任務表現上提高了 18.5%，並且在語言模型評審者的互動性上提高了 46.3%。
最後，他們進行了一項大型使用者研究，涉及 201 位評審者，其中 CollabLLM 提高了 17.6% 的使用者滿意度，並減少了 10.4% 的使用者花費時間。
論文 4：Roll the dice & look before you leap: Going beyond the creative limits of next-token prediction

  • 論文地址：https://arxiv.org/pdf/2504.15266
  • 作者：Vaishnavh Nagarajan, Chen Henry Wu, Charles Ding, Aditi Raghunathan
  • 機構：Google Research、卡內基梅隆大學
論文摘要：作者設計了一套最小化的演算法任務，作為開放式現實任務的一個寬泛抽象。這使他們能夠乾淨且可控地量化當今語言模型的創造性極限。
與需要創造性、遠見性思維飛躍的現實任務類似，他們的任務需要一個隱式的、開放式的隨機規劃步驟，該步驟要麼（a）發現抽象知識圖中的新聯絡（如文字遊戲、類比或研究），要麼（b）構建新模式（如設計數學問題或新蛋白質）。
在這些任務中，作者在經驗和概念上論證了為什麼下一個 Token 學習是目光短淺的；多 Token 方法，即無教師訓練和擴散模型，相比之下在生成多樣且原創的輸出方面表現更為出色。
其次，為了在不損害一致性的前提下引發隨機性，他們發現將噪聲注入輸入層（稱為種子條件化）在很多條件下的效果與（並且在某些條件下優於）從輸出層進行溫度取樣的效果一樣好。
因此，他們的工作為分析開放式創造性技能提供了一個有原則的、最小化的測試平臺，並提出了超越下一 Token 學習和溫度取樣的新論據。
論文 5：Conformal Prediction as Bayesian Quadrature

  • 論文地址：https://arxiv.org/abs/2502.13228
  • 作者：Jake C. Snell、Thomas L. Griffiths
  • 機構：普林斯頓大學
論文摘要： 基於機器學習的預測系統在高風險場景中的應用日益廣泛，瞭解此類預測模型部署後的表現至關重要。諸如共形預測之類的分佈無關不確定性量化技術，即使在模型細節隱藏的情況下，也能保證黑盒模型的損失。然而，此類方法基於頻率機率，這過度限制了它們的適用性。本文從貝葉斯視角重新審視共形預測的核心內容，從而闡明頻率機率保證的不足之處。
本文提出了一種基於貝葉斯求積的實用替代方案，它能夠提供可解釋的保證，並更全面地表示測試時可能觀察到的損失範圍。
論文 6：Score Matching with Missing Data

  • 論文地址：https://arxiv.org/abs/2506.00557
  • 作者：Josh Givens、Song Liu、Henry W J Reeve
  • 機構：布里斯托大學、南京大學
論文摘要：分數匹配是學習資料分佈的重要工具，其應用領域涵蓋擴散過程、基於能量的建模和圖模型估計等諸多領域。儘管應用廣泛，但很少有研究探討其在資料不完整情況下的運用。
該研究透過調整分數匹配（及其主要擴充套件）來解決這個問題，使其能夠在靈活的設定下處理缺失資料，其中資料可能在任何座標子集上出現部分缺失。本文提供了兩種獨立的分數匹配變體供一般使用：重要性加權 (IW) 方法和變分方法。本文在有限域設定下為 IW 方法提供了有限樣本邊界，並證明其在小樣本低維情況下尤其表現出色。
此外，本文還證明了變分方法在更復雜的高維設定下表現最佳，這一點在真實資料和模擬資料的圖模型估計任務中均得到了驗證。
傑出立場論文獎（Outstanding Position Paper）
ICML 大會在 2024 年首次設定了 Position Paper 賽道，與傳統 research paper 不同，它更注重觀點性、前瞻性和討論性，而非純粹的技術創新。該賽道鼓勵作者提出對機器學習領域關鍵問題的深刻見解、爭議性觀點或未來發展方向的分析，旨在激發學術界的廣泛討論和反思。
今年有 2 篇論文入選。
論文 1：The AI Conference Peer Review Crisis Demands Author Feedback and Reviewer Rewards

  • 論文地址：https://arxiv.org/abs/2505.04966
  • 作者：Jaeho Kim、Yunseok Lee、Seulki Lee 
  • 機構：韓國蔚山科學技術院（UNIST）
論文摘要：隨著人工智慧領域主要會議投稿數量的激增（每個會議投稿超過 10,000 篇），同行評審流程面臨前所未有的挑戰，評審質量和評審責任問題也日益引發關注。
本文主張將傳統的單向評審系統轉變為雙向反饋機制，在這種機制中，作者對評審質量進行評估，審稿人獲得正式的認證，建立一個責任框架，促進一個可持續的、高質量的同行評審系統。
當前的評審系統可以視為作者、審稿人和系統（即會議）三方之間的互動，這三方對當前的問題共同負責。但是，作者的問題只能透過政策執行和檢測工具來解決，而倫理問題只能透過自我反思來糾正。
因此，本文重點探討透過兩種關鍵機制改革審稿人問責制，並引入系統性獎勵：
（1）雙階段雙向評審系統，允許作者評估評審，同時最大程度地減少報復行為；（2）系統性審稿人獎勵系統，激勵高質量審稿。
論文 2：AI Safety should prioritize the Future of Work

  • 論文地址：https://arxiv.org/abs/2504.13959
  • 作者：Sanchaita Hazra、Bodhisattwa Prasad Majumder、Tuhin Chakrabarty
  • 機構：猶他大學、艾倫人工智慧研究所等
論文摘要：當前人工智慧安全領域的工作重點在於過濾有害內容、防止操縱人類行為以及消除在網路安全或生物安全領域中的存在性風險。儘管這些問題迫切需要解決，但這種狹隘的關注忽視了塑造社會長期發展軌跡的關鍵以人為本的考量。
在本文中，作者指出了忽視人工智慧對未來工作影響的風險，並建議提供全面的過渡支援，以促進具有人類能動性的有意義的勞動的演變。透過經濟理論的視角，作者強調人工智慧對人類生計的跨時間影響以及勞動市場結構變化，這些變化加劇了收入不平等。
此外，人工智慧開發中的主要利益相關方的封閉原始碼方法，類似於透過資源剝削的尋租行為，培育了創造性勞動中的平庸，並壟斷了創新。為了解決這一問題，他們主張建立健全的國際版權體系，並實施集體許可制度，以確保使用資料訓練人工智慧模型的公平補償機制，強烈建議建立一個以人為中心的全球人工智慧治理框架，以促進共享繁榮和經濟公正，同時減少技術債務。
參考連結：https://icml.cc/virtual/2025/awards_detail

何愷明在MIT授課的課件PPT下載
在CVer公眾號後臺回覆：何愷明，即可下載本課程的所有566頁課件PPT！趕緊學起來！

ICCV 2025 論文和程式碼下載

在CVer公眾號後臺回覆：ICCV2025，即可下載ICCV 2025論文和程式碼開源的論文合

CVPR 2025 論文和程式碼下載

在CVer公眾號後臺回覆：CVPR2025，即可下載CVPR 2025論文和程式碼開源的論文合集

CV垂直方向和論文投稿交流群成立
掃描下方二維碼，或者新增微訊號：CVer2233，即可新增CVer小助手微信，便可申請加入CVer-垂直方向和論文投稿微信交流群。另外其他垂直方向已涵蓋：目標檢測、影像分割、目標跟蹤、人臉檢測&識別、OCR、姿態估計、超解析度、SLAM、醫療影像、Re-ID、GAN、NAS、深度估計、自動駕駛、強化學習、車道線檢測、模型剪枝&壓縮、去噪、去霧、去雨、風格遷移、遙感影像、行為識別、影片理解、影像融合、影像檢索、論文投稿&交流、PyTorch、TensorFlow和Transformer、NeRF、3DGS、Mamba等。
一定要備註：研究方向+地點+學校/公司+暱稱（如Mamba、多模態學習或者論文投稿+上海+上交+卡卡），根據格式備註，可更快被透過且邀請進群

▲掃碼或加微訊號: CVer2233，進交流群
CVer計算機視覺（知識星球）人數破萬！如果你想要了解最新最快最好的CV/DL/AI論文、實戰專案、行業前沿、從入門到精通學習教程等資料，一定要掃描下方二維碼，加入CVer知識星球！最強助力你的科研和工作！

▲掃碼加入星球學習
▲點選上方卡片，關注CVer公眾號
整理不易，請點贊和在看


相關文章