剛剛，ICLR2025時間檢驗獎頒給Adam之父！Bengio「注意力機制」摘亞軍！

2025-04-22 18:31 CVer

點選下方卡片，關注“CVer”公眾號

AI/CV重磅乾貨，第一時間送達
點選進入—>【頂會/頂刊】投稿交流群

新增微訊號：CVer2233，小助手會拉你進群！
掃描下方二維碼，加入CVer學術星球！可以獲得最新頂會/頂刊上的論文idea和CV從入門到精通資料，及最前沿應用！發論文/搞科研/漲薪，強烈推薦！

轉載自：新智元 ｜編輯：桃子 好睏

【導讀】ICLR 2025時間檢驗獎重磅揭曉！Yoshua Bengio與Diederik P. Kingma分別領銜的兩篇十年前論文摘得冠軍與亞軍。一個是Adam最佳化器，另一個注意力機制，徹底重塑深度學習的未來。
剛剛，ICLR 2025時間檢驗獎公佈！
斬獲大獎的是，Diederik P. Kingma和Jimmy Ba發表的Adam最佳化器。
獲得亞軍的是，Yoshua Bengio團隊提出的「注意力機制」，為Transformer和大模型奠定了基礎。
每年，ICLR時間檢驗獎都會頒給10年前發表，且對領域產生持久影響的論文。
滑鐵盧大學CS助理教授Gautam Kamath做了一個總結：
  • OpenAI聯創Diederik P. Kingma已連續第二次拿下ICLR ToT大獎，去年因VAEs論文獲獎
  • 今年ToT冠軍/亞軍，全都授予加拿大高校的學者
  • 2024年和2025年亞軍來自NYU團隊
時間檢驗獎
ICLR 2025時間檢驗獎公佈，再次讓所有人見證了深度學習領域的「黃金十年」。
Adam最佳化器讓大模型訓練更快更穩，注意力機制更是賦予了AI超強理解力，成為深度學習領域的重要里程碑。

Adam最佳化器：深度學習「加速引擎」
標題：Adam: A Method for Stochastic Optimization
作者：Diederik P. Kingma, Jimmy Ba
機構：阿姆斯特丹大學/OpenAI、多倫多大學
論文地址：https://arxiv.org/abs/1412.6980
如果說深度學習是一輛飛馳列車，那麼Adam最佳化器就是它的「超級引擎」。
2015年，由Diederik P. Kingma和Jimmy Ba提出的Adam演算法，徹底改變了神經網路訓練的方式。
Adam全稱是Adaptive Moment Estimation，透過結合梯度演算法的一階矩和二階矩，自動調整學習率，不僅加速了模型收斂，還提升了訓練的穩定性。
它之所以成為深度學習領域，重要的演算法之一，其魅力在於不同領域和神經架構中的通用性與高效性。
無論是CV、NLP、還是RL，Adam幾乎成為所有深度學習模型的預設最佳化器，成為無數頂尖模型的基石。

注意力機制：Transformer前世今生
標題：Neural Machine Translation by Jointly Learning to Align and Translate)
作者：Dzmitry Bahdanau, Kyunghyun Cho, Yoshua Bengio
機構：康斯特大學、蒙特利爾大學
論文地址：https://arxiv.org/abs/1409.0473
由Yoshua Bengio帶隊這篇論文，首次引入了注意力機制（Attention Mechanism），為現代深度學習架構奠定了基礎。
它從根本上改變了序列到序列模型處理資訊的方式。
在此之前，編碼器-解碼器架構通常將整個輸入序列，壓縮成固定長度向量，面對較長序列往往捉襟見肘。
Bengio團隊的突破在於，讓模型能夠「動態關注」輸入序列相關部分，極大地提升了翻譯任務的效能。
要知道，這篇論文的影響力遠遠超出了機器翻譯領域。
2017年，Attention is All You Need開山之作出世，注意力機制成為了Transformer模型的核心，催生了BERT、GPT系等大模型的繁榮。
如今，幾乎所有頂尖的AI模型都離不開注意力機制的加持。
正因如此，這篇論文也被業界譽為「現代深度學習的基石」。

深度學習巨擘領銜

這兩篇2015年裡程碑式論文榮登榜首，分別是由圖靈獎得主Yoshua Bengio，以及Jimmy Ba領銜。
正如Gautam Kamath所指出那樣，加拿大在深度學習領域的領先地位。

Diederik P. Kingma
除了Adam之外，他也是VAE、Glow等發明者。谷歌學術被引即將超30萬次。
Diederik P. Kingma履歷
目前任職於 Anthropic 公司。
2018-2024：谷歌大腦/DeepMind的研究科學家。領導各種研究專案，主要是文字、影像和影片的生成模型。
2015-2018：OpenAI（舊金山）創始團隊和研究科學家的一部分。領導演算法團隊，專注於基礎研究。
2013年至2017年：阿姆斯特丹大學博士（cum laude），導師為Max Welling，研究深度學習和生成模型。博士論文: Variational Inference and Deep Learning: A New Synthesis。2014/2015年夏天在DeepMind進行合作。

Jimmy Ba
作為Adam論文共同作者，Jimmy Ba的學術軌跡堪稱耀眼。
他分別於2011年和2014年獲得了多倫多大學本科與碩士學位，分別師從Brendan Frey和Ruslan Salakhutdinov教授。
博士期間，他又在多倫多大學跟著Geoffrey Hinton學習。
Jimmy Ba的長期研究目標緻力於解決一個核心計算問題：如何構建具備類人效率和適應性的通用問題求解機器？
具體而言，他的研究聚焦於為深度神經網路開發高效的學習演算法。
他的研究成果頻頻亮相NeurIPS、ICLR和ICML頂會，2016年更是摘得Facebook機器學習方向研究生獎學金（Facebook Graduate Fellowship）。
目前，Google Scholar主頁顯示，Adam這篇論文被引超20萬。

Yoshua Bengio
提到Yoshua Bengio，AI界無人不曉。
作為深度學習三巨頭之一，他的每項研究都在改寫AI的歷史。
Yoshua Bengio，生於1964年3月5日是一位加拿大-法國籍計算機科學家，也是人工神經網路和深度學習領域的先驅。他是蒙特利爾大學的教授，也是AI研究所MILA的科學總監。
他在麥吉爾大學獲得了理學學士學位（電氣工程）、理學碩士學位（計算機科學）和博士學位（計算機科學）。
獲得博士學位後，Bengio曾在MIT（導師是Michael I. Jordan）和AT&T貝爾實驗室擔任博士後研究員。
自1993年以來，他一直是蒙特利爾大學的教員，領導著MILA，並且是加拿大高等研究院（CIFAR）「機器與大腦學習」專案的聯合主任。
2017年，Bengio被授予加拿大勳章。同年，他被提名為加拿大皇家學會會士，並獲得了Marie-Victorin Quebec獎。
2018年，他與Geoffrey Hinton和Yann LeCun因其在深度學習領域的基礎性工作，共同獲得了計算領域的「諾貝爾獎」——ACM圖靈獎。
2020年，他當選為英國皇家學會會士。2022年，他與Geoffrey Hinton、Yann LeCun和Demis Hassabis共同獲得了「科學研究」類別的阿斯圖里亞斯女親王獎。
2023年，Bengio被授予法國最高榮譽勳章——榮譽軍團騎士勳章。同年，被評為ACM Fellow。
2025年，Bengio與Bill Dally、Geoffrey E. Hinton、John Hopfield、Yann LeCun、黃仁勳和李飛飛共同獲得了伊麗莎白女王工程獎。
Google Scholar個人主頁中，Bengio總被引數破90萬，其中被引量最高的論文便是與LeCun和Hinton共同撰寫的「深度學習」的論文。
有趣的是，他的兄弟Samy Bengio也是一位在神經網路領域很有影響力的計算機科學家，目前擔任蘋果AI和機器學習研究高階總監。
參考資料：

https://blog.iclr.cc/2025/04/14/announcing-the-test-of-time-award-winners-from-iclr-2015

何愷明在MIT授課的課件PPT下載
在CVer公眾號後臺回覆：何愷明，即可下載本課程的所有566頁課件PPT！趕緊學起來！

CVPR 2025 論文和程式碼下載

在CVer公眾號後臺回覆：CVPR2025，即可下載CVPR 2025論文和程式碼開源的論文合集

ECCV 2024 論文和程式碼下載

在CVer公眾號後臺回覆：ECCV2024，即可下載ECCV 2024論文和程式碼開源的論文合集
CV垂直方向和論文投稿交流群成立
掃描下方二維碼，或者新增微訊號：CVer2233，即可新增CVer小助手微信，便可申請加入CVer-垂直方向和論文投稿微信交流群。另外其他垂直方向已涵蓋：目標檢測、影像分割、目標跟蹤、人臉檢測&識別、OCR、姿態估計、超解析度、SLAM、醫療影像、Re-ID、GAN、NAS、深度估計、自動駕駛、強化學習、車道線檢測、模型剪枝&壓縮、去噪、去霧、去雨、風格遷移、遙感影像、行為識別、影片理解、影像融合、影像檢索、論文投稿&交流、PyTorch、TensorFlow和Transformer、NeRF、3DGS、Mamba等。
一定要備註：研究方向+地點+學校/公司+暱稱（如Mamba、多模態學習或者論文投稿+上海+上交+卡卡），根據格式備註，可更快被透過且邀請進群

▲掃碼或加微訊號: CVer2233，進交流群
CVer計算機視覺（知識星球）來了！想要了解最新最快最好的CV/DL/AI論文速遞、優質實戰專案、AI行業前沿、從入門到精通學習教程等資料，歡迎掃描下方二維碼，加入CVer計算機視覺（知識星球），已彙集上萬人！

▲掃碼加入星球學習
▲點選上方卡片，關注CVer公眾號
整理不易，請點贊和在看


相關文章