何愷明ResNet登頂！Transformer上榜，Nature揭秘21世紀引量用最多的論文！

2025-04-22 12:05 CVer

點選下方卡片，關注“CVer”公眾號

AI/CV重磅乾貨，第一時間送達
點選進入—>【頂會/頂刊】投稿交流群

新增微訊號：CVer2233，小助手會拉你進群！
掃描下方二維碼，加入CVer學術星球！可以獲得最新頂會/頂刊上的論文idea和CV從入門到精通資料，及最前沿應用！發論文/搞科研/漲薪，強烈推薦！

轉載自：新智元 ｜ 編輯：桃子

【導讀】21世紀最具影響力的25篇論文中，AI論文竟然獨佔鰲頭！從席捲全球的ResNet到奠定ChatGPT基礎的Transformer架構，Nature獨家揭秘全球高被引論文。
21世紀第一個25年，AI領域被引最高25篇論文都有哪些？
近日，Nature頭版獨家文章，揭秘了不同科學領域最具影響力的論文。
然而，令人意外的是，那些廣為人知的科學發現：從mRNA疫苗和CRISPR基因編輯技術，到希格斯玻色子的發現和引力波的首次測量，並沒有出現在這些入選的論文中。
他們得出結論，被引最高的論文，正是描述科學方法、軟體工具或系統性綜述的「幕後英雄」。
那麼，都有哪些論文上榜了呢？
引用：科學影響力的衡量標準
引用是學術界衡量論文影響力的重要指標，作者透過引用來致敬前人的工作。
Nature的分析基於五個學術資料庫（涵蓋了21世紀數千萬篇論文），透過取中位數排名，篩選出本世紀最受引用的25篇論文。
結果顯示，人工智慧、提升研究質量提升、癌症統計、研究軟體相關的論文佔據了榜單前列。
唯一例外是一篇2004年關於石墨烯實驗的開創性論文，這項工作為作者贏得了2010年的諾貝爾物理學獎。
AI崛起，ResNet登頂
人工智慧論文，在本世紀引用榜單中獨領風騷。
位居榜首的是，微軟團隊2016年發表的一篇論文——Deep Residual Learning for Image Recognition。
這恰恰是所有人熟知的「深度殘差學習」神經網路——ResNets的開山之作，由AI大牛孫劍帶隊何愷明等人完成。
論文地址：https://arxiv.org/abs/1512.03385
ResNets解決了訊號在多層網路中傳播時衰減的問題，讓研究人員能夠訓練約150層神經網路。
這大約是當時常規神經網路層數的5倍。
該論文首次作為預印本釋出於2015年末，微軟團隊憑藉其在影像識別競賽中奪冠。
ResNets的突破為AI飛速發展鋪平了道路，催生了AlphaGo、AlphaFold、ChatGPT等模型誕生。
現就職於麻省理工學院的何愷明表示，「在ResNets之前，深度學習並不那麼『深』」。
據統計，這篇論文的引用量在10萬-25.4萬次之間。在五個資料庫中有兩個將其列為第一，兩個列為第二，一個列為第三，綜合中位數排名第一。
Google Scholar這篇論文被引數已超25萬
此外，2017年穀歌發表的Attention is all you need排位列七，論文中提出了著名的Transformer架構，成為ChatGPT等大模型的核心。
論文地址：https://arxiv.org/pdf/1706.03762
AI論文的高引用量，主要是因為其廣泛的應用領域和快速的研究進展。
同樣，AI教父Geoff Hinton指出，「AI論文天然具有引用優勢」。
2012年，Hinton帶領學生Ilya、Alex Krizhevsky發表的AlexNet論文排名第八。
這篇鉅作展示了神經網路在影像識別競賽中的壓倒性優勢，掀起了後來的深度學習革命。
論文地址：https://proceedings.neurips.cc/paper_files/paper/2012/file/c399862d3b9d6b76c8436e924a68c45b-Paper.pdf
此外，開源也助推了AI論文的引用。
比如排名第六的Random Forests論文介紹了一種開源、易用的機器學習演算法，廣泛應用於多個領域。
論文地址：https://link.springer.com/article/10.1023/A:1010933404324
需要說明的是，許多AI論文以預印本形式釋出，增加了引用統計的複雜性。
OpenAlex資料庫嘗試合併預印本與最終出版物的引用，而Google Scholar則努力將同一作品的所有版本歸類並彙總引用。
研究軟體：科學家的「工具箱」
除了AI領域，研究軟體相關論文在本世紀引用榜單中表現亮眼。
排名第二的論文由Thomas Schmittgen等人於2000年發表，介紹了一種用於定量PCR（聚合酶鏈式反應）資料分析的方法。
這篇論文應審稿人要求而生，因其提供了計算基因活性變化的簡單公式，被引量超過16.2萬次，躋身歷史前十。
論文地址：https://www.sciencedirect.com/science/article/abs/pii/S1046202301912629
排名第五的論文，是由英國化學家George Sheldrick撰寫，介紹SHELX程式套件，用於分析X射線散射模式以揭示分子結構。
這篇2008年的綜述論文建議使用SHELX時引用，引用量在7萬至9萬次之間。
論文地址：https://journals.iucr.org/a/issues/2008/01/00/sc5010/index.html
其他軟體論文，如排名第十五的scikit-learn（Python機器學習庫）和排名第十八的DESeq2（RNA測序分析），因其開源和易用性，成為科學家不可或缺的工具。
統計軟體：資料分析的利器
統計軟體相關論文，也在榜單中名列前茅。
例如，排名第15的scikit-learn論文和排名第22的lme4論文分別為Python和R語言使用者提供了強大的資料分析工具。
排名第23的G*Power軟體論文則幫助生物學家計算實驗所需的樣本量，以確保統計顯著性。
值得注意的是，R程式語言本身未出現在榜單中，儘管OpenAlex記錄其引用量超過30萬次。
這是因為R的開發者建議使用者引用其網站而非學術論文，導致資料庫記錄不一致。
這也提醒研究者：若開發了有影響力的程式，發表一篇相關論文至關重要。
癌症與健康：資料驅動的洞見
癌症研究領域的三篇論文在榜單中佔據重要位置。
排名第四的Diagnostic and Statistical Manual of Mental Disorders（DSM-5）是精神病學領域的權威指南，2013年出版後廣泛用於研究和臨床，定義了精神障礙的診斷標準。
排名第九和第十的是世界衛生組織GLOBOCAN專案於2018年和2020年釋出的全球癌症統計報告，為研究者和政策制定者提供了關鍵資料。
排名第十九的綜述論文總結了癌症的「標誌性特徵」，激勵了無數學生投身癌症研究。
提升研究質量
提升研究質量的論文在本世紀引用榜單中熠熠生輝。排名第三的論文Using thematic analysis in psychology，由心理學家Virginia Braun和Victoria Hannah Clarke於2006年發表，介紹了「主題分析」——一種分析定性資料的系統方法。
這篇為學生設計的指南意外成為本世紀第三高引用論文，徹底改變了兩位作者的職業軌跡。
排名第11的PRISMA宣告（2009年）為系統綜述和薈萃分析提供了27項報告規範，引用量在5.3萬至13.8萬次之間。
2020年更新的PRISMA（排名第23）同樣上榜。排名第17的論文（2003年）討論了行為研究中的方法偏差，幫助研究者提高研究嚴謹性。
參考資料：
https://www.nature.com/articles/d41586-025-01125-9

何愷明在MIT授課的課件PPT下載
在CVer公眾號後臺回覆：何愷明，即可下載本課程的所有566頁課件PPT！趕緊學起來！

CVPR 2025 論文和程式碼下載

在CVer公眾號後臺回覆：CVPR2025，即可下載CVPR 2025論文和程式碼開源的論文合集

ECCV 2024 論文和程式碼下載

在CVer公眾號後臺回覆：ECCV2024，即可下載ECCV 2024論文和程式碼開源的論文合集
CV垂直方向和論文投稿交流群成立
掃描下方二維碼，或者新增微訊號：CVer2233，即可新增CVer小助手微信，便可申請加入CVer-垂直方向和論文投稿微信交流群。另外其他垂直方向已涵蓋：目標檢測、影像分割、目標跟蹤、人臉檢測&識別、OCR、姿態估計、超解析度、SLAM、醫療影像、Re-ID、GAN、NAS、深度估計、自動駕駛、強化學習、車道線檢測、模型剪枝&壓縮、去噪、去霧、去雨、風格遷移、遙感影像、行為識別、影片理解、影像融合、影像檢索、論文投稿&交流、PyTorch、TensorFlow和Transformer、NeRF、3DGS、Mamba等。
一定要備註：研究方向+地點+學校/公司+暱稱（如Mamba、多模態學習或者論文投稿+上海+上交+卡卡），根據格式備註，可更快被透過且邀請進群

▲掃碼或加微訊號: CVer2233，進交流群
CVer計算機視覺（知識星球）來了！想要了解最新最快最好的CV/DL/AI論文速遞、優質實戰專案、AI行業前沿、從入門到精通學習教程等資料，歡迎掃描下方二維碼，加入CVer計算機視覺（知識星球），已彙集上萬人！

▲掃碼加入星球學習
▲點選上方卡片，關注CVer公眾號
整理不易，請點贊和在看


相關文章