2023
新技術追蹤
BUSINESS
AI熱潮之下，今年的ACL備受關注。
文| Juny 編輯| VickyXiao
就在今天下午，自然語言處理領域的頂級學術會議、有NLP界奧斯卡之稱的ACL 2023 在加拿大多倫多揭曉了三篇”年度最佳“學術論文，其中有兩篇都有華人研究者的身影。
今年，除了最重磅的年度最佳論文由過去的一篇增至了三篇之外，ACL也大幅度增加了優秀論文的獎項設定和獲獎比例，頒發了四大單項獎、39篇傑出論文和12大細分領域的最佳論文等獎項。ACL組委會表示，今年獲獎論文達到了總提交論文數的1.5-2.5%。
作為對比，去年ACL所有獲獎論文加總僅有12篇，獲獎數量還不到今年五分之一，由此可見今年的ACL有多熱鬧！很多人甚至形容今年的ACL就像是AI圈的“火人節”，來自世界各地的AI研究者們都激情四溢，從7月9日開始，在加拿大多倫多進行著一場為期5天的AI狂歡派對。
值得注意的是，不僅是最佳論文，在此次的所有獲獎論文中，有華人學者參與和由華人團隊領導的研究幾乎佔據了半壁江山。
｜華人研究者成為ACL的“中流砥柱”
在39個傑出論文中，全部都由華人研究者組成的研究團隊達到了六個，有華人參與的傑出論文佔一半以上。這些研究者所來自的中國機構既有清華大學、復旦大學、南京理工大學等高校，也有華為、騰訊等大型企業。
在細分領域的主席獎中，來自清華大學和武漢大學的華人團隊摘得了“情感分析、文體分析和論點挖掘”領域的最佳論文，來自中科大、北京交通大學、微軟亞洲研究院的華人團隊摘得了“自然語言處理應用”領域的最佳論文。除了這兩個領域之外，其他4個的領域中也有華人研究者的身影。
在最佳演示論文獎中，由中科大、清華大學、智譜AI、財智科技的研究者組成的團隊斬獲了唯一一篇最佳論文獎項。最佳學生研究獎項中，來自中國的學術團隊也位列其中。而在四個特別單項獎中，有華人研究者身影的獎項達到了三個。
總體來看，無論是作為參與者還是研究領導者，華人研究者這次在ACL的存在感都特別強。
｜3篇年度最佳論文，分別都在研究什麼？
本次獲獎的三篇年度最佳論文包括：
-
Do Androids Laugh at Electric Sheep? Humor “Understanding” Benchmarks from The New Yorker Caption Contest
論文作者：Jack Hessel（艾倫人工智慧研究所）, Ana Marasovic（猶他大學）, Jena D. Hwang（艾倫人工智慧研究所）, Lillian Lee（康奈爾大學）, Jeff Da（華盛頓大學）, Rowan Zellers（華盛頓大學）, Robert Mankoff（Air Mail and Cartoon Collections） 和 Yejin Choi（華盛頓大學）
篇論文主要探討了人工智慧是否真正理解了幽默。研究者透過三個有關《紐約客》漫畫標題比賽的任務來挑戰AI模型，包括將笑話與漫畫配對、識別出贏得比賽的標題，以及解釋為什麼贏得比賽的標題是有趣的。
研究團隊表示，這三個任務的複雜度是逐漸進階的，關鍵點在於測試AI對於影像和標題之間複雜性的理解，以及對人類經驗和文化的模仿和應用。團隊在研究中使用了多模態和單一語言兩種模型進行測試，但最後研究發現，兩種型別的模型在所有三個任務上都存在困難。
圖片截自於論文正文
例如，最好的多模態模型在匹配任務上的效能比人類低30個準確性點，即使提供了真實的視覺場景描述，人類編寫的解釋也在大於2/3的情況下優於機器編寫的。但同時團隊也指出，這個研究結果是在比較少的GPT-4模型下所得出的。
雖然這篇論文的作者分屬於不同機構，但總體來看這也是一篇由OpenAI強參與的研究，論文作者中 Jeff Da, Rowan Zellers 和 Yejin Choi 都在 OpenAI 工作。
-
What the DAAM: Interpreting Stable Diffusion Using Cross Attention
論文作者：Raphael Tang（康卡斯特應用AI團隊）, Linqing Liu（倫敦大學學院）, Akshat Pandey（康卡斯特應用AI團隊）, Zhiying Jiang（滑鐵盧大學）, Gefei Yang（康卡斯特應用AI團隊）, Karun Kumar（（康卡斯特應用AI團隊）, Pontus Stenetorp（倫敦大學學院）, Jimmy Lin（滑鐵盧大學） 和 Ferhan Ture（康卡斯特應用AI團隊）
這篇論文主要關注了大規模擴散神經網路在文字到影像生成中的應用，研究團隊認為雖然目前文字到影像模型已經取得了重要的里程碑式成就，但從學術研究的角度人們對它們仍然缺乏深入認知和可解釋性分析。
為了解決這個問題，研究團隊基於最近很火的開源模型Stable Diffusion進行了文字-影像歸因分析。他們提出了一種名為DAAM的方法，透過放大和聚合去噪子網路中的交叉注意力單詞-畫素得分，以生成畫素級的歸因圖。
圖片截自於論文正文
最後，他們使用DAAM研究了幾種語義現象，重點是特徵糾纏，其中，他們發現共同詞素降低了生成質量，而描述性形容詞關注得過於廣泛。研究團隊表示，他們的研究是首次從視覺語言角度來解釋大型擴散模型，這可能為未來的研究開闢了新的道路。
該研究主要由全美最大有線電視、第二大網際網路服務提供商Comcast集團的AI研究團隊領導，在該研究團隊中，有一半以上的作者都是華人。
-
From Pretraining Data to Language Models to Downstream Tasks: Tracking the Trails of Political Biases Leading to Unfair NLP Models
論文作者：Shangbin Feng（華盛頓大學）, Chan Young Park（卡耐基梅隆大學）, Yuhan Liu（西安交通大學） 和 Yulia Tsvetkov（華盛頓大學）
這篇論文主要研究了預訓練語言模型（LMs）中的政治偏見，及其對下游自然語言處理（NLP）模型公平性的影響。研究團隊開發了新的方法來測量在多樣化的資料來源（如新聞、論壇、書籍、線上百科全書等）上預訓練的LMs中的政治偏見，其中特別關注了仇恨言論和誤資訊檢測這兩個高風險的社會導向任務。
該研究的發現預訓練的語言模型確實存在政治傾向，不僅加強了語料庫中存在的極化，還將社會偏見傳播到了仇恨言論預測和誤資訊檢測器中，論文討論了這些發現對NLP研究的重要影響，並提出未來的方向以減輕不公平性。
其中，根據公開資訊顯示，這篇文章的第一作者Shangbin Feng本科就讀於西安交通大學，於去年開始在華盛頓大學攻讀博士學位，師從Yulia Tsvetkov。
｜NPL界的頂流大會，孕育無數AI新技術、新業態
ACL（Association of Computational Linguistics）起源於1962年，源自美國一個小而專注的學術組織，其宗旨是推動計算語言學的發展。在當時，計算機科學才剛剛起步，人工智慧更是還處於嬰兒階段的學術概念，但ACL早在60多年前就已經預見了的科技的巨浪，今年已經是第61屆大會。
如今，在人工智慧、特別是研究自然語言處理領域有四大頂級會議，分別是ACL、NAACL、EMNLP、COLING。而除了COLING 之外，其他三大會議均由ACL（Association of Computational Linguistics）主辦。
幾十年來，隨著技術的進步和AI研究的深入，ACL逐漸發展成為全球最重要的自然語言處理領域的學術會議。作為AI領域裡的“奧斯卡獎”一般的存在，ACL可以說是所有自然語言處理領域研究者們所向往和奮鬥的方向。
ACL會議每年都會產生大量的頂級研究論文，推動了自然語言處理技術的快速發展，這些新思想、新技術往往也會被業界快速應用和商業化。最重要的是，ACL培育了一代又一代的AI領袖和研究者，是全球AI領域最重要的人才池。
ACL大會的舉辦地點在每年都會變化，遍及北美、歐洲、亞洲等地，以儘可能吸引全球各地的研究者參與，每年的會議地點都由ACL的組織委員會提前選定並公佈。今年的舉辦地則放在了AI研究前沿、有“深度學習之父”Geoffrey Hinton坐鎮的加拿大多倫多。
Geoffrey Hinton在ACL開幕上發表演講，圖片來自推特
或許是受AI浪潮的影響，今年的大會氛圍尤其熱烈。全球各地的AI研究者們前來“朝聖”和分享、交流，谷歌、微軟、亞馬遜、IBM等大型科技企業也都在ACL上設定了展位，跟研究者們進行面對面交流。
知名的專家和研究者將進行一系列的主題演講，各國年輕的學者們也將對最新研究成果進行分享和研討，參會者能夠深入地參與特定主題。此外，ACL還設定了企業展示和招聘環節連線學術界和工業界，促進AI技術的落地轉化。
END
喜歡這篇文章？
關注矽星人，帶你用本地視角看矽谷，全球視野看創新
關鍵詞
模型
自然語言處理
會議
該研究
任務