(
機器學習演算法與自然語言處理
)社群是國內外知名自然語言處理社群，受眾覆蓋國內外NLP碩博生、高校老師以及企業研究人員。
MLNLP 2022學術研討會 是由 MLNLP（機器學習演算法與自然語言處理）社群 和 中國中文資訊學會青年工作委員會 聯合舉辦的學術活動。社群會定期舉辦學術研討會並邀請國內外機器學習與自然語言處理領域知名青年學者進行報告交流，旨在加強國內外同學們之間的交流。
MLNLP社群將在8月28日於線上舉辦第十期學術研討會，由MLNLP學術委員會委員新加坡SEA AI Lab研究員龐天宇和SEA AI Lab研究員任意共同擔任本期程式委員會主席。本期研討會以線上報告的方式進行，分為上下兩半場：上半場由龐天宇同學主持；下半場由任意同學主持。具體而言，社群很榮幸邀請到武漢大學國家網路安全學院教授、博士生導師李晨亮老師擔任大會主席，並做開場致辭；Meta FAIR研究院研究員劉壯，北京大學前沿計算研究中心助理教授和博士生導師王鶴，微軟亞洲研究院研究員宋愷濤，清華大學交叉資訊研究院博士徐進，做專題報告。
以下是本次研討會四場Talk的時間安排和內容摘要。
-
召開時間：
-
2022年8月28日 09:00-12:00（北京時間）
-
主辦單位：
-
MLNLP（機器學習演算法與自然語言處理）社群
-
中國中文資訊學會青年工作委員會
-
大會主席：
-
李晨亮：武漢大學國家網路安全學院教授
-
程式委員會主席：
-
龐天宇：新加坡SEA AI Lab研究員
-
任意：新加坡SEA AI Lab研究員
-
組委會：
-
MLNLP社群秘書處（魏福煊、王樂涵、陳麒光、黃仕爵、張鈺迪、劉洪宇、段然）
-
社群支援 ：
-
智源社群
-
直播平臺：
-
嗶哩嗶哩：http://live.bilibili.com/23872620
-
微信影片號：請點選下方卡片預約
1
『Meta FAIR研究院@劉壯：《ConvNeXt: 2020年代的卷積網路》』
8月28日北京時間早上09:05-09:45，Meta FAIR研究院@劉壯為大家帶來《ConvNeXt: 2020年代的卷積網路》報告。
報告摘要
Vision Transformer的出現改變了計算機視覺中神經網路架構的面貌。多尺度層級性的Vision Transformer進一步地取得了在各種各樣視覺任務中的成功。然而層級性Vision Transformer又重新引入了很多ConvNet中的先驗，比如區域性計算和共享權重，並且許多特殊操作模組使得網路更加複雜。儘管它們的成功更多地被歸功於自注意力模組的優越性，Vision Transformer和ConvNet還有很多其他不同，比如訓練的設定，和一些相對微妙的結構上的設計。本分享中我們將一起探索『現代化』後的ConvNet能否達到與Vision Transformer相同的表現，是否卷積相當於自注意力已經過時，以及Vision Transformer的優越性除了依靠自注意力還可能來自何處。
講者介紹
劉壯，Meta FAIR研究院研究員，博士畢業於加州大學伯克利分校計算機系。研究興趣為深度學習，計算機視覺和表徵學習等。發表過神經網路模型架構方法的論文DenseNet, ConvNeXt, Network Slimming等。曾在Intel Labs、Adobe Research、FAIR和康奈爾大學進行研究訪問或者實習。本科畢業於清華大學姚班。獲得過CVPR最佳論文獎，NeurIPS Workshop最佳論文獎，Snap Research Fellowship等獎項。個人主頁：https://liuzhuang13.github.io/
2
『北京大學@王鶴：《SO(3)群上的迴歸問題與半監督學習》』
8月28日北京時間早上09:45-10:25，北京大學@王鶴為大家帶來《SO(3)群上的迴歸問題與半監督學習》報告。
報告摘要
三維旋轉估計是計算機視覺、圖形學和機器人學中的重要問題。近年來，透過深度三維旋轉回歸進行旋轉估計的方法越來越流行，其即插即用和端到端的特性使其被廣泛部署到場景理解與互動任務中，如估計物體、人類、相機、機械手抓取的朝向。儘管如此，深度旋轉回歸仍然面臨著幾個重大挑戰，這些挑戰極大地限制了它的效能和使用範圍。首先，與預測稠密對應然後擬合旋轉的方法相比，直接回歸旋轉一直受到低精度的困擾。這是因為三維旋轉屬於一個非歐幾里得流形 — SO(3) 群，而神經網路的直接輸出往往處於不受限的歐幾里得空間，因此直接回歸旋轉非常具有挑戰性。此外，獲得準確的三維旋轉註釋非常昂貴且耗時，因而完全監督的 三維旋轉學習不能規模化。在本次演講中，我將介紹我們最近為使深度三維旋轉回歸更準確和更省標註而做的努力：1）我們 CVPR 2022 oral工作 — 第一個半監督旋轉回歸框架 FisherMatch 的；2）我們 CVPR 2022 的工作 — 正則化投影流形梯度 (RPMG)，透過提出一種新穎的梯度層，顯著提高了在廣泛的 3D 場景理解任務中旋轉回歸的精確度。
講者介紹
王鶴，北京大學前沿計算研究中心（CFCS）助理教授、博士生導師。他創立並領導了具身感知與互動實驗室(EPIC Lab)，實驗室立足三維視覺感知與機器人學，重點關注機器人具身在三維複雜環境中的感知和互動問題，研究目標是以可擴增地方式發展高泛化性的機器人視覺和控制系統。他已在計算機視覺、機器人學和人工智慧的頂級會議和期刊，如CVPR/ICCV/ECCV/RAL/NeurIPS，發表20餘篇工作，其中8篇獲得CVPR/ICCV oral，1篇獲得Eurographics 2019最佳論文提名，並獲得ICLR 2021可泛化機器人物體操縱挑戰賽ManiSkill無額外標註賽道冠軍。他擔任了CVPR2022和2023的領域主席和諸多頂會的審稿人、程式委員。在加入北京大學之前，他於2021年從斯坦福大學獲得博士學位，師從美國三院院士Leonidas. J Guibas教授，於2014年從清華大學獲得學士學位。
3
『微軟亞洲研究院@宋愷濤：《面向自然語言處理任務的預訓練方法設計》』
8月28日北京時間早上10:25-11:05，微軟亞洲研究院@宋愷濤為大家帶來《面向自然語言處理任務的預訓練方法設計》報告。
報告摘要
近年來，預訓練語言模型（Pre-trained Language Models）在自然語言處理的任務中，取得了非常驚人的突破。如何更好地設計預訓練語言模型，來滿足下游任務的需求已成為了當下學術界和工業界的關注重點。在本次報告中，我將介紹如何從自然語言處理的任務角度出發，設計更加合理的預訓練方法。其中，我將會分享如何從預訓練任務與下游任務的不一致性出發來建模合理的預訓練策略，並從語言生成、語言理解以及語言評估這三個不同的任務上介紹我們的相關研究成果。最後，我將介紹預訓練模型在當下面臨的問題以及未來的發展方向。
講者介紹
宋愷濤，博士畢業於南京理工大學（導師陸建峰），現為微軟亞洲研究院研究員。研究興趣為預訓練模型、語言生成、語音語義理解等。在ICML/NeurIPS/KDD/ACL/IJCAI/AAAI等會議上發表20餘篇工作。Google Scholar總被引1700餘次。主頁：https://www.microsoft.com/en-us/research/people/kaitaosong/
4
『清華大學@徐進：《利用自動架構搜尋實現動態BERT模型壓縮》』
8月28日北京時間早上11:05-11:45，清華大學@徐進為大家帶來《利用自動架構搜尋實現動態BERT模型壓縮》報告。
報告摘要
如今，基於Transformer的大規模預訓練語言模型如BERT, GPT3等，已經在眾多自然語言處理任務上取得了矚目的結果。然而巨大的模型尺寸使得他們難以在眾多不同的下游任務中部署，尤其是很多工對資源有著嚴格的限制和要求。同時，不同的裝置往往對模型有著不同的要求，比如模型佔用的記憶體大小以及推理時延等。本次報告涉及兩個技術: 1) NAS-BERT: 透過一次搜尋直接產生眾多不通尺寸的模型以滿足不同的裝置要求，因此資源受限的裝置可以動態的選擇合適的架構; 2) MAGIC-NAS: 分析NAS搜尋的核心問題之一-梯度干擾，並提出高效的演算法進一步提高NAS搜尋的效率，得到更優的模型。
講者介紹
徐進，清華大學交叉資訊研究院博士，師從李建副教授。他的研究興趣是語音和文字序列任務，自動架構搜尋，模型壓縮，圖神經網路。他在ICML/NeurIPS/KDD等會議上發表過10餘篇論文。他曾獲2020年KDDCUP競賽冠軍。他曾經在微軟亞洲研究院實習，多項研究成果應用於微軟產品。主頁：https://jxu-thu.github.io/
5
『會議報名』
會議報名還可以直接掃描下方二維碼新增小助手微信進行報名，備註 單位-暱稱-方向 （例如： 清華-張三-對話系統），小助手透過報名並會把你拉進交流群。 會議的觀看地址等資訊都會在群裡通知。 已經加入MLNLP交流群的同學請 不要重複新增 ！
掃描二維碼新增小助手微信
關於我們