劍橋大學蘇熠暄：基於對比學習的文字生成框架

MLNLP

(

機器學習演算法與自然語言處理

)是國內外知名自然語言處理社群，受眾覆蓋國內外NLP碩博生、高校老師以及企業研究人員。

社群的願景
是促進國內外自然語言處理，機器學習學術界、產業界和廣大愛好者之間的交流和進步。

MLNLP學術Talk是MLNLP社群舉辦的學術交流活動，旨在邀請一線青年學者分享最前沿的技術，期待最精彩的思想火花碰撞。本次MLNLP學術Talk特別邀請了劍橋大學三年級博士生蘇熠暄為我們帶來“基於對比學習的文字生成框架”的主題報告，由哈爾濱工業大學碩士生、MLNLP社群秘書魏福煊主持。
報告的詳細資訊如下：

『講者介紹』

蘇熠暄，劍橋大學三年級博士生，導師為Nigel Collier教授，在此之前他於劍橋大學獲得碩士學位，於北京理工大學獲得本科學位。他的研究關注於文字生成，大規模語言模型，以及表徵學習。到目前為止，他已與ACL, EMNLP, NAACL，EACL等會議上發表十餘篇論文。個人主頁：https://yxuansu.github.io/

『報告摘要』

基於預訓練語言模型的文字生成在許多自然語言處理應用中是十分重要的組成部分。然而，直接使用最大化的解碼方法（例如Beam Search）通常會導致文字退化的現象—生成的文字不自然並且包含重複。現有的解決方案通常使用sampling的解碼方式或者使用unlikelihood的訓練目標來訓練語言模型。然而，這些解決方案仍然會導致生成的結果不連貫以及不通順。在我們最新的工作中，我們分析語言模型表示空間的各向同質性是文字退化的一個潛在原因。就此，我們提出了一個基於對比學習的解決框架: （1）一個基於對比學習的訓練目標函式—SimCTG以及（2）一個新的解碼策略—Contrastive Search。我們在來自兩個語言的三個標準資料集上做了大量的實驗。實驗結果表明我們的方法在人工以及自動指標上大幅超越目前已有的方法。

『主持人簡介』

魏福煊，哈爾濱工業大學碩士，MLNLP社群秘書處成員。研究興趣為任務型對話系統、口語語言理解與自然語言處理。在多個國際會議期刊ACL/TALLIP等參與發表相關論文。

關於我們

MLNLP社群
(
機器學習演算法與自然語言處理
) 是由國內外自然語言處理學者聯合構建的民間學術社群，目前已經發展為國內外知名自然語言處理社群，旗下包括
萬人頂會交流群、AI臻選匯、AI英才匯
以及
AI學術匯
等知名品牌，旨在促進機器學習，自然語言處理學術界、產業界和廣大愛好者之間的進步。

社群可以為相關從業者的深造、就業及研究等方面提供開放交流平臺。
歡迎大家關注和加入我們。