破例兩篇！NeurIPS時間檢驗獎頒給了Ian的GAN、Ilya的Seq2Seq，實至名歸

夕小瑤科技說原創

作者 | 海野

今年NeurIPS時間檢驗獎破例頒給了兩篇論文！

分別是大名頂頂的Ian的GAN和Ilya的Seq2Seq。

NeurIPS時間檢驗獎（Test of Time Awards）的頒獎標準是：

10年前在NeurIPS上發表、對研究領域產生了重大影響、經得起時間考驗的論文。

今年可謂是有史以來第一次，時間檢驗獎居然同時頒給了兩篇論文：

Generative Adversarial Nets（生成對抗網路，又稱GAN）
Sequence to Sequence Learning with Neural Networks（Seq2Seq）

官方自己也承認：

今年，我們破例頒發了兩篇時間檢驗獎，因為這兩篇論文對整個領域的影響力都不可否認。

Generative Adversarial Nets，是生成模型領域最重要的理論基礎之一，截至頒獎時已被引用超過85000次。其作者團隊包括Ian Goodfellow、圖靈獎得主Yoshua Bengio等眾多知名AI大佬。

Ian Goodfellow的名字能被世人熟知，就是透過這一篇GAN論文。他本碩師從吳恩達，就讀於斯坦福大學，並跟隨Yoshua Bengio在博士階段鑽研機器學習領域。工作後輾轉OpenAI、谷歌、蘋果等多家科技公司，2022年離開蘋果後，至今在Google DeepMind擔任研究科學家。

Sequence to Sequence Learning，是時任谷歌研究員的Ilya Sutskever, Oriol Vinyals, Quoc V. Le共同完成的論文，奠定了RNN廣泛應用於語言任務的基調，已被引用超27000次。

其中Ilya是連續第二年得獎了。去年的NeurIPS時間檢驗獎頒給了他的里程碑論文word2vec。

簡單介紹一下這兩篇傳世經典：

Generative Adversarial Nets

GAN的主要內容是，提出了一個透過對抗過程估計生成模型的新框架。

這個新框架需要同時訓練兩個模型：捕獲資料分佈的生成模型 G（Generator），以及“估計樣本來自訓練資料，而不是G的機率”的判別模型 D（Discriminator）。

G的訓練過程是使D犯錯的機率最大化。就像生產假貨的人和鑑定真偽的人的博弈一樣：G負責生產仿製品（學習如何根據隨機噪聲生成逼真的資料）；而D負責鑑別真假（學會辨別真實的資料和G生產的資料）。

G和D相互博弈，相互競爭，兩者都可以在這個博弈的過程中不斷進步、最佳化。

最終的結果是，生成模型G能夠強大到產生與真實資料幾乎完全相同的資料，使得判別模型D無法辨別真偽，這樣GAN就算訓練成功。

經過這樣的對抗訓練之後，從生成器網路中提取的樣本如圖所示。這些樣本突出了對抗框架的潛力，GAN也在視覺資料和其他領域的各種應用中都產生了深遠影響。

現在大家熟悉的AI影像修復、AI改影像風格等，都有GAN的功勞。

論文地址：https://arxiv.org/pdf/1406.2661

Sequence to Sequence Learning

Seq2Seq提出了一種通用的序列端到端深度學習方法，對序列結構進行了最少的假設。解決了深度神經網路（DNN）無法處理將長短不定的序列端到端對映的問題。其最大的應用領域就是機器翻譯。

深度神經網路（DNN）是極其強大的機器學習模型，但DNN要求輸入和輸出是已知且固定的，只能應用於其輸入和目標可以使用固定維度向量進行合理編碼的問題。

而Seq2Seq模型基於遞迴神經網路（RNN）提出瞭解決之法，它包括兩個長短期記憶網路（Long Short-Term Memory，又稱LSTM），一個是編碼器（“encoder” LSTM），將輸入序列對映到固定維度的向量；另一個是解碼器（“decoder” LSTM），從向量中解碼出目標序列。

也就是說，Seq2Seq模型可以用於可變長度的輸入和輸出序列的任務了。