MLNLP社群是國內外知名的機器學習與自然語言處理社群，受眾覆蓋國內外NLP碩博生、高校老師以及企業研究人員。

社群的願景是促進國內外自然語言處理，機器學習學術界、產業界和廣大愛好者之間的交流和進步，特別是初學者同學們的進步。

來源 | 機器之心

編輯 | 張倩、澤南

從一行行程式碼、註釋中感受 AlexNet 的誕生，或許老程式碼中還藏著啟發未來的「新」知識。

想知道 AlexNet 2012 年的原始程式碼長什麼樣嗎？現在，機會來了！剛剛，谷歌首席科學家 Jeff Dean 宣佈，他們與計算機歷史博物館（CHM）合作，共同釋出了 AlexNet 的原始碼，並將長期儲存這些程式碼。

開放後的程式碼庫如下：

GitHub 連結：https://github.com/computerhistory/AlexNet-Source-Code

AlexNet 是一個人工神經網路，用於識別照片內容。它由當時的多倫多大學研究生 Alex Krizhevsky 和 Ilya Sutskever 以及他們的導師 Geoffrey Hinton 於 2012 年開發。

在計算機歷史上，AlexNet 的出現有著劃時代的意義。在它出現之前，很少有機器學習研究人員使用神經網路。但在 AlexNet 出現之後，幾乎所有研究人員都會使用神經網路。從 2012 年到 2022 年，神經網路不斷取得進步，包括合成可信的人類聲音、擊敗圍棋冠軍選手、模擬人類語言並生成藝術作品…… 最終，OpenAI 於 2022 年釋出 ChatGPT…… 它是這一系列故事的重要起點。

「谷歌很高興將具有開創性意義的 AlexNet 專案的原始碼貢獻給計算機歷史博物館，」Jeff Dean 說，「這段程式碼是 Alex Krizhevsky、Ilya Sutskever 和 Geoffrey Hinton 撰寫的標誌性論文《ImageNet Classification with Deep Convolutional Neural Networks》的基礎，該論文革新了計算機視覺領域，是有史以來被引用次數最多的論文之一。」

Google Scholar 資料顯示，AlexNet 相關論文被引量已經超過 17 萬。

除了程式碼本身的價值，HuggingFace 聯合創始人 Thomas Wolf 還發現，程式碼中的註釋也非常有啟發性。他說，「也許真正的歷史記錄是 AlexNet 程式碼中每個實驗配置檔案末尾的實驗記錄註釋。一個開創性的神經網路正在誕生……」

還有人說，「AlexNet 程式碼的釋出對於 AI 愛好者來說是一個寶庫，這是一個向深度學習先驅學習的絕佳機會」。

AlexNet，人工智慧歷史的轉折點

在人工智慧領域，AlexNet 可謂爆發的起點。就在本週的英偉達 GTC 大會上，黃仁勳介紹起 AI 的發展歷程，未來的一頭是智慧體、物理世界的 AI，過去的一頭就是 AlexNet。

AI、機器學習、深度學習的概念可以追溯到幾十年前，然而它們在過去的十幾年裡才真正流行起來，這可能的確要歸功於 AlexNet。

在 2012 年，來自多倫多大學的 Alex Krizhevsky、Ilya Sutskever、Geoffrey Hinton 等人提出了一個名為「AlexNet」的深度神經網路，贏得了 2012 年大規模視覺識別挑戰賽 ImageNet 的冠軍。

三位都是 AI 領域裡響噹噹的人物。Geoffrey Hinton 被譽為「深度學習之父」，後來獲得了 2018 年的圖靈獎、2024 年的諾貝爾物理學獎；Ilya Sutskever 是 OpenAI 的聯合創始人及前首席科學家，也是 AlphaGo 論文的眾多作者之一。冠名該模型的 Alex Krizhevsky 也是 CIFAR-10 和 CIFAR-100 資料集的建立者，不過他卻逐漸對研究失去了興趣，於 2017 年 9 月離開了谷歌。

在描述當年的 AlexNet 專案時，Geoffrey Hinton 總結道：「Ilya 認為我們應該做這件事，Alex 讓它成功了，而我獲得了諾貝爾獎。」

當年用於訓練 AlexNet 的家用計算機和 GPU。

在 ImageNet 競賽中，參賽者需要完成一個名叫「object region」的任務，即給定一張包含某目標的影像和一串目標類別（如飛機、瓶子、貓），每個團隊的實現都需要識別出影像中的目標屬於哪個類。

在當年的比賽中，AlexNet 的表現頗具顛覆性，團隊首次使用一種名為卷積神經網路（CNN）的深度學習架構，並充分利用了英偉達 GPU 的能力。由於表現過於驚豔，之後幾年的 ImageNet 挑戰賽冠軍都沿用了 CNN。

AlexNet 的論文被 2012 年的 NeurIPS 大會接收並發表，起初也受到了一些計算機視覺研究者的質疑，但出席會議的 Yann LeCun 宣佈這是人工智慧發展的轉折點。後來發生的事情我們也都知道了：在 AlexNet 之前，幾乎沒有一篇領先的計算機視覺論文使用神經網路。在它之後，幾乎所有論文都會使用神經網路。

這是計算機視覺史上的一個關鍵時刻，也激發了人們將深度學習應用於其他領域（如自然語言處理、機器人、推薦系統）的興趣。

開放原始碼，歷時五年

AlexNet 原始碼順利釋出的故事，還要從五年前說起。

2020 年，CHM 軟體歷史中心館長 Hansen Hsu 聯絡了 Alex Krizhevsky，希望獲得釋出授權。不過，Alex Krizhevsky 並沒有直接回應，而是將 Hansen Hsu 介紹給了當時還在谷歌工作的 Hinton。因為，在谷歌收購了 Hinton、Sutskever 和 Krizhevsky 創辦的公司 DNNresearch 之後，AlexNet 的智慧財產權就歸了谷歌。

之後，Hinton 在 CHM 和谷歌的團隊之間斡旋，推動整件事的程序。雙方花了五年的時間，協商釋出事宜，以及具體的釋出版本。

事實上，自 2012 年論文釋出後，AlexNet 的原始碼已經有了多個版本，GitHub 上也有不少名為「AlexNet」的程式碼庫，但其中許多並不是原始程式碼，而是根據那篇論文重新建立的。此前，Krizhevsky 開發的 AlexNet 前身 ——cuda-convnet 也曾作為開原始碼釋出，但它是在較小的 CIFAR-10 資料集上訓練的。

CHM 釋出的程式碼庫包含了 2012 年贏得 ImageNet 競賽時的原始 AlexNet 原始碼，還包括在 ImageNet 資料集上訓練的引數檔案。

感興趣的同學可以前去翻看。