AlexNet 於 2012 年首次釋出，引發了人工智慧和計算機視覺領域的一場革命。

傑弗裡·辛頓（Geoffrey Hinton）[上圖] 和他的研究生亞歷克斯·克里熱夫斯基（Alex Krizhevsky）和伊利亞·蘇茨克弗（Ilya Sutskever）於 2012 年釋出了具有開創性的 AlexNet，一種用於影像識別的神經網路。

計算機歷史博物館與Google合作，釋出了AlexNet 的原始碼。AlexNet 是一個神經網路，於 2012 年開啟了當今流行的 AI 方法。該原始碼可在CHM 的 GitHub 頁面上以開源形式獲取。

AlexNet 是一個人工神經網路，用於識別照片內容。它由當時的多倫多大學研究生Alex Krizhevsky和Ilya Sutskever以及他們的導師Geoffrey Hinton於 2012 年開發。

辛頓被認為是深度學習 之父之一，深度學習是一種使用神經網路的人工智慧，也是當今主流人工智慧的基礎。20 世紀 50 年代末，康奈爾大學研究員弗蘭克·羅森布拉特首次構建了簡單的三層神經網路，其中只有一層自適應權重，但後來發現它們存在侷限性。[此直譯器詳細介紹了神經網路的工作原理。] 特別是，研究人員需要具有多層自適應權重的網路，但沒有很好的方法來訓練它們。到 20 世紀 70 年代初，神經網路已被人工智慧研究人員廣泛拒絕。

弗蘭克·羅森布拉特（左，與查爾斯·懷特曼合影）於 1957 年開發了第一個人工神經網路，即感知器。

20 世紀 80 年代，加州大學聖地亞哥分校的認知科學家在人工智慧社群之外以“聯結主義”為新名稱復興了神經網路研究。1978 年，Hinton 在愛丁堡大學獲得博士學位後，成為加州大學聖地亞哥分校的博士後研究員，在那裡他與David Rumelhart和Ronald Williams合作。三人重新發現了用於訓練神經網路的反向傳播演算法，並於 1986 年發表了兩篇論文，證明該演算法可以使神經網路學習多層特徵，以完成語言和視覺任務。反向傳播是當今深度學習的基礎，它使用網路當前輸出和期望輸出之間的差異來調整每一層的權重，從輸出層向後調整到輸入層。

1987 年，Hinton 加入多倫多大學。遠離傳統人工智慧中心，Hinton 及其研究生的工作使多倫多成為未來幾十年深度學習研究中心。Hinton 的一位博士後學生是Yann LeCun ，他現在是Meta的首席科學家。在多倫多工作期間，LeCun 展示了當反向傳播用於“卷積”神經網路時，它們在識別手寫數字方面變得非常出色。

儘管取得了這些進步，但神經網路無法始終優於其他型別的機器學習 演算法。它們需要人工智慧之外的兩項發展來鋪平道路。第一是大量訓練資料的出現，這些資料可透過網路獲得。第二是足夠的計算能力來執行這種訓練，即 3D圖形晶片（稱為 GPU）。到 2012 年，AlexNet 的時機已經成熟。

李飛飛的 ImageNet 影像資料集於 2009 年完成，是訓練 AlexNet 的關鍵。圖中，李飛飛 [右] 在計算機歷史博物館與 Tom Kalil 交談。

訓練 AlexNet 所需的資料來自ImageNet，該專案由斯坦福大學教授李飛飛發起並領導。從 2006 年開始，李飛飛一反傳統觀點，設想了一個涵蓋英語中所有名詞的影像資料集。她和她的研究生開始收集在網際網路上找到的影像，並使用WordNet提供的分類法對它們進行分類，WordNet 是一個單詞及其相互關係的資料庫。鑑於任務的艱鉅性，李飛飛和她的合作者最終使用亞馬遜的 Mechanical Turk 平臺將標記影像的任務眾包給了零工。

ImageNet 於 2009 年完成，比之前的任何影像資料集都大幾個數量級。李飛飛希望它的出現能帶來新的突破，並於 2010 年發起了一場競賽，鼓勵研究團隊改進他們的影像識別演算法。但在接下來的兩年裡，最好的系統只取得了微小的進步。

神經網路成功的第二個必要條件是經濟地獲取大量計算。神經網路訓練涉及大量重複的矩陣乘法，最好是並行完成，而 GPU 就是為此而設計的。由執行長黃仁勳 (Jensen Huang )共同創立的NVIDIA在 21 世紀率先使 GPU 更具通用性和可程式設計性，可用於 3D 圖形以外的應用，尤其是在 2007 年釋出的CUDA 程式設計系統。

ImageNet 和CUDA就像神經網路一樣，都是相當小眾的開發成果，它們正在等待合適的環境來大放異彩。2012 年，AlexNet 首次將這些元素（深度神經網路、大資料集和 GPU）結合在一起，並取得了開創性的成果。這三個元素相互依存。

到 2000 年代後期，Hinton 在多倫多大學的研究生開始使用 GPU 來訓練神經網路，用於影像和語音識別。他們的第一個成功來自語音識別，但在影像識別方面的成功表明深度學習可能是 AI 的通用解決方案。一名學生 Ilya Sutskever 認為，神經網路的效能將隨著可用資料量的增加而擴充套件，而 ImageNet 的出現提供了這個機會。

2011 年，Sutskever 說服了研究生同學 Alex Krizhevsky（Alex Krizhevsky 對充分發揮 GPU 的效能有著敏銳的能力）為 ImageNet 訓練卷積神經網路，Hinton 則擔任首席研究員。

AlexNet 使用NVIDIA GPU 執行在 ImageNet 資料集上訓練的 CUDA 程式碼。NVIDIA 執行長黃仁勳因其對計算機圖形晶片和 AI 的貢獻而被評為 2024 年 CHM 研究員。

Krizhevsky 已經使用 NVIDIA GPU 編寫了卷積神經網路的 CUDA 程式碼，稱為cuda-convnet ，在小得多的CIFAR-10 影像資料集上進行訓練。他擴充套件了 cuda-convnet，使其支援多個 GPU 和其他功能，並在 ImageNet 上對其進行了重新訓練。訓練是在 Krizhevsky 父母家中臥室的一臺裝有兩張 NVIDIA 卡的計算機上進行的。在接下來的一年裡，他不斷調整網路的引數並重新訓練，直到它的效能優於競爭對手。該網路最終以 Krizhevsky 的名字命名為 AlexNet。Geoff Hinton這樣總結 AlexNet 專案：“Ilya 認為我們應該做這件事，Alex 讓它成功了，我獲得了諾貝爾獎。”

Krizhevsky、Sutskever 和 Hinton 撰寫了一篇關於 AlexNet 的論文，該論文於 2012 年秋季發表，並於 10 月由 Krizhevsky 在義大利佛羅倫薩舉行的計算機視覺會議上進行了展示。資深計算機視覺研究人員並不相信，但參加會議的 LeCun 宣佈這是人工智慧的轉折點。他是對的。在 AlexNet 之前，幾乎沒有一篇領先的計算機視覺論文使用神經網路。在它之後，幾乎所有論文都會使用神經網路。

AlexNet 只是一個開始。在接下來的十年裡，神經網路將不斷進步，可以合成可信的人類聲音、擊敗圍棋冠軍選手並生成藝術作品，最終由Sutskever 共同創辦的公司 OpenAI於 2022 年 11 月釋出了ChatGPT 。

2020 年，我聯絡了 Krizhevsky，詢問是否可以允許 CHM 釋出 AlexNet 原始碼，因為它具有歷史意義。他把我介紹給了當時在谷歌工作的 Hinton。谷歌收購了 Hinton、Sutskever 和 Krizhevsky 共同擁有的公司 DNNresearch，從而擁有了 AlexNet。Hinton 透過將 CHM 與谷歌的合適團隊聯絡起來，推動了事情的發展。CHM 與谷歌團隊合作了五年，就釋出事宜進行了談判。該團隊還幫助我們確定了要釋出的 AlexNet 原始碼的具體版本——多年來，AlexNet 有過許多版本。GitHub 上還有其他名為 AlexNet 的程式碼儲存庫，但其中許多都是基於著名論文而不是原始程式碼的重新創作。

CHM 很榮幸能夠展示 2012 年版 AlexNet 的原始碼，該版本徹底改變了人工智慧領域。您可以在CHM 的 GitHub 頁面上訪問原始碼。

▲點選上方名片即可關注

▲點選上方名片即可關注