黃仁勳:一切皆計算|ZTalk

Z Talk 是真格分享認知的欄目。
我們在這裡談論最新的行業觀察,先鋒的創業動態,也在這裡與真格老友相聚。我們相信持續的學習和進化,相信最深刻的認知來自實踐。
當地時間 3 月 18 日-21 日,英偉達召開 GTC 大會(GPU Technology Conference)。在這場被譽為 AI 行業風向標的技術釋出大會上,創始人黃仁勳做了一場長達兩小時的開幕演講,稱生成式 AI 是一次新的產業革命,併發布地表最強 GPU Blackwell B200 及 GB200 組合晶片。
黃仁勳如何帶領英偉達創造出增長神話?英偉達技術的最新進展如何?這些問題或許可以在他「一切皆計算」的思考方式中找到部分答案。
內容要點

摩爾定律是對晶片的限制,但不是對計算的限制。

生成式 AI 也能生成「動作」,人形機器人的發展指日可待。
狀態空間模型(State Space Model,SSMs)可能是下一個 Transformer。
英偉達正在開發新的 AI 超級計算機,有 3.5 萬個元件。
如何構建一個作業系統,使其可以協調上億個處理器的工作,仍是難題。
英偉達今天的業務已有 70%來自推理,30%是訓練。
英偉達總部到處都是三角形,三角形裡還有三角形,從 Logo 到建築。英偉達對三角形的推崇並不令人意外,因為三角形是影像渲染中除了點與線之外最基礎的圖元,而且,基於三角形可以渲染出千變萬化的圖形,這種形狀幫助英偉達賺得了第一桶金。

這家公司如今風頭正勁。科技公司渴望它的晶片,而它也早已不是那個只為 X 世代提供影片遊戲顯示卡、透過高效渲染大量三角形使影像栩栩如生的英偉達了。
這家公司的硬體如今把我們引到了一個新世界,在這個世界裡,人與計算機可以透過自然語言交談,有觀點認為,照這樣下去有朝一日計算機就會取代人類。
創辦這家公司的黃仁勳因此成為風雲人物。他今年 61 歲,喜歡穿皮夾克和黑色運動鞋,最討厭的日子是週一早上,因為他通常會在週日工作一整天,以至於在正式工作周感到疲憊。但是當需要上臺時,他又會即刻精力充沛地出現在舞臺上。
在一個醫療保健投資研討會上,「這不是我習慣的群體。生物學家和科學家是一個如此憤怒的群體,」黃仁勳對著麥克風說,引來一片笑聲。「我們使用『創造』『改進』和『加速』這樣的詞語,而你們使用『目標』和『抑制』。」他逐漸進入狀態,「如果你想在矽基材料上設計藥物、發現藥物,那麼你很有可能需要處理大量資料。如果你在人工智慧計算上遇到困難,隨時給我們發郵件」。
黃仁勳一直致力於使英偉達站在每一個重大科技趨勢的最前沿。2012 年,一小群研究人員釋出了一個具有突破性的影像識別系統 AlexNet,它使用 GPU 而不是 CPU 來驅動其程式,開創了深度學習的新時代。黃仁勳果斷引導公司全力以赴投入 AI。2017 年,Google 釋出了名為 transformer 的新型神經網路結構(這是 GPT 中字母 T 對應的詞),引發了當今生成式 AI 熱潮,科技公司急需 AI 晶片,而英偉達處於向大公司銷售 AI 專用 GPU 的絕佳時刻。
英偉達目前佔據 AI 晶片市場 70%以上的份額,其估值接近 2 萬億美元。2023 年第 4 季度收入為 220 億美元,同比增長 265%,其股票價格在過去一年上漲了 231%。黃仁勳要麼具有超常的商業頭腦,要麼極其幸運——又或者二者兼具,人人都想知道他是如何做到這一點的。
在最近一次與美國《連線》雜誌的對話中,他部分展露了他的思考方式,那就是把一切都視作「計算」,無論晶片架構、資料中心或者計算機的結構,再或者風頭正勁的生成式 AI,在他看來都是計算——生成式 AI 在他口中是一種生成式計算(generative computing)。
這種計算方式在黃仁勳看來是通用的,既可以用來計算下一個 token、下一個畫素、下一個程式碼,也可以計算下一個動作,從而為機器人的行動提供建議。
透過將一切視為計算,英偉達試圖不斷打破摩爾定律。黃仁勳稱,英偉達正在將整個資料中心打造成一個超級晶片,從而構建類似「AI 超級計算機」的東西,它有 3.5 萬個元件。因為將足夠多晶片以特定方式連線在一起,這種超級計算機被認為能夠重構計算。不過,黃仁勳也承認,如何構建作業系統,使其可以協調連線在一起後的上億個處理器之間的工作,仍是難題。
2 月 15 日,英偉達釋出 AI 超級計算機 Eos 的第二個版本,Eos 是希臘神話中的黎明女神。
為了更好理解黃仁勳對於晶片、AI 等技術趨勢和公司未來戰略的思考,我們編譯本文。以下是來自美國《連線》對黃仁勳的專訪:
01
下一個大事件是「AI 工廠」
黃仁勳:

你和我都是斯坦福的畢業生。

Q:是的,我是新聞學專業的,而你不是。
黃仁勳:我希望我是。
Q:為什麼?
黃仁勳:我非常敬佩一個人,無論是從領導者角度,還是從個人角度去看。他就是 Adobe 的 CEO Shantanu Narayen。他說他一直想成為一名記者,因為他愛講故事。
Q:這似乎是創辦企業的一個重要部分——能夠有效講述企業故事。
黃仁勳:是的,制定策略就是講故事,構建文化也是講故事。
Q:你多次表示,你不是透過簡報來推銷英偉達的理念的。
黃仁勳:對的,推銷理念真的與講故事息息相關。
Q:我想從另一位技術主管告訴我的事情開始。他指出英偉達創立比亞馬遜還要早一年,但在很多方面,英偉達比亞馬遜更有「day one(第一天)」的理念。你如何看待這種觀點?
黃仁勳:坦白說,這確實是一個好比喻。我每天早上醒來都像第一天一樣,因為我們總在做一些以前從未做過的事情。當然這個詞也有脆弱的一面,意思是我們很有可能會失敗。就在剛才,我在開一個會,討論我們正在做的對公司來說全新的事情,我們不知道該如何正確地去做。
Q:新事情是什麼?
黃仁勳:我們正在建立一個新型資料中心,我們稱呼它為「AI 工廠」。現在資料中心的建設方式是:許多人共享一個計算機叢集,並將檔案放在這個巨大的資料中心。AI 工廠的方式更像發電廠,這非常獨特。過去幾年我們一直在建設它,但現在必須將其轉化為產品。
「AI 工廠」指的是一種企業定製的資料中心(私有云),英偉達去年已與富士康合作。
Q:你們打算怎麼稱呼它?
黃仁勳:我們還沒有給它命名,但它會無所不在。雲服務提供商將建造它們,英偉達也會建造它們。每個生物技術公司、零售公司、物流公司都會擁有它。未來每家汽車公司都會擁有建造汽車的工廠——打個比方,用來組裝汽車產品的工廠就像是原子,做汽車 AI 研發的工廠就像是電子。事實上,你可以看到馬斯克正在這麼做。在思考「未來的工業公司會是什麼樣」這件事上,他遙遙領先於大多數人。
02
機器人行為模型可能明年就會出現
Q:你之前說過,你運行了一個扁平化的組織,有 30 到 40 名高管直接向你報告,因為你想融入資訊流。最近引起你興趣的事是什麼,讓你認為「我最終可能需要押注英偉達來投入這個領域」?
黃仁勳:資訊不需要像史前時代那樣,從組織的頂端流向底端,因為那時我們沒有電子郵件和簡訊這些東西。如今資訊可以流動得更快。所以樹狀的等級結構和自上而下的資訊傳遞不再必要。扁平網路讓我們適應變化的速度更快,這是我們所需要的,因為技術發展太快。
英偉達的技術發展過去遵循摩爾定律,計算效率每隔幾年翻一番。然而在過去 10 年中,我們的 AI 能力大約提高了 100 萬倍,這遠超過摩爾定律。如果你處在指數增長的世界中,你就不希望資訊在每層都傳播一次。
Q:今天的 Transformer 架構是什麼樣的?現在正在發生的、又會改變一切的事情是什麼?
黃仁勳:有幾件事。其中一件實際上還沒有名字,是我們在基礎的機器人技術領域所做的工作。如果你能生成文字,能生成影像,你也能生成動作嗎?答案可能是肯定的。如果你能生成動作,你就可以理解意圖,並生成一種廣義的運動方式。因此,人形機器人的發展指日可待。
狀態空間模型(State Space Model,SSMs)方面的工作能夠使你在計算量不再二次方增長的情況下學習極長的模式和序列,這可能就是下一個 Transformer 架構。
Q:它可以實現什麼?舉個現實生活中的例子?
黃仁勳:你可以與計算機持續很長時間的對話,而上下文永遠不會被遺忘。你甚至可以暫時改變話題,然後回到早期話題,那個上下文可以被保留。你可能能夠理解一個極長鏈的序列,比如人類基因組,僅僅透過檢視遺傳密碼,你就可以理解它的意義。
Q:我們距離這個目標還有多遠?
黃仁勳:從我們擁有 AlexNet 到超越人類的 AlexNet,只用了大約 5 年時間。基礎機器人平臺指日可待,我猜測明年就會有。從那時起再過 5 年後,你會看到一些驚人的事情。
Q:哪個行業最能從廣泛訓練的機器人行為模型中受益?
黃仁勳:重工業代表了世界上最大的行業。運輸、物流、將重物從一個地方移動到另一個地方、發現新藥——所有這些都需要對原子、分子和蛋白質的理解,這些是 AI 尚未影響到的大型行業。
03
摩爾定律已終結,但計算沒有
Q:你提到了摩爾定律,它現在不再相關了嗎?
黃仁勳:摩爾定律現在更多地成為一個系統問題,而不是晶片問題。它在很大程度上與多片晶片之間的互聯有關。大約 10 到 15 年前,我們開始解構計算機,以便可以使用多片晶片並將它們連線在一起。
Q:這就是你們在 2019 年收購以色列公司 Mellanox 的原因?當時英偉達表示,現代計算對資料中心的要求越來越高,而 Mellanox 的網路技術將使加速計算更加高效。
黃仁勳:沒錯,正是這樣。我們收購 Mellanox 是為了能夠利用我們晶片的擴充套件,將整個資料中心打造成一個超級晶片,這使得現代 AI 超級計算機成為可能。實際上我們認識到摩爾定律已經終結,如果想繼續擴充套件計算,我們必須在資料中心的規模上實現。我們審視了摩爾定律的表述方式,並認為「不要被它限制,摩爾定律並不是計算的限制。」我們必須拋棄摩爾定律,以便思考新的擴充套件方式。
Q:Mellanox 現在被視為英偉達一筆十分聰明的收購。近期,你還試圖收購 Arm,這是世界上最重要的晶片 IP 公司之一,但是遭遇了監管機構的阻撓。
黃仁勳:那本是筆好交易。
Q:我不確定美國政府是否同意,但是,我們暫且不談這個。當你現在考慮收購時,具體正在看哪些領域?
黃仁勳:大型系統的作業系統極其複雜,我們的 GPU 中包含了上千萬乃至上億個微型處理器,如何在一個計算棧內構建一個作業系統,來協調組織這麼多處理器的工作,這是一個複雜的問題。如果我們公司外有能解決這個問題的團隊,我們可以與他們合作,甚至可以做得更多。
Q:所以我聽你的意思是,英偉達對擁有一個作業系統,並將其打造成一個更完整的平臺至關重要。
黃仁勳:我們是一家平臺公司。
Q:作為一個平臺,你面臨的問題會越來越多。人們傾向於對平臺的輸出結果賦予更多責任。自動駕駛汽車的表現如何、醫療裝置的容錯率是多少、AI 系統是否存在偏見,你將如何應對這些問題?
黃仁勳:我們不是一個應用公司。這可能是思考問題的最簡單方式。我們會做盡可能少但是必要的事情來服務一個行業。所以就醫療保健而言,藥物發現不是我們的專長,計算才是。製造汽車不是我們的專長,但為汽車製造出色的 AI 計算機是。坦白說,一家公司很難在所有事情上都很出色,但我們可以在其中的 AI 計算部分做得非常出色。
Q:去年有報道說,你們的一些客戶等待你們的 AI 晶片,要等上幾個月。目前情況如何?
黃仁勳:我不認為我們今年能趕上供應。今年不行,明年可能也不行。
Q:目前的等待時間是多久?
黃仁勳:我不知道現在的提前期是多少。不過你知道,今年對我們來說也是新一代產品的開始。
Q:你是說 Blackwell,你們的新款 GPU?
黃仁勳:沒錯。一代新 GPU 即將面市,Blackwell 的效能指標驚人。
Q:這意味著客戶需要更少的 GPU 嗎?
黃仁勳:這就是我們的目標:極大降低訓練模型的成本,然後人們可以擴大他們想要訓練的模型規模。
Q:英偉達投資了許多 AI 創業公司,去年有報道說你投資了 30 多家,這些創業公司在你們硬體的等待隊伍中會獲得優先嗎?
黃仁勳:他們和所有人一樣,都會面臨供應緊張的問題,因為他們大多使用公共雲,所以不得不自行與公共雲服務提供商談判。不過,他們可以訪問我們的 AI 技術,這意味著他們可以使用我們的工程能力和最佳化 AI 模型的特殊技術,我們提高了他們的效率。如果你的計算吞吐量(指計算速度)提高了 5 倍,那本質上就相當於獲得了 5 塊額外的 GPU,這就是他們從我們這裡得到的。
Q:你認為自己在這方面是一個關鍵人物嗎?
黃仁勳:不。我們投資這些公司是因為他們在自己的領域做得非常出色。能投資他們是我們的榮幸,而不是反過來。他們都擁有世界上最明智的頭腦,不需要英偉達給他們做背書。
04
生成式計算的時代剛剛開始
Q:隨著機器學習越來越多地轉向推理而不是訓練,如果 AI 在計算上變得不再那麼密集,這會減少對英偉達 GPU 的需求嗎?
黃仁勳:我們喜歡推理。事實上,英偉達今天的業務可能有 70%是推理,30%是訓練(注:「訓練」指的是模型訓練階段,「推理」指的是訓練好模型後服務使用者的階段)。這為什麼是件好事呢,因為這時你會意識到 AI 終於被實際應用了。如果英偉達的業務有 90%是訓練和 10%是推理,你可以說 AI 仍處於研究階段。七八年前就是這種情況。但如今,每當你在雲端輸入提示時,它生成的東西——無論是影片、影像、2D、3D、文字還是圖表——背後很可能都有英偉達的 GPU 在支援。
Q:你認為對 AI 的晶片需求會減弱嗎?
黃仁勳:我認為我們正處於生成式 AI 革命的開端。如今,世界上大多數計算仍然基於檢索。檢索意味著你在手機上觸控某些內容,它會向雲端傳送訊號,檢索一段資訊。它可能會用幾個不同的東西組合一個響應,並使用 Java 在你的手機螢幕上呈現。未來,計算會更多地基於 RAG(檢索增強生成:允許一個大語言模型從模型知識之外獲取資料)。檢索的部分會更少,而個性化生成的部分將大大增加。
某個 GPU 會完成這種生成。所以我認為我們正處於檢索增強、生成式計算革命的開端,生成式 AI 將成為幾乎所有事物的重要組成部分。
Q:我最近與一位關注生成式 AI 的 CEO 對話。我問他英偉達未來的競爭對手可能是誰,他提到了 Google 的 TPU(Tensor Processing Unit:Google 設計的專用硬體加速器,用於機器學習和深度學習任務的高效張量計算)。還有人提到 AMD。我猜這對你來說不是非此即彼,但是你認為誰是你最大的競爭對手?是什麼讓你夜不能寐?
黃仁勳:他們都讓我擔憂。TPU 團隊非常出色,AWS Trainium 團隊和 AWS Inferentia 團隊也非常出色,真的很優秀。微軟也有一個正在進行的內部 ASIC 開發專案,叫作 Maia。中國的每個雲服務提供商都在自主研發晶片,然後還有很多初創公司在製造出色的晶片,以及一些現有的半導體公司。每個人都在製造晶片。
這不會讓我夜不能寐,因為我的工作已經讓我精疲力盡,以致沒有人能讓我夜不能寐。這是我唯一能控制的事情。
但是每天早上喚醒我的肯定是,我們必須繼續履行我們的諾言:我們是世界上唯一一家能讓大家合作建造資料中心規模的 AI 超級計算機、並提供完整技術棧的公司。
05
創業艱辛,人生重來依然會全力以赴
Q:我有一些想問你的個人問題。
黃仁勳:順便說一句,每當 Morris(張忠謀)或我認識很久的人讓我當採訪的主持人時,他們這樣做的原因是因為我不會只坐在那裡採訪,我會與嘉賓交談。你必須思考觀眾可能想聽到的東西。
Q:所以我向 ChatGPT 提了一個關於你的問題。我想知道你是否有文身,因為我打算在我們下次見面時為你紋一個文身。
黃仁勳:如果你文身,我也會紋。
Q:我已經有一個了,但我一直想擴大文身。
黃仁勳:我也有一個。
Q:是的。這就是我從 ChatGPT 那裡瞭解到的。它說當股票價格達到 100 美元時,黃仁勳紋上了公司的標誌。接著它說:「然而,黃仁勳表示他不太可能再紋其他文身,並指出疼痛比他預想的更加劇烈。」 它說你哭了。你有哭嗎?
黃仁勳:有一點。我的建議是在文身前喝一杯威士忌,或者吃布洛芬。我也認為女效能忍受更多疼痛,因為我女兒有一個相當大的文身。
Q:所以如果你願意文身,我在考慮可能選擇一個三角形,誰不喜歡三角形呢?它們是完美的幾何形狀。
黃仁勳:或者是英偉達大樓的輪廓!它由三角形構成。
Q:這可是個承諾。我想知道,你個人有多頻繁地使用 ChatGPT、Bard 或類似工具?
黃仁勳:我一直在使用 Perplexity,我也很喜歡 ChatGPT。我幾乎每天都在使用這兩個工具。
Q:用來做什麼?
黃仁勳:做研究。例如,計算機輔助的藥物發現。你可能想了解計算機輔助藥物發現的最新進展。因此,你需要構建整體主題的框架,基於該框架,你可以問更多更具體的問題。我真的很喜歡這些,大語言模型可以做到這一點。
Q:我聽說你以前舉重。你現在還這麼做嗎?
黃仁勳:不了。我會試著每天做 40 個俯臥撐。這不會花費幾分鐘的時間。我是個懶惰的健身愛好者,我會在刷牙的時候做深蹲。
Q:最近你在播客節目 Acquired podcast 上發表了一番評論,引發了網路上的熱議。主持人問,如果你今天 30 歲並考慮創業,你會創辦什麼公司?你說你根本就不會創業。你對此有什麼補充嗎?
黃仁勳:這個問題可以用兩種方式回答,我選擇的方式是:如果我當時知道現在我知道的所有事情,我會感到太過吃力而不去做。我會太害怕。我不會去做的。
Q:創業必須有點痴人說夢的氣質。
黃仁勳:這就是無知的優勢。你不知道會有多難,也不知道會有多少痛苦和艱辛。如今當我見到創業者,他們告訴我創業會有多容易時,我非常支援他們,實際上,我不會試圖破壞他們的美好憧憬。但在心底裡,我會想:「哦,夥計,結果不會像想象的那麼簡單。」
Q:你認為在經營英偉達的過程中,不得不做出的最大犧牲是什麼?
黃仁勳:與其他創業者一樣的犧牲。你會工作得非常非常努力。而且很長一段時間裡,沒有人認為你會成功。只有你自己相信你能成功。那種不安全感,脆弱性,有時還有屈辱,都是真實的。沒有人談起這些,但它們都是真實的。CEO 和創業者也和其他人一樣會有情緒。當他們在公眾面前失敗時,這令人難堪。
所以當有人說,「黃仁勳,有了現在擁有的一切,當初你難道還不願意創立英偉達嗎?」 如果知道創業階段的種種艱辛,我就說:「不,不,當然不會。」但如果我當時知道英偉達會成長為現在的樣子,我會不惜一切代價去創業的。
推薦閱讀

相關文章