整理 | 褚杏娟、核子可樂
據報道，在 AI 領域與英偉達正面競爭的高效能計算機晶片初創公司 Cerebras Systems 已經向美國證券監管機構提交了保密檔案，準備在納斯達克證交所開啟自己的首輪公開募股（IPO）。
訊息最先由 The Information 網站傳出，其中援引一位參與決策的匿名人士的發言，稱 IPO 預計將在今年晚些時候進行。
Cerebras Systems 是一家專業且頗具能力的計算機晶片生產商，成立於 2016 年，主要面向 AI 及高效能計算（HPC）類工作負載。過去一年以來，該公司曾多次登上頭條新聞，聲稱其晶片不僅比英偉達的圖形處理單元更強大，而且成本效益也更加出色。今年 4 月，Cerebras Systems 以 285 億人民幣的企業估值入選《2024·胡潤全球獨角獸榜》。
憑什麼跟英偉達掰手腕？
英偉達已經成長為當今世界市值最高的公司，甚至一度沒有“之一”，而其背後的驅動力主要是生成式 AI 熱潮，而這股浪潮絲毫沒有放緩的跡象。隨著世界各地企業爭相將強大的 AI 工具整合進自己的系統和應用程式當中，他們開始瘋狂採購 GPU，並在過去一年間將英偉達的資料中心業務收入推高超 400%。
儘管有能力站在英偉達對面與其競爭的對手不多，但 Cerebras 正是其中之一。他們的旗艦產品、全新 WSE-3 處理器釋出於今年 3 月，底子則是 2021 年首次亮相的前代 WSE-2 晶片組。
Cerebras 的 WSE-3 晶片被認為是英偉達強大 GPU 產品的替代。
WSE-3 採用 5 納米制程工藝，在電晶體數量上達到了驚人的 4 萬億，比其前代晶片多出 1.4 萬億個電晶體，擁有超過 90 萬個計算核心和 44 GB 的片載靜態隨機存取儲存器。外部使用者可以靈活選擇 1.5TB、12TB、甚至高達 1200TB 的記憶體容量。
根據這家初創公司的介紹，WSE-3 的核心數量達到單張英偉達 H100 GPU 的 52 倍。這款晶片將作為資料中心裝置 CS-3 的核心器件，而 CS-3 的尺寸與小型冰箱差不多。WSE-3 晶片則跟批薩餅大小相當，還配有整合的冷卻與電源傳輸模組。
儘管在核心數量和快取容量的增幅上並不突出，但 WSE-3 的效能表現卻實現了質的飛躍。Cerebras WSE-3 據稱峰值浮點運算速率可達 125 PFLOPS（PetaFLOPS，千萬億次每秒），即一天內就能夠完成 Llama 700 億引數的訓練任務。Cerebras 表示，這樣的規格足以讓 WSE-3 與英偉達旗下最頂尖的 GPU 相匹敵。該公司解釋稱，其晶片效能卓越，能夠以更快的速度、更低的功耗高效處理 AI 工作負載。
該款晶片預計將於今年晚些時候上市。
大模型訓練：CS-3 VS B200
Cerebras CS-3 和 B200 對比
訓練大型 AI 模型時，效能的首要決定因素是浮點效能。憑藉 90 萬個專用 AI 核心，Cerebras CS-3 採用行業標準 FP16 精度，實現了 125 PFLOPS 。而單個 Nvidia B200 GPU 是 4.4 PFLOPS，8 個 GPU 的 DGX B200 是 36 PFLOPS。
”在原始效能方面，單個 CS-3 相當於 3.5 個 DGX B200 伺服器，但是佔用的空間更小，功耗只有原來的一半，程式設計模型也非常簡單。”
人工智慧開發經常遇到記憶體限制的問題，OOM（記憶體不足）經常導致訓練失敗。萬億引數規模的模型只會加劇這個問題——需要 TB 級記憶體、數百個 GPU 和複雜的模型程式碼來管理記憶體和編排訓練。
為此，Cerebras 硬體沒有采用 GPU 最強“輔助”HBM（High Bandwidth Memory）方式，而是採用了獨特的分解記憶體架構，並設計了名為 MemoryX 的專用外部儲存裝置來儲存權重。MemoryX 使用快閃記憶體和 DRAM 以及自定義軟體堆疊，以最小的延遲管道載入 / 儲存請求。
“我們 1200TB 超大規模 SKU 專為 GPT-5 及更高版本而設計，可訓練 24 萬億引數的大模型。它的記憶體容量比 B200 GPU 多 6,000 倍，比 DGX B200 多 700 倍，比全機架 NVL72 多 80 倍。”該公司提到。
另外，CS-3 的分解式記憶體架構可以將數 PB 的記憶體連線到單個加速器，使其在處理大型模型時具有極高的硬體效率。
高互連效能對於多晶片的高利用率至關重要。DGX B200 等 GPU 伺服器是透過 NVLink 實現。NVLink 是一種專有互連，可在伺服器內部的 8 個 GPU 之間提供專用連結。CS-3 互連繫統則採用完全不同的技術構建：在晶圓上佈線將數十萬個核心連線在一起，以最低的功耗提供最高效能。
“CS-3 為 90 萬個核心提供每秒 27 PB 的總頻寬，這比 1800 臺 DGX B200 伺服器的頻寬還要高。”該公司表示。
另外在上個月，Cerebras 還與桑迪亞國家實驗室、勞倫斯利弗莫爾國家實驗室以及洛斯阿拉莫斯國家實驗室的研究人員合作，在毫秒級速度下展示了上代 WSE-2 硬體進行原子級材料模擬時的效能表現。在相關研究論文中，該公司提到 WSE-2 的效能水平驚人，模擬速度可達到配備 3.9 萬張英偉達 GPU 的便於最強超級計算機 Frontier 的 179 倍。
該公司產品與戰略高階副總裁 And Hock 在上個月接受採訪時指出，“簡單堆疊任何數量的 GPU 都不可能獲得這樣的結果。我們正在根本上為分子動力學研究解鎖新的時間尺度。”
創始人：
公司被 AMD 收購後再創業
Cerebras 是一支由先驅計算機架構師、計算機科學家、深度學習研究人員以及熱愛無畏工程的各類工程師組成的團隊，目前已在加拿大和日本分別設立了辦事處。
提到這家公司的創始團隊，不得不提 2012 年被 AMD 以 3.34 億美元收購的微型伺服器公司 SeaMicro。
這次收購在當年也引發了很大關注，被評“對低功耗伺服器領域來說具有顛覆性意義”，因為 SeaMicro 一直在其下一代伺服器中使用英特爾晶片，SeaMicro 的網路結構允許數百個低功耗處理器協同工作。SeaMicro 架構與處理器無關，這意味著它可以快速適應 AMD 的技術。
而 SeaMicro 創始人 Andrew Feldman 也是如今 Cerebras 的聯合創始人兼 CEO。
Andrew 擁有斯坦福大學的學士學位和工商管理碩士學位。在 2007 年創立 SeaMicro 之前，Andrew 是 Force10 Networks 的產品管理、營銷和業務拓展副總裁，該公司後來以 8 億美元的價格出售給戴爾。在加入 Force10 Networks 之前，Andrew 曾擔任 RiverStone Networks 的營銷和企業發展副總裁。
值得注意的是，Andrew 認為印度是Cerebras的優先事項，理由是該國擁有巨大的工程人才、頂尖大學和不斷發展的人工智慧生態系統。
該公司的 CTO Gary Lauterbach 也是 SeaMicro 的聯合創始人，後來也同樣加入了 AMD。 Gary 是計算機架構大牛，曾擔任 Sun SPARC Ⅲ和 UltraSPARC Ⅳ微處理器的首席架構師。在 Sun 實驗室，他是 DARPA HPCS Petascale 計算專案的首席架構師，他本人擁有 50 多項專利。SeaMicro 微伺服器領域的領先技術也離不開 Gary。在 SeaMicro 工作期間，Gary 還是美國能源部 930 萬美元節能計算撥款的首席研究員。
Andrew 和 Gary 兩人共事已超過 12 年。
另一位技術負責人 Sean Lie 也曾在 SeaMicro 公司擔任 IO 虛擬化結構 ASIC 的首席硬體架構師。
Sean 擁有麻省理工學院電子工程和計算機科學學士學位和碩士學位，並在計算機體系結構方面擁有 16 項專利。在 SeaMicro 被 AMD 收購後，Sean 成為 AMD 研究員和首席資料中心架構師。早期職業生涯中，他在 AMD 的高階架構團隊工作了五年。
Cerebras 還聘請了有超過 24 年執行領導經驗的 Vinay Srinivas 擔任軟體工程高階副總裁，
Vinay 擁有印度理工學院孟買分校的學士學位以及佛羅里達大學的碩士學位和博士學位。他曾在 Synopsys（一家美國電子設計自動化公司） 工作了 12 年，離職前擔任模擬產品線的工程副總裁。早前，Vinay 還曾分別在 Archpro Design Automation 、Sequence Design 擔任研發副總裁。
營運長 Dhiraj Mallick 之前也曾擔任 SeaMicro 的工程副總裁，公司被收購後他繼續在 AMD 擔任公司副總裁和伺服器解決方案部門總經理。他擁有超過 20 年的領導經驗，在加入 Cerebras 前是英特爾價值 200 億美元的資料中心業務的首席技術官和架構副總裁。
同時，Dhiraj 還擔任了幾家風險投資公司顧問，並擁有斯坦福大學的電氣工程碩士學位。
Cerebras Systems 的產品管理副總裁 Andy Hock 此前是高解析度衛星製造商 Skybox Imaging 的高階技術總監，該公司後來被谷歌以 5 億美元收購。收購後，他繼續在谷歌擔任產品經理。Andy 擁有加州大學洛杉磯分校地球物理和空間物理學博士學位，在加入 Skybox 之前是 Arete Associates 的高階專案經理、業務開發主管和高階科學家。
被資本看好
考慮到英偉達這位競爭對手在過去一年間取得的令人矚目的收益，Cerebras 作為少數能夠與之競爭的晶片製造商之一，自然有理由受到投資者們的熱烈追捧。
Constellation Rsearch 公司的 Holger Mueller 表示，如果 Cerebras 真像其宣稱的那樣具有競爭力，完全有可能在華爾街金融市場上引發轟動。
Mueller 解釋道，“英偉達前陣子剛剛成為全球市值最高的上市公司。面對這潑天的富貴，競爭態勢也開始快速加劇，包括不少來自傳統晶片行業以外的競爭對手。Cerebras 確實有可能成為英偉達的潛在競爭對手，他們在晶片的製造和銷售方面採取了差異化的發展路線，而且似乎有望吸引到足量資金以投入到這場耗資甚巨的 AI 軍備競賽當中。”
截至目前，該公司已累計融資 7.2 億美元，估值約為 42 億 -50 億美元。
在其官網的投資者一欄中，還可以看到 OpenAI 的身影，比如 Sam Altman、Greg Brockman、Ilya Sutskever 等，其中 Altman 曾參與 Cerebras 的 8000 萬美元 D 輪融資，Cerebras 在官網將其列在投資人的第一位。
在 The Information 的報道中，訊息人士透露稱為了進一步吸引投資者，Cerebras 已經通知公司註冊地特拉華州的監管機構，他們計劃為即將到來的 F1 輪融資提供優先股。與上一輪融資相比，其股票發行價將有“大幅折扣”，希望藉此增強上市發行的吸引力。
儘管 Cerebras 本身對其 IPO 計劃諱莫如深，但彭博社此前報道稱，該公司已經選擇花旗集團作為其上市領投銀行。在與多家 IPO 諮詢機構進行多次討論後，Cerebras 最終選擇了這家銀行。報道還提到，該公司的目標是最早在 2024 年下半年上市，且預期市值至少應高於其 2021 年最新一輪 2.5 億美元 F 輪融資時對應的 40 億美元估值。
訊息人士還在 The Information 報道中指出，Cerebras IPO 的具體細節尚未確定，可能會根據投資者們的實際反應做出調整。
參考連結：
https://siliconangle.com/2024/06/20/ai-chipmaker-cerebras-systems-competitor-nvidia-reportedly-files-ipo/
https://www.cerebras.net/blog/cerebras-cs-3-vs-nvidia-b200-2024-ai-accelerators-compared
https://www.theinformation.com/articles/cerebras-an-nvidia-challenger-files-for-ipo-confidentially?offer=rtsu-engagement-24&utm_campaign=RTSU+-+Cerebras+IPO&utm_content=4480&utm_medium=email&utm_source=cio&utm_term=3006
活動推薦
InfoQ 將於 8 月 18 日至 19 日在上海舉辦 AICon 全球人工智慧開發與應用大會，匯聚頂尖企業專家，深入端側 AI、大模型訓練、安全實踐、RAG 應用、多模態創新等前沿話題。現在大會已開始正式報名，6 月 30 日前可以享受 8 折優惠，單張門票節省 960 元（原價 4800 元），詳情可聯絡票務經理 13269078023 諮詢。
關鍵詞
模型
晶片
英偉達
公司
系統