伊隆·馬斯克和三位 xAI 高階員工介紹了他的 AI 聊天機器人Grok 3的最新版本，該公司稱其為“地球上最聰明的 AI”。在 X（以前的 Twitter）上的一個直播影片中，馬斯克強調了 Grok 3 是如何迅速超越其前身的：

“我們非常高興能夠推出 Grok 3，它在很短的時間內比 Grok 2 強大了一個數量級，”馬斯克說。“我們的團隊在過去幾個月裡一直在努力改進 Grok，以便讓所有人都能使用它。”

馬斯克與 xAI 首席工程師伊戈爾·巴布施金以及聯合創始人吳宇懷（託尼） (前谷歌和斯坦福大學研究科學家) 和吉米·巴 (多倫多大學助理教授) 一起吹捧 Grok 3 的解決問題能力，稱它可以解決“複雜的物理、高等數學和編碼任務，而這些任務通常需要人們花費數小時才能完成”。他補充說，該模型“每天都在不斷改進”，馬斯克將此歸功於 xAI 新的超大型資料中心。

獨立基準測試顯示，Grok 3 在 AIME、GPQA 和 LCB 等測試中的表現優於 Google Gemini 2 Pro、DeepSeek V3、Claude 3.5 Sonnet 和 GPT-4。

與 OpenAI 的o3 mini和DeepSeek R1一樣，Grok-3 具有高階推理能力。xAI 代表表示，透過採用最佳的預訓練模型，並繼續使用強化學習進行訓練，該模型將開發出額外的推理能力，從而顯著提高訓練和測試效能。

推理模型可透過 Grok 應用程式獲得，使用者可以提示 Grok 3“思考”，或者對於更復雜的查詢，啟用“大腦”模式，該模式利用額外的計算能力進行更深入的推理。據 xAI 稱，這些模型對於解決數學、科學和程式設計問題特別有效。

該模型擊敗了 OpenAI o3 mini (high)、DeepSeek-R1 和 Google Gemini 2 Flash Thinking 模型。不過，一些業內人士認為，這並不是什麼突破。

HubSpot 創始人兼首席技術官 Dharmesh Shah指出，它更像是 DeepSeek，但計算能力更強。他表示，他期待著試用該 API，該 API 將在接下來的幾周內推出。

與此同時，前 OpenAI 研究員、Eureka Labs 創始人 Andrej Karpathy 曾提前接觸過 Grok 3，他對其進行了測試並分享了自己的見解。據他介紹，該模型的功能與 OpenAI 最強大的模型（o1-pro，每月 200 美元）的先進水平相當，略優於 DeepSeek-R1 和 Gemini 2.0 Flash Thinking。

他進一步補充說，考慮到該團隊大約一年前才從零開始，這是一個相當不可思議的壯舉。“達到最先進水平的時間表是前所未有的，”Karpathy 在X 上的 一篇文章中說道。

諮詢公司 Semianalysis報告稱，DeepSeek 可以使用大約 50,000 個 NVIDIA GPU，包括 10,000 個 H800 GPU、10,000 個 H100 GPU 和大量 H20 GPU。如果 DeepSeek 可以擴充套件到 200,000 個 GPU，那麼看看它們能取得什麼成就將會很有趣。

能獲得這樣的成績，Elon Musk打造的200K GPU超算叢集功不可沒。

xAI 增加了計算能力，以提高 Grok 3 的效能。該模型分兩個階段開發：最初在 100,000 個 GPU 上進行了 122 天的同步訓練，隨後在 92 天內擴充套件到 200,000 個 GPU。

xAI 聯合創始人 Igor Babuschkin 表示：“我們花了 122 天的時間才讓第一批 100K GPU 投入執行，這是一項艱鉅的任務。我們認為這是同類中最大的全連線 H100 叢集。但我們並沒有止步於此。我們決定將叢集規模增加一倍，達到200K  。”

Colossus 與其他超級計算機的不同之處不僅在於其底層計算能力，還在於其量身定製的人工智慧基礎設施。

從一開始，xAI 就在田納西州孟菲斯市一家改建的伊萊克斯工廠內建立了自己的資料中心，綽號為“Colossus”。該團隊利用臨時發電機、Tesla MegaPacks 來緩衝電湧，以及為 100,000 到 200,000 個 GPU 設計的新型液冷裝置，迅速增加了電力容量。在此過程中，他們遇到了頻繁的除錯需求，例如 BIOS 韌體不匹配、電纜問題以及宇宙射線偶爾導致的電晶體翻轉，但他們還是以創紀錄的速度將設施投入使用。

該系統旨在滿足人工智慧訓練的特殊需求——處理大量資料並執行必須並行化的高度先進的演算法。

據廣泛報道，戴爾科技和超微都與 xAI 合作打造了這臺超級計算機。

Nvidia 的 H100 和 H200 GPU 的組合將使 Colossus 在速度和效率方面具有明顯優勢。這些 GPU 還具有專用的張量核心，有助於加速深度學習演算法。

此外，這些 GPU 的記憶體頻寬足夠強大，可以有效處理訓練最新 AI 模型所需的大資料集。

Colossus 的主要組成部分是 Supermicro 4U 通用 GPU 液冷系統。

每臺4U伺服器配備八塊NVIDIA H100 Tensor Core GPU，為AI訓練任務提供強大的算力。

伺服器被組織到機架中，每個機架包含八臺 4U 伺服器，每個機架總共有 64 個 GPU。

每個 4U 伺服器之間都有一個用於液體冷卻的歧管，佔用 1U 的機架空間，每個機架的底座包含一個 4U CDU 泵送系統，提供冗餘冷卻和管理單元。

這些伺服器使用 NVIDIA 的 Spectrum-X 乙太網網路平臺進行互連，實現了 AI 訓練所必需的高頻寬、低延遲通訊。

每臺伺服器都配備了多個 400GbE 連線，執行在 800 GBE 電纜上，而不是Nvidia 也支援的用於大規模部署的Infiniband 選項。

在當前架構中，叢集中的每個 GPU 都配備一個專用的 400 GB 網路介面卡，另外還有一個專用於伺服器的 400 GBE NIC，每個伺服器的潛在總頻寬為 3.6 TB。

每個陣列有 512 個 GPU（8 個機架，每個機架 64 個 GPU），總共有近 200 個陣列。

10 月份，NVIDIA 負責人黃仁勳宣佈，最初的 100,000 個 GPU 超級計算機僅用 19 天就搭建完成，而他所說的普通資料中心的正常建設過程則需要四年時間。

Colossus 還採用了所謂的“尖端冷卻系統”，確保 GPU 以最穩定、最佳的溫度執行，以實現穩定性和效能。

這尤其重要，因為如此大量的快速 GPU 會產生大量熱量。

對於這種型別的機架密度，最佳冷卻是絕對關鍵的，並且使 Blackwell 伺服器基礎設施因過熱而導致的潛在延遲變得更容易理解。

由於像 Colossus 這樣的客戶正等待著立即大量推出下一代設計，因此冷卻系統必須從一開始就正常工作。

正如之前報道的那樣，許多供應商正在與 Nvidia 合作，專門為 Nvidia GPU 伺服器開發冷卻系統。

過去幾年，建立最有效的人工智慧系統的競爭愈演愈烈，谷歌、微軟和 OpenAI 大力投資超級計算機和人工智慧研究。

透過對 Colossus 的投資，xAI 具有潛在的競爭優勢，使其能夠快速訓練其 AI 模型，並可能比競爭對手更快地取得突破。

大規模模型訓練不僅可以縮短構建新 AI 技術所需的時間，還可以幫助 xAI 深入研究由於計算限制而無法實現的全新 AI 研究領域。

透過籌集資金來擴大 Colossus 的規模，xAI 為未來做好了準備。新增的 100,000 個 GPU 將使系統的物理容量幾乎翻倍，這將使 xAI 能夠應對更大的挑戰。

與此同時，Nvidia 聲稱 GB200 GPU 的效能比現有的 H100 部件更高，這不僅僅意味著效能在數學上有所提升。這可能會對 AI 社群產生深遠影響，xAI 的發展為重新定義 AI 技術的應用提供了機會。

Colossus 並非一帆風順的專案。冷卻和為 200,000 個 GPU 供電的成本非常高，尤其是在可持續性成為首要關注點的時代。

此外，馬斯克還表示，他預計 Colossus 擴張所需的資金將依賴於主權財富基金，尤其是來自中東的基金。

該計劃受到了一些方面的批評，有人認為，外國擁有新的人工智慧技術可能會產生地緣政治影響，特別是如果它在研究角色之外被用於實際用途的話。

據The Information報道，馬斯克計劃建立一個新的資料中心，以進一步提升 xAI 的 GPU 叢集。據彭博社報道，馬斯克與戴爾科技達成的一項交易價值可能超過 50 億美元，將提供包含 Nvidia Blackwell GB200 GPU 的 AI 最佳化伺服器。預計今年交付，以 xAI 的孟菲斯超級計算機專案為基礎，該專案已經採用了戴爾和超微伺服器的組合。

在同一討論中，馬斯克透露，xAI 的下一個資料中心的耗電量預計將增加大約五倍，從 0.25 千兆瓦增加到約 1.2 千兆瓦。該計劃包括未來的 Nvidia Blackwell GB200（或可能是 GB300）GPU，表明 xAI 打算繼續將其大規模計算基礎設施擴充套件到目前的規模之外。

埃隆·馬斯克也不滿足於僅有 200,000 個 GPU，他還計劃擴充套件其 位於田納西州孟菲斯的Colossus 超級計算機，有朝一日能夠容納至少 100 萬個 GPU。

這一訊息是在大孟菲斯商會主辦的午餐會上宣佈的，該商會協助建設了 xAI 設施。

“該公司正在為孟菲斯成為全球人工智慧中心奠定基礎，”該商會表示。“擴建工程已在進行中，將至少包含一百萬個圖形處理單元 (GPU)，這是該地區歷史上最大的資本投資。”

商會沒有提供時間表，但 xAI 可能會從 Nvidia 購買 GPU，後者今年夏天已經為 Colossus 的第一階段提供了100,000 塊 H100 卡。通常，公司需要數年時間才能建造一臺超級計算機，但馬斯克的團隊在大約四個月內就將 GPU 組裝成一臺可執行的超級計算機。

該公司已將Colossus擴充套件到 20 萬塊 Nvidia H100 和 H200 GPU，目標是到明年夏天達到 30 萬塊 GPU。這一宣告凸顯了馬斯克為建立尖端 AI 程式以擊敗包括 OpenAI 在內的競爭對手所付出的努力。

*免責宣告：本文由作者原創。文章內容系作者個人觀點，半導體行業觀察轉載僅為了傳達一種不同的觀點，不代表半導體行業觀察對該觀點贊同或支援，如果有任何異議，歡迎聯絡半導體行業觀察。