公眾號記得加星標⭐️，第一時間看推送不會錯過。
來源：內容來自WSJ。
“我實在搞不明白。”在矽谷從事資料中心和硬體工作已有30年的安德魯·韋（Andrew Wee）如是說。
讓他如此困惑——甚至憤怒的“這件事”，是未來AI超級計算機所預測的龐大能耗，而這些超級計算機正被認為將推動人類邁向新的躍進。韋曾在蘋果和Meta擔任高階職位，如今是雲服務提供商Cloudflare的硬體負責人。他認為，當前AI所需能源的增長速度——據世界經濟論壇估計，到2030年每年增長50%——是無法持續的。
“我們必須找到技術解決方案、政策解決方案，乃至其他解決辦法，共同應對這一問題。”他說。
為了實現這一目標，韋在Cloudflare的團隊正測試一種激進的新型晶片，這款晶片來自2023年成立的一家初創公司Positron。該公司剛剛完成了一輪5160萬美元的新融資。這種晶片在AI推理任務上——也就是AI根據使用者輸入生成響應的過程——比行業領先者英偉達的晶片更具能效優勢。儘管在可預見的未來，英偉達的晶片仍將在AI訓練階段佔據主導地位，但如果推理階段的能效提升，可能為企業節省數百億美元的成本和相應的能源開支。
如今，至少有十幾家晶片初創企業正努力向雲計算服務商銷售為AI推理量身打造的晶片。此外，谷歌、亞馬遜和微軟也在投入巨資、持續多年打造自家的推理專用晶片，既用於內部AI系統，也面向外部客戶提供雲服務。
這些努力的激烈程度以及累積的投入規模表明，幾乎每一家科技巨頭——以及許多初創公司——都急於在不支付“英偉達稅”的情況下，為消費者和企業提供AI服務。所謂“英偉達稅”，是指英偉達約60%的硬體毛利率，也就是購買該公司硬體所需的溢價成本。
英偉達深知推理環節的重要性與AI能耗問題日益引發關注。公司高階總監迪昂·哈里斯（Dion Harris）表示，他負責向英偉達的主要客戶推介最新AI硬體。他補充說，英偉達最新的Blackwell系統在推理任務上的能效，是上一代產品的25到30倍。
專用化浪潮
為了達成目標，那些新興AI晶片製造商採取了反覆奏效的策略：從頭開始設計晶片，專為突然間變得至關重要的新型任務而打造。過去是圖形處理成了熱點，也正是英偉達從中發跡。之後人們才發現圖形晶片可被用於AI任務，但從根本上說，它們並不完美適配AI。
Jonathan Ross 是晶片初創公司 Groq 的執行長，曾負責谷歌的AI晶片開發計劃。他表示創立Groq（與Elon Musk的xAI聊天機器人無關）是因為他相信AI晶片有一種全然不同的設計方式——專門為當今的AI模型而生。
Groq聲稱，其晶片執行AI的速度遠超英偉達頂級產品，所需功耗僅為英偉達的三分之一到六分之一。這歸功於其獨特設計，即將記憶體嵌入晶片之中，而非作為獨立元件。雖然Groq晶片的具體效能受諸多因素影響，但其在推理成本方面優於英偉達的說法是可信的，分析機構SemiAnalysis的分析師、曾在惠普企業工作十年的喬丹·納諾斯（Jordan Nanos）表示。
Positron 走的是另一條提高推理效率的路線。這家公司已向包括Cloudflare在內的客戶交付了晶片，其設計理念是簡化晶片功能，專注於更窄的任務範圍，從而實現更快的執行速度。其最新融資輪由Valor Equity Partners、Atreides Management和DFJ Growth參投，使得總融資額達到7500萬美元。
Positron的下一代系統將與英偉達下一代系統 Vera Rubin 競爭。Positron執行長米特什·阿格拉瓦爾（Mitesh Agrawal）表示，根據英偉達的產品路線圖，Positron晶片的單位成本效能將是英偉達的兩到三倍，單位電力效能將是其三到六倍。
英偉達的哈里斯回應稱，許多競爭者宣稱在推理效能上超越英偉達，但這往往忽視了客戶在選擇硬體時所考慮的各種因素。他指出，靈活性也很關鍵，尤其是隨著新AI模型和新用例的不斷湧現，企業對晶片的用途也在快速變化。“英偉達的客戶未必會被那些適用於小眾推理應用的晶片所打動。”他說。
Cloudflare對Positron晶片的初步測試結果令人鼓舞，足以讓韋決定將其部署到公司資料中心進行更長期測試。他表示，只有另一家晶片初創企業曾達到過這個標準。“如果他們真能兌現其承諾的效能指標，我們會全力放開採購閥門，讓他們在全球大規模部署。”他說。
韋認為，透過讓AI硬體實現“商品化”，並讓英偉達的客戶能夠轉向更高效的系統，市場競爭的力量或許能改變AI未來能耗不斷攀升的趨勢。“現在整個行業都處於FOMO（錯失恐懼）狀態，但我相信，最終理性會趕上現實。”他說。
一個不變的真理是：計算行業的發展歷史一再表明，每當硬體工程師找到更快、更高效的方法時，軟體開發者和消費者總會迅速將所有效能提升用盡，甚至超額使用。
馬克·洛邁耶（Mark Lohmeyer）是Google Cloud的AI與計算基礎設施副總裁，他的團隊既提供谷歌自研AI晶片，也提供英偉達晶片，服務物件包括谷歌自身和其雲客戶。他表示，隨著消費者和企業採用更復雜、要求更高的AI模型，無論AI交付效率提升多少，整體需求的增長依然看不到盡頭。與幾乎所有AI巨頭一樣，谷歌也在努力探索激進的新型能源方案，以滿足AI所需，包括核能與核聚變。
關鍵在於：雖然新晶片或許能幫助個別公司更高效地交付人工智慧，但整個行業仍然會消耗越來越多的能源。正如 Anthropic 最近的一份報告指出的那樣，這意味著能源生產，而不是資料中心和晶片，才是未來人工智慧發展的真正瓶頸。
參考連結
https://www.wsj.com/tech/ai/the-new-chips-designed-to-solve-ais-energy-problem-1ba9cac1?mod=tech_lead_pos1
*免責宣告：本文由作者原創。文章內容系作者個人觀點，半導體行業觀察轉載僅為了傳達一種不同的觀點，不代表半導體行業觀察對該觀點贊同或支援，如果有任何異議，歡迎聯絡半導體行業觀察。
END
今天是《半導體行業觀察》為您分享的第4107期內容，歡迎關注。
推薦閱讀
加星標⭐️第一時間看推送，小號防走丟
求點贊
求分享
求推薦