實現最快AI互連?加州初創打造光子超級晶片,支援數千GPU互聯

在光電混合算力領域,可能很多人都熟悉由美國麻省理工學院博士畢業生沈亦晨回國創辦的曦智科技,該公司的創始技術起源於一篇論文。沈亦晨和他在麻省理工學院的同學尼古拉斯·哈里斯(Nicholas Harris)是這篇論文的共同作者,同時他們還曾共同入選 2021 年度《麻省理工科技評論》全球“35 歲以下科技創新 35 人”榜單。
頗為相似的是,同樣依託於這篇論文,哈里斯在美國加州創辦了一家名為 Lightmatter 的公司。就在最近,哈里斯的 Lightmatter 釋出了一系列新產品。
圖 | 尼古拉斯·哈里斯(Nicholas Harris)(來源:https://www.linkedin.com/in/nicholas-harris-7114b233/)
此次釋出的第一款新品是一個名為 Passage M1000 的光子超級晶片(下稱“M1000”),該公司表示其能實現全球最快的 AI 互連,並表示其採用突破性的 3D 光子互連層技術,為下一代 AI 基礎設施的矽設計提供了最高的頻寬和最大的晶片複合體。
此次釋出的第二款新品是一個名為 Passage L200 的共封裝光學器件(下稱“L200”),L200 透過全球首個無邊緣 I/O 實現了整個晶片區域頻寬的擴充套件。該公司表示這是 AI 領域最快的共封裝光學器件,並表示其採用革命性的 3D 光子互連解決方案消除了頻寬瓶頸,能使 AI 模型的訓練速度提升 8 倍。
Lightmatter 的創始人兼 CEO 尼克·哈里斯(Nick Harris)表示:“頻寬擴充套件已成為 AI 發展的關鍵障礙。L200 系列 3D 共封裝光學解決方案所代表的工程突破,為下一代 AI 處理器和交換機提供了基礎構建模組。”
毫無疑問,Lightmatter 希望利用光子計算技術來重塑晶片的通訊和計算方式。麻省理工學院官網在新聞稿中評價稱,本次產品加速了向光速計算邁進的步伐。
M1000:能在單一域為數千個 GPU 提供互聯支援
M1000 是一款專為下一代 XPU(X Processing Unit)和交換機設計的 3D 光子超級晶片,能為要求相對苛刻的 AI 基礎設施應用提供 114 Tbps 的總光頻寬。
M1000 基準平臺的面積超過 4000 平方毫米,這種基準平臺是一個多光罩的主動式光子中介層。基於該平臺能夠構建全球最大的 3D 封裝裸片複合體,在單一域中為數千個 GPU 提供互聯支援。
(來源:Lightmatter)
在現有的晶片設計中,處理器、記憶體和 I/O 小晶片的互連頻寬比較有限,因為電 I/O 連線僅限於這些晶片的邊緣。而 M1000 可以在其表面的幾乎任何位置為堆疊的晶片複合體釋放電光 I/O,成功地克服了上述限制。
M1000 透過大規模可重構波導網路來實現全域中介層互聯,這種網路能在整個平臺之內傳輸高頻寬波分複用(WDM,Wavelength Division Multiplexing)光訊號。其擁有完全整合的光纖介面,支援多達 256 根光纖的突破性配置。相比傳統共封裝光學器件(CPO,Co-Packaged Optics)以及同類方案,這讓 M1000 能在更小的封裝尺寸之下實現頻寬效能的數量級提升。
目前,Lightmatter 正與包括格芯和 Amkor 在內的企業緊密合作,力爭實現 M1000 的量產。據瞭解,M1000 採用格芯 Fotonix 矽光平臺技術,這一技術透過將光子元件與高效能 CMOS 邏輯無縫整合至單一晶粒,能構建出一種可以隨 AI 需求進行擴充套件的量產設計方案。預計 M1000 將於 2025 年夏季推出,屆時還將推出由該公司推出的光引擎 Guide。
L200:全球首款 3D 共封裝光學產品
此次推出的第二款產品 L200,被 Lightmatter 稱為是全球首款 3D 共封裝光學產品。
L200 旨在與最新的 XPU 和交換機晶片設計整合,透過消除互連頻寬瓶頸,實現 AI 效能的擴充套件。L200 3D 共封裝光學系列包括 32Tbps 和 64 Tbps 兩個版本,相比現有解決方案其效能提升了 5 至 10 倍,這讓每個晶片封裝的總 I/O 頻寬超過 200 Tbps。
(來源:Lightmatter)
據瞭解,當前的頻寬擴充套件遠遠不及計算效能的提升。AI 計算的持續進步要求互連技術發生根本性變革。當前的連線解決方案,包括電、光學和傳統共封裝光學都會受到頻寬的限制,因為它們的 I/O 介面僅僅限於晶片的邊緣。
L200 透過全球首個無邊緣 I/O 克服了這些限制,實現了整個晶片區域頻寬的擴充套件。這種模組化的 3D 共封裝光學解決方案利用了通用小晶片互連技術裸片到裸片(D2D,die-to-die)介面,並促進了基於可擴充套件小晶片的架構與下一代 XPU 和交換機的無縫整合。
L200 3D 共封裝光學集成了 Alphawave Semi 公司的最新小晶片技術,並將通用小晶片互連線口與光通訊就緒的序列器/解串器,與 Lightmatter 的光子積體電路技術加以結合。
據介紹,Alphawave Semi 公司的先進節點電子積體電路採用標準晶圓上晶片技術,並在光子積體電路上進行 3D 整合。3D 整合技術使得序列器/解串器 I/O 可以放置在晶片上的任何位置,而不僅僅侷限於其邊緣位置,從而能為每個 L200 提供相當於 40 個可插拔光收發器的頻寬。此外,一個封裝中可以整合多個 L200,從而能夠廣泛用於 XPU 和交換機應用。
L200 採用先進的冗餘設計和彈性設計,搭載 Lightmatter 的 Guide 光引擎,每個模組提供卓越的雷射整合度和總光功率,能夠支援 L200 的全頻寬。
目前,Lightmatter 提供兩種產品型號:L200(32Tbps)和 L200X(64Tbps)3D 共封裝光學引擎。這些解決方案基於 Lightmatter 已經過驗證的 Passage 技術平臺,每個波導/光纖提供 16 個波分複用波長,並具備最先進且完全整合的光子控制能力。
據瞭解,L200 專門為大規模生產而設計,矽光子工廠和外包封裝測試合作伙伴包括格芯 、日月光半導體和 Amkor。
Lightmatter 的 L200 和 L200X 3D 共封裝光學晶片將於 2026 年上市,旨在加速下一代基礎 AI 模型所需的下一代 XPU 和交換機的上市時間和效能提升。
(來源:Lightmatter)
Cignal AI 的創始人兼首席分析師安德魯·施米特(Andrew Schmitt)評價稱:“AI 資料中心互連面臨著日益增長的頻寬和功耗挑戰。”“共封裝光學——將光學器件直接整合到 XPU 和交換機上——是必然的解決方案。Lightmatter 的大膽方法提供了共封裝光學的基本要素,併為超大規模資料中心運營商和晶片製造商提供了一條實現高效能系統的途徑。”
“生逢其時”的光晶片
當前,人類將越來越小的電晶體整合到晶片上的能力,促成了當今無處不在的計算時代。但這種方法終於逼近了極限,一些專家宣稱摩爾定律以及與之相關的登納德縮放定律(Dennard’s Scaling)即將終結。這些技術進展遭遇瓶頸的時機可謂糟糕至極。近年來,計算需求尤其是 AI 的爆發已呈指數級增長,且毫無放緩跡象。
與此同時,幾十年以來人們一直希望能夠研製出使用光子而不是電子的光學晶片來進行計算任務。光學晶片兼具速度快和能耗低的優點。然而,讓它們真正執行起來並非易事。
2017 年,哈里斯和沈亦晨等同事,共同發表了上述 Nature 論文。論文中,他們運用光學晶片的方案,計算出了經過傳統方式訓練的神經網路的輸出結果。
在論文中,他們介紹了一種由 56 個可程式設計干涉儀裝置構成的“光路”,其中干涉儀裝置可以分解並重組光波。這種方法解決了一個正確識別母音的問題,在 180 個案例中它分辨出了四分之三的母音。
雖然這一結果暫時比不上識別率準確率超過 90% 的普通計算機,但是該電路的表現尚算亮眼。之後不久,哈里斯和沈奕晨分別在美國和中國創立了各自的初創公司。
一旦這樣的神經網路能在光學晶片上實現功能以及訓練,一些推理過程例如找出母音對應的聲音,就會像光子透過晶片一樣順滑,同時還兼具高速和節能的優點。
在進入麻省理工學院讀博之前,哈里斯曾在半導體公司美光科技工作,研究整合晶片背後的基本器件。這段經歷讓他意識到,在每個晶片上塞入更多電晶體的提高計算機效能的傳統方法已經達到極限。
當時,他看到計算領域的路線圖正在放緩,於是想弄清楚如何才能繼續推進它。那麼,哪些方法可以增強計算機的效能?量子計算和光子學就是其中兩條途徑。
哈里斯來到麻省理工學院,在電氣工程與計算機科學系副教授德克·恩格倫(Dirk Englund)的指導下攻讀博士學位,研究光子量子計算。作為博士工作的一部分,他構建了基於矽的整合光子晶片,該晶片能夠利用光而非電來發送和處理資訊。
這項工作促成了數十項專利的申請,並在 Nature 等著名期刊上發表了 80 多篇研究論文。但在麻省理工學院,另一項技術也引起了哈里斯的注意。
“我記得自己走過大廳,看到學生們從這些禮堂大小的教室裡蜂擁而出,觀看即時轉播的講座影片,聆聽教授們講授深度學習。”哈里斯告訴媒體,“校園裡的每個人都知道深度學習將會是一件大事,於是我開始更多地瞭解它,我們意識到,我正在為光子量子計算構建的系統實際上可以用來進行深度學習。”
哈里斯原本計劃在獲得博士學位後成為一名教授,但他意識到透過創業可以吸引更多資金並更快地實現創新,於是他與同樣在恩格倫實驗室學習的達裡烏斯·布南達爾(Darius Bunandar,2019 屆麻省理工學院博士畢業生)以及托馬斯·格雷厄姆(Thomas Graham,2018 屆麻省理工學院 MBA 畢業生)聯手。這三位聯合創始人憑藉在 2017 年麻省理工學院 10 萬美元創業大賽中的勝利,成功進軍創業領域。
重新思考晶片的生命線
在 Lightmatter,哈里斯希望透過重新思考晶片的生命線來延續計算的顯著進步。該公司不僅依賴電力,還利用光來進行資料處理和傳輸。該公司的前兩款產品分別是一種專門用於 AI 運算的晶片和一種促進晶片間資料傳輸的互連器,同時它們利用光子和電子來驅動更高效的運算。
哈里斯目前正在解決的兩個問題是:晶片如何交流?如何進行 AI 計算?Lightmatter 在此之前的兩款產品 Envise 和 Passage,能夠同時解決這兩個問題。
鑑於問題的嚴重性和對 AI 的需求,Lightmatter 在 2023 年籌集了近 3 億美元的資金,估值達到 12 億美元。哈里斯告訴媒體:“我們將在由數十萬個下一代計算單元組成的互連技術之上構建平臺。如果沒有我們正在開發的技術,這根本不可能實現。”
據瞭解,Lightmatter 的上一代產品 Envise 晶片實現了電子擅長的計算部分比如儲存功能,同時還能將其與光擅長的方面相結合,例如執行深度學習模型中大規模的矩陣乘法運算。
利用光子學可以同時執行多項計算,因為資料是以不同顏色的光的形式輸入的。一種顏色的光可能代表一張狗的照片,另一種顏色的光可能代表一張貓的照片,還有一種顏色的光可能代表一棵樹。透過在同一時間透過同一個光學計算單元,即讓這個矩陣加速器執行所有這三種操作,就能提高單位面積的計算能力,並能重複利用已有的硬體,從而能夠提高能源效率。
光通道利用光的延遲和頻寬優勢,以類似於光纖電纜利用光長距離傳輸資料的方式,將處理器連線起來。它還使整個晶圓大小的晶片能夠作為單個處理器執行。在晶片之間傳輸資訊對於執行大規模伺服器群至關重要,這些伺服器群為雲計算和像 ChatGPT 這樣的 AI 模型提供支援。
據預測,到 2040 年,全球約 80% 的能源使用將用於資料中心和計算,而 AI 將佔據其中的很大一部分,當我們審視這些 AI 大模型的訓練計算部署時,就會發現它們將使用數百兆瓦的電力。它們的用電量達到了城市的規模。
Lightmatter 目前正與晶片製造商和雲服務提供商合作,以實現大規模部署。哈里斯指出,由於該公司的裝置是在矽片上執行的,因此可以透過現有的半導體制造設施進行生產,而無需對工藝進行大規模更改。
未來,該公司將繼續研究計算機的所有部件,以找出光可以在哪些方面加速它們,使它們更節能、更快。未來,Lightmatter 希望能夠助力於構建下一代計算機,而這一切都將以光為中心。
參考資料:
https://www.linkedin.com/in/nicholas-harris-7114b233/
https://mp.weixin.qq.com/s/pcytbDIzrEJ3T9s69afMZg
https://lightmatter.co/
運營/排版:何晨龍


相關文章