
👆如果您希望可以時常見面,歡迎標星🌟收藏哦~
來源:內容來自半導體行業觀察綜合,謝謝。
據theinformation報道,Nvidia 完成了對 GPU 雲初創公司 Lepton 的收購。
資料顯示,Lepton AI成立於2023年,由 Meta Platforms Inc. 人工智慧實驗室前研究員賈揚清和Junjie Bai 聯手創立。
兩人幫助開發了多種行業標準的 AI 工具,包括 Facebook 母公司流行的模型開發框架 PyTorch。據報道,Lepton AI 擁有約 20 名員工,其客戶包括多家風險投資支援的初創公司。
該公司的同名雲平臺針對 AI 工作負載進行了最佳化。客戶可以使用它來訓練 AI 模型和執行推理,即在訓練完成後在生產中執行神經網路的任務。
Lepton AI 提供了一個視覺化介面,用於在其雲中設定訓練叢集。該公司提供多種 Nvidia 顯示卡供您選擇。對於同時訓練多個模型的團隊,該平臺提供了一種工具,可用於集中管理分配給每個專案的硬體數量。
在訓練過程中,AI 模型有時會遇到錯誤,從而降低其輸出質量。Lepton AI 平臺提供了檢測此類錯誤的功能。它還能發現更細微的技術問題,例如神經網路在訓練期間可能使用的記憶體超過應有的記憶體的情況。
模型開發完成後,Laptop AI 客戶可以將其部署在公司雲中經過推理最佳化的例項上。該平臺承諾提供每秒超過 600 個令牌的處理速度,同時將延遲保持在 10 毫秒以下。當需求增加時,自動擴充套件功能會自動向客戶的推理環境新增更多硬體資源。
Lepton AI 使用 vLLM 等開源工具來加速推理。該技術將類似的 LLM 提示合併為單個請求,從而減少了模型必須執行的處理量。開發人員還使用 vLLM 來減少其模型的記憶體佔用。
目前尚不清楚 Nvidia 是尋求收購 Lepton AI 以獲得其機器學習人才,還是計劃繼續提供這家初創公司的雲平臺。該平臺與幾家 Nvidia 主要客戶的產品競爭。其中一家客戶是人工智慧雲運營商 CoreWeave Inc.,該公司計劃於今天晚些時候進行首次公開募股。
就在英偉達可能收購 Lepton AI 的報道釋出幾天前,有訊息稱該公司收購了另一家風險投資支援的人工智慧初創公司 Gretel Labs Inc.。據報道,這筆交易的價值超過 3.2 億美元。Gretel 提供用於建立合成數據的工具,這些資料是自動生成的,可用於訓練人工智慧模型。
對於英偉達來說,他們也提供雲中雲服務,這單收購會讓他們大有裨益。Nvidia 的 DGX Cloud 於 2023 年推出,是在其他公司的雲平臺上提供的服務。雲提供商租用 Nvidia 的伺服器並將其部署為雲,Nvidia 可以向尋求大型 GPU 超級計算機的企業營銷和銷售這些雲。
谷歌、微軟、甲骨文和 AWS 均採用該產品,其中 AWS 將於2024 年 12 月採用該解決方案。
雖然這看起來很複雜,但真正開發和提供自己的雲計算平臺將使 Nvidia 成為其一些最大客戶的直接競爭對手——在 2024 年 11 月的 2025 年第三季度財報電話會議上,該公司表示,“雲服務提供商約佔我們資料中心銷售額的一半,收入同比增長超過 2 倍。”
該公司還擁有新興的雲和軟體業務,該業務直接向企業出租伺服器並提供用於開發 AI 模型和應用程式的軟體。在同一財報電話會議上,Nvidia 表示其軟體、服務和支援收入創造了 15 億美元的年收入。
該公司去年增加了對雲服務的投資。Nvidia 在其 2024 年 5 月的收益報告中表示,它已承諾在未來幾年內至少在雲計算服務上投入 90 億美元,高於 1 月份承諾的 45 億美元。這個數字包括 DGX Cloud。
END
👇半導體精品公眾號推薦👇
▲點選上方名片即可關注
專注半導體領域更多原創內容
▲點選上方名片即可關注
關注全球半導體產業動向與趨勢
*免責宣告:本文由作者原創。文章內容系作者個人觀點,半導體行業觀察轉載僅為了傳達一種不同的觀點,不代表半導體行業觀察對該觀點贊同或支援,如果有任何異議,歡迎聯絡半導體行業觀察。

今天是《半導體行業觀察》為您分享的第4088期內容,歡迎關注。
推薦閱讀



『半導體第一垂直媒體』
即時 專業 原創 深度
公眾號ID:icbank
喜歡我們的內容就點“在看”分享給小夥伴哦

