VASTData:從LLM時代的高效能儲存到下一代資料平臺

在傳統的資料基建中,很少有大量非結構化資料需要高速存取,LLM 訓練對這個能力提出了新的挑戰。VAST Data 打造了專為 AI 深度學習最佳化的解決方案,尤其擅長處理 10 PB 量級的多模態資料。其獨特的 DASE(Disaggregated Shared Everything)架構,讓企業能夠以近乎線性的效果擴充套件儲存
VAST 的優勢不僅體現在技術架構上,它還透過軟硬一體化的儲存方案,為客戶提供更完整的使用體驗,成為了 Data Infra 領域最快達到 1億 ARR 美金的公司之一。從Coreweave、Lambda Labs 這樣的 GPU 雲,到科研機構、金融量化機構,以及 Zoom、Agoda 這樣的企業客戶,VAST 的解決方案已經滲透到了多個高資料密度的行業。
未來 VAST 的目標並不僅僅是儲存市場的“高效能”尖端部分,而是透過其靈活的架構和軟體策略,進軍通用儲存與 AI 資料平臺領域。這種願景讓它不僅是一家高效能儲存公司,更是在多模態 AI 時代資料平臺的先驅者。
💡 目錄 💡        
    01 Investment Thesis
02 AI 時代的資料新需求
    03 核心技術與產品
    04 商業模式與商業化情況
    05 市場競爭與團隊
01.
Investment Thesis
1. VAST Data 站在 AI 和 GPU 計算的大趨勢上,能力極其適合高效能的資料存取
Snowflake 客戶的平均資料規模為 40 TB 左右,而 VAST Data 客戶的資料規模可以達到 10 PBs。VAST 目前的客戶集中在 GPU 資料中心和科學計算研究中心,原因就是他們最適合在 10+ PB 的資料量級下提供高速、易用且易擴充套件的產品。由於架構設計滿足 AI 需求,VAST 與 NVIDIA 建立了獨特的 GTM 合作伙伴關係。
2. VAST Data 獨特的 DASE 架構使其有極強的 scale-up 能力
VAST 的解耦、共享一切(DA Share-Everything)架構是 Snowflake 存算分離級別的架構創新,顛覆了公有云的不共享(Share-Nothing)架構,平衡了規模、速度和成本。客戶可以增加計算來解決 I/O 網路瓶頸問題,而不用大幅提升儲存投資。接近 linearly scale 的規模化能力是 VAST 最大的差異化優勢。
3.VAST Data 有機會顛覆儲存市場:從高效能儲存擴充套件到通用儲存
傳統儲存市場可以被分為金字塔形,高效能儲存只負責金字塔尖的部分。VAST namespace 的網路效應未來有機會打破金字塔,LLM 能讓大量資料活起來,高效能儲存能佔據更大的市場。
4.VAST Data 不只是儲存公司,而是 next-gen AI 資料平臺
VAST 的vision 是構建一個全面的深度學習和非結構化資料平臺,而不是傳統儲存解決方案。他們的盈利模式已經是一家軟體供應商,獨立於硬體庫存。這種靈活性使 VAST 能夠根據新技術調整其軟體。下一步 VAST 正在向 AI 時代的資料倉庫公司轉型,提供可以互聯各種平臺的通用儲存和分析方案。
Key Risk
估值風險:估值 $ 9.1 B,基於 on-prem 儲存市場的空間,估值比較難 justify。
增長放緩的風險:AI 模型訓練需求放緩,推理中可能不剛需高效能儲存。
關鍵問題:prompt caching 這樣的方案是否能驅動 All-flash 的儲存方案?
雲巨頭的競爭:AWS、GCP 和 Azure 等可能開發自己的儲存平臺,減少對 VAST on-prem 方案的需求。VAST 只能在當前的 on-prem 350 億美元的市場中擴大佔比到 10% 來 justify 估值。
擴充套件能力的不確定性:database、 data engine 和儲存是完全不同的市場策略,VAST 是否能夠擴充套件到新市場還不好判斷。歷史上的參考案例只有 Oracle。
02.
AI 時代的資料新需求
AI 時代的資料管線和 BI 時代發生了非常大的改變:
BI 資料管線最終產出是資料分析,為企業和產品決策服務;AI 資料管線的最終產出是模型,直接決定了產品能力且會進一步生成資料
BI 資料管線中有大量的資料聚合,資料量都大規模縮減;AI 管線沒有那麼明顯的聚合效果,且每一步資料量都比 BI 大3個數量級以上
具體可以參考下面的圖和表格(來自VAST Youtube session 影片):
BI data pipeline
AI data pipeline
由於這樣的 pipeline 差異,對下一代的資料平臺就有了新的需求。Vast Data 就是在這樣的需求中打造了自己的產品:
03.
核心技術與產品
VAST 有一本非常詳盡的技術白皮書,讀完發現他們有幾個核心差異化優勢:
高效能高 scalability:Vast 在全快閃記憶體架構下能 scale 到 100 PB 量級下保持很高的效能,目標的規模上限是 EB 級別(1 PB = 1024 TB,1 EB = 1024 PB)。
Transactional + analytical 不衝突:DASE 架構讓讀寫能完全並行,也不再有傳統的交易/分析資料庫互斥。
全域性一致性:在每一個位置都可以高效訪問到全部資料
而這些優點都可以歸功於 DASE 這個關鍵的架構設計。
DASE: 核心架構
VAST 在設計中最關鍵的選擇是 Disaggregated Shared Everything (DASE)  這樣的架構,和主流公有云和分散式系統的 SN (Shared-nothing) 架構是完全不同的。這個架構創新是非常重要且有技術壁壘的,其重要性可以類比 Snowflake 對雲資料倉庫存算分離的創新。
2005 年 NS 系統的早期重要論文 Google file system 釋出,分散式系統這個領域開始蓬勃發展。當時的分散式系統是數千個節點在管理著幾百 TB 資料,今天一個節點就能儲存這樣的資料量。
上圖為 share nothing 架構,每一個node 有CPU、儲存和記憶體;而下圖為 share everything 架構,將計算單元和儲存單元分離了。
同時,node 之間的互聯傳輸速度比當時快了幾個數量級:VAST 需要 100 Gbps Ethernet or Infiniband interconnect。以上兩個背景讓 DASE 在最近才成為可能。
在 DASE 架構下,資料對系統中的每一個節點都是 accessible 的,這種 share-everything 的方式讓節點之間不再需要頻繁溝通來尋找和拼湊資料。實際參與的節點有兩種:
CNode 是專門負責邏輯操作的計算節點,比如找到從哪裡讀取關鍵資料。他們是跑在 x86 和 ARM CPU 上的容器。所有 CNodes 能透過 NVMe Fabric 的互聯層直接讀取到資料,所以他們不會彼此溝通
DNode 是實際和硬體儲存互動的資料節點。他們不執行邏輯操作,可以在類似與 DPU 這樣的專用硬體上跑
CNode 直接訪問所有資料、元資料和系統狀態。系統狀態儲存在 NVMe SSD 上,形成高可用的 NVMe JBOFs(a Bunch of Flash),這些儲存裝置透過 NVMe fabric 互聯
這樣的設計讓儲存端和計算端可以解耦,根據客戶實際的使用需求進行 scale-up,而且讓硬體提升的價效比更高:如果需要更多儲存,就增加更多DNode;如果遇到計算瓶頸需要更多 I/O,那就增加更多 CNode;每一次增加 node 都可以在之後持續的發揮性能。
在這種架構中,所有計算都由無狀態容器中的計算節點(CNode)執行。這使得叢集計算資源可以獨立於儲存容量進行擴充套件。
DASE 架構支援高達 100PB 的擴充套件能力,並且在一年的時間裡只有幾秒鐘可能會出現宕機。透過使用無狀態儲存伺服器和軟體驅動的智慧,DASE 實現了極高的系統彈性。
核心產品線
DataStore:Vast DATA 平臺的儲存基礎,是他們在2019年釋出的核心產品,後續的產品也都在 DataStore 基礎上實現。可以儲存大量 raw 非結構化資料(high capacity),以接近即時流式的方式儲存(high bandwidth)。
DataBase: 結構化資料庫,與傳統的 DBMS 不同,它結合了事務處理(例如基於行的 OLTP 資料庫)、基於列的分析查詢(例如基於快閃記憶體的資料倉庫)。這個資料庫的價值在於對 DataStore 中非結構化資料進行語義分析。
VAST database 其實應該視為 data warehouse solution。其 SQL 功能不直接插入新資料或建立新表,而是利用已有的外部資料,定義自己的查詢來整合和調整資料(重點在於資料的儲存、查詢和分析,而不是資料的即時修改和更新)
DataEngine: 最新發布的產品,提供函式執行環境,使函式和事件通知/觸發器可以在每一個容器中自動執行,這樣可以將原始的非結構化資料轉化為資訊。
DataSpace: 將這些產品擴充套件到整個資料中心,構建一個統一的計算結構和儲存名稱空間。DataSpace 的最終目的是在全球範圍內擴充套件訪問許可權,實現聯邦 AI 訓練和 AI 推理。這會是 VastData 產品在大公司內部產生網路效應的來源。
04.
商業模式與商業化情況
商業模式:Gemini
巧合的是 VAST 的商業方案和 Google 的 Gemini 撞了名字。
在軟體上,客戶購買的是 Gemini 訂閱,獲得 Vast 軟體的使用許可,幷包括對軟體和執行其上的 Gemini 支援硬體的支援和維護。Vast 提供全面的支援服務,包括硬體和軟體的支援。例如,當 SSD 或風扇在 Vast 叢集中出現故障時,系統會發送警報給 Vast 支援團隊,支援工程師會聯絡客戶安排更換。
而對於硬體,Vast 的客戶透過 Vast 安排的製造合作伙伴獲取經過 Gemini 支援的硬體。這些合作伙伴包括 Viking Enterprise Solutions、Intel、Kioxia 和 Nvidia 等。這些製造合作伙伴根據與 Vast 協商的成本價格向 Vast 的經銷商提供硬體,這些成本價格考慮了 Vast 所有客戶的綜合購買量。
這種組合方式使 Vast 的客戶能夠避免企業儲存供應商在像 SSD 這樣的商品元件上的巨大加價,同時保持系統的穩定性和安全性,因為整個系統由一個供應商(Vast)負責支援。
商業化資料
VAST Data 在 2023 年末宣佈自己的 ARR 超過了 1億美金,成為 Data Infra 領域最快超過 1億 ARR 的獨角獸。
客戶 use case 與反饋
VAST 客戶主要有幾類畫像:GPU 雲服務、有高效能計算需求的五百強企業、對沖基金和研究機構。而他們的 use case 主要集中在 HPC(高效能計算)和 AI 領域:
生命科學:基因組測序、電子顯微鏡、影像處理中的 AI
研究:藥物發現、製藥開發和研究中的影像處理
金融服務:新交易演算法、金融建模
汽車行業:自動駕駛、資料處理模型訓練
媒體與娛樂:大檔案處理、渲染大型檔案、8k 影片後期製作
具體 use case 可以根據檔案型別分為兩類:
大型資料,本身對 scalability 要求高,瓶頸在網路頻寬
小文字大批次處理,對軟體做資料並行化的能力要求高,客戶 Lambda 表示這是傳統硬體廠商做不好的領域
在使用者實際使用的反饋中,大部分對 VAST 的評價是比較正面的:
樂意為高使用量和客單價買單:好評反映在客戶的付費意願上,好評反映在客戶的付費意願上,核心客戶的平均使用量在 10PB上下,客單價能達到七位數,而且這些使用者在過去幾年內的付費都在持續的成倍增長。
優秀的效能和相容性:VAST 在 PB 級別上保障了運營效率並防止系統崩潰。系統提供多種資料訪問方式,包括 NFS、物件儲存和直接資料載入到 GPU 中,適合 AI 應用。其相容性確保了檔案傳輸速度快,能夠無縫整合到現有工作流程中。
高效能和可擴充套件性:VAST 未來的主要優勢在於可擴充套件性和跨不同系統/硬體的相容性。VAST 的 DASE 架構使客戶只需逐步新增新的硬體和軟體容量,而不是替換現有的整套設施,減少了資料儲存的更新週期。
軟硬體一站式的客戶支援:VAST 的客戶服務響應速度很快,而且以軟體為主硬體外包提供的方式也受到好評。對比競品新公司 Weka 只有軟體需要客戶自己採購硬體,和老公司 Pure Storage 在軟體上效能較差,VAST 以結合的方式做到了更有的體驗。
與英偉達的合作:對 DGX Superpod 的支援是很多 AI GPU 雲廠商選用 VAST 的原因,體現了他們在這個領域的專業性。
當然使用者也提出了一些使用中的顧慮:
雲部署:VAST 的主要設計更多地與 on-prem 本地部署契合,在雲連線延遲上做得比較差。儘管與 HPE Cloud 有合作,但缺乏真正的混合解決方案。這在主要雲平臺上的部署靈活性不足,使其在與 AWS 或 GCP 平臺更好整合的競爭對手面前處於不利地位。
成本:與高效能儲存的同行比起來,VAST 有少許溢價,但客戶都願意為其優秀的使用體驗買單。但對比廉價的基礎儲存,VAST 的價格還是很高,因此在 on-prem 儲存中的市場份額還相對有限。
共存與競爭挑戰:VAST 目前還沒有表現出競爭中的排他性,往往還是和其他系統共存的,比如與現有的儲存系統 IBM Spectrum Scale 和 DDN Storage 並存,而不是取而代之。此外,NetApp 和 EMC 等競爭對手正在透過 QLC 驅動器等技術適應,並可能超過 VAST。像 WEKA 這樣的公司瞄準更告訴要求的高效能使用場景,有時甚至超越 VAST。但好訊息是 VAST 漸漸能在預算上佔據 75%+。
客戶的預算分配邏輯是這樣的:
在廠商之間,常見選擇2-3家,VAST、DDN、Weka 是提到最多的三個名字。如果只保留一家,VAST 基本是大家的 top choice
在整個資料中心,儲存佔據 5-10% ,GPU 佔大頭 65-70%, 網路互聯 20%, CPU、記憶體、能源加起來 5%
05.
市場競爭與團隊
競爭對手分析
市場上直接的競爭對手有兩類:
新公司:Weka 為首的創業新公司
• Existing company:DDN、Pure Storage、NetApp
在實際使用中客戶往往會從幾個角度來評價產品,我們也根據這個框架來分析各個精品之間的差異:
產品核心維度:
速度:評價標準是 IOPS,一秒鐘之內能夠傳輸多少個檔案
scalability:能不能規模化到 10 PB 以上保持高效能
服務:multi-tanency 支援,軟硬體方案的結合程度
其他維度:
外部合作:是否與 NV DGX 有緊密合作
部署位置
團隊 leadership
GTM 策略
在速度上,VAST Data 的效能雖不及 WEKA,但它的通用儲存能力已經足夠滿足大多數場景的需求。相較之下,WEKA 在處理 10 PB 以下的資料時表現最為出色,到了大量級上效能開始遜於 VAST。相比這些公司,Pure Storage 和 NetApp 等傳統廠商在效能上落後了約 15%-20%,倒是 DDN 和 Weka 速度接近。
在可擴充套件性上,VAST Data 展現出強大的擴充套件能力,其架構設計使其能夠在接近 100 PB 的規模上保持近乎線性的擴充套件。得益於 VAST 獨特的 DASE(Disaggregated Shared Everything)架構,它不僅降低了擴充套件的運營成本,也大幅減少了技術複雜性。與之相比,WEKA 需要至少 6 至 8 個節點才能開始部署,並且隨著節點的增加,網路架構的需求也會大幅增加。DDN 在過去的表現雖然足夠快,但由於架構限制,現如今已經難以滿足高吞吐量和低延遲的現代需求。
在客戶服務上,VAST Data 提供全天候的客戶服務,並且其解決方案涵蓋硬體和軟體,客戶只需面對 VAST 一家公司即可處理所有問題,整體體驗更佳。此外,VAST 的多租戶支援也很強,這對需要多個使用者共享儲存的場景至關重要。相比之下,WEKA 的多租戶支援稍差,並且僅提供軟體,客戶需要自行購買硬體,這降低了整體使用體驗。
在部署方面,VAST Data 主要面向 on-prem 部署,這也符合其在 AI 和高效能資料儲存領域的優勢,而 WEKA 則更支援雲計算。
在團隊 leadership 上,VAST Data 的管理團隊由儲存行業的資深人士帶領,廣受行業好評。相比之下,WEKA 的團隊則因為難以明確目標、頻繁調整戰略而受到一定批評。過去兩年內,WEKA 經歷了四次重大轉型,包括從專注於 OEM 硬體銷售轉向軟體定義儲存,再到僅提供雲端解決方案,這樣的頻繁轉向讓其戰略顯得有些隨意。
在市場推廣策略(GTM)上,VAST Data 的銷售週期通常為 9 至 12 個月,他們的銷售來源主要分為三類:三分之一來自全新專案,通常是由 AI 需求推動;三分之一來自現有客戶的擴充套件;另三分之一則是完全替換現有的儲存系統。
WEKA 的銷售週期比 VAST 更長,通常需要 18 至 24 個月。WEKA 的戰略重心放在向雲計算公司轉型,它的銷售渠道主要依賴於 OEM,WEKA 的軟體被部署在各種硬體上,如 Lenovo、HP、Dell 和 Hitachi,並透過這些 OEM 進入 on-prem 市場。
團隊情況
VAST 的經營情況和 vision 離不開優秀的團隊。VAST 由 Renen Hallak 於 2016 年創立,現在團隊已經達到 700+人。該公司擁有一支經驗豐富的領導團隊,包括執行長 Renen Hallak、首席營銷官 Marianne Budnik 和首席收入官 Rick Scurfield  等。其中 Renen 是公司的靈魂人物,也是儲存行業的老兵。
Co-Founder & CEO: Renen Hallak
Vast DATA CEO Renen Hallak 是一位非常特別的企業家。在建立 VAST 之前,他建立了 XtremIO (世界領先的全快閃記憶體陣列),並將公司以 4.3 億美元出售給戴爾 EMC。作為戴爾 EMC 的一部分,Renen 繼續將 XtremIO 擴充套件到數十億美元的收入。他的領導才能得到廣泛認可,連續三年被高盛評為" 100 位最有趣的企業家"之一。
Co-Founder: Jeff Denworth
Jeff 負責公司的產品和商業戰略。Jeff 為 VAST 帶來了二十多年的先進計算和大規模可擴充套件大資料及雲端儲存技術經驗。在加入 VAST 之前,Jeff 曾在 DDN、CTERA Networks 和 Cluster File Systems 擔任管理職務。
Co-Founder & Chief R&D Officer: Shachar Fienblit
Shachar 是 VAST 的聯合創始人兼首席研發官,負責監管全球工程。他的團隊負責提供 VAST 創新技術的核心軟體。Shachar 曾在 Kaminario 和 IBM 擔任領導職務,擁有豐富的知識和專業技能。
Co-Founder & VP, Technology, Alon Horev
Alon 是 VAST 的聯合創始人兼技術副總裁。Alon 領導過多個工程專案,並在與戰略客戶的合作中取得了成功。在加入 VAST 之前,Alon 曾在思科和 IBM 等公司成功設計和實施創新資料庫和儲存平臺。Alon 對技術充滿好奇和熱情,是自學成才型別的技術人才。
長期 upside 分析
Vast 要挑戰的不只是高效能儲存領域的對手,他們的 vision 是希望能做到對儲存市場的顛覆:
1. 打破儲存市場的金字塔:
儲存市場可以被分為金字塔形:金字塔尖是和公司使命、收入有關的關鍵資料,由高效能儲存保管著;金字塔底是存檔資料,之後不再會有太多讀取和寫入需求
VAST namespace 的網路效應未來有機會打破金字塔,如果 LLM 能讓大量資料活起來,高效能儲存能佔據更大的市場
2. 減少資料儲存領域的 restore cycle:
儲存行業的 restore cycle 指的是企業定期更新其儲存裝置和基礎設施的週期,通常每三到五年進行一次。這個週期與企業購買的支援服務合同期限相對應,合同到期後,企業通常面臨著兩個選擇:延長現有裝置的支援服務或者透過購買新裝置來全面更新其資料中心。
VAST DASE 架構使客戶只需逐步新增新的硬體和軟體容量,而不是替換現有的整套設施。
甚至儲存也不是 VAST 侷限的目標市場,VAST 要做到的是往計算和資料庫方向延伸自己的業務:
1. 長期高效能不會是主要的優勢。scale-up 的易用性,在不同系統/硬體上的相容度會是取勝的關鍵,這是 VAST 最擅長的地方。
2. 資料庫與非結構化資料的分析會成為 VAST 長期重要的差異化支援,甚至能與 Snowflake、Databricks 競爭市場。但現階段還不成熟,Lambda labs 作為 VAST 的客戶還是需要使用 Snow/dbx 的產品
排版:Fia
延伸閱讀

相關文章