對話Zilliz創始人星爵:我們沒有對手,接下來的大事是AgenticRAG

作者Jessica郵箱[email protected]
2025年春,AI行業正步入一個新的階段。
Meta釋出多模態模型Llama 4,OpenAI連續推出GPT-4.1、o3及o4-mini、計劃釋出首個“開放”語言模型,並被曝正在打造一款“AI版Twitter”;與此同時,被譽為“AI界USB-C”的新興標準MCP悄然走紅——它讓AI Agent不只侷限於回答問題,而是具備主動感知、任務規劃與工具排程的能力。系統正規化的變革,比模型效能的迭代更引發從業者關注。
隨著“小模型+本地部署”“多模態+即時處理”成為新趨勢,AI底層基礎設施也被重新定義。尤其是非結構化資料的處理、語義檢索的效率,成為決定Agent能力邊界的關鍵。而向量資料庫,正在成為這類系統的“語義記憶中樞”。
在這一領域,Zilliz 是少數幾個走在前面的玩家。去年9月,Forrester釋出首份向量資料庫Wave報告,Zilliz被評為“全球領導者”,領先於DataStax、Microsoft、Amazon和Oracle等老牌廠商。同年10月,其開源專案Milvus在GitHub上的Star數突破三萬,成為全球最受歡迎的向量資料庫之一。
近期,我們與Zilliz創始人兼CEO星爵進行了一場對話。聊了聊這家公司如何一路從“小眾賽道開拓者”成長為當下AI應用基礎設施的重要一環。
對話實錄如下:

“從2019開闢這個賽道迄今,zilliz沒有對手”

矽星人:先用一句話,向那些還不熟悉向量資料庫的人解釋一下它吧。
星爵:一句話太難了,我用三句話試試。
這是面向非結構化資料、和大模型時代專用的語義檢索資料庫;它用向量相似度檢索,讓機器學會了“類似”的概念;是AI時代搜尋的正確開啟方式。
矽星人:從 ChatGPT 帶火向量資料庫,至今已有兩年多了,行業都經歷了哪些關鍵變化?
星爵:“向量資料庫”從小眾概念變為行業剛需。認可你的夥伴變多了,但賽道中的對手也多了。
矽星人:你如何定義剛需?
星爵:我只有體感,說不上定義行業。
從體感來說,2022年上半年,大家都在問我什麼是向量資料庫,以及和Oracle有什麼區別、和PostgreSQL有什麼區別。
2023年開始沒人再問我向量資料庫是什麼,而是開始追問,你和Elasticsearch、和pgvector、Chroma相比,到底有什麼優勢。
可以作為剛需佐證的,是第三方資料,MarketsandMarkerts 預測:2023年-2028年,全球向量資料庫市場規模預計將從15億美元增長到43億美元,預計年複合增長率為23.3%。
矽星人:這個資料比我想的要低。
星爵:我也同意,至少Zilliz的實際增速遠遠高於第三方的市場預測。而且我們內部對未來的增長預期也不止於此。2024年,我們的年度經常性收入實現了三倍增長。
矽星人:支撐你這麼樂觀預期的源頭來自哪裡?
星爵一方面是產品真的成熟了,另一方面是外部的正向反饋。
產品上,我們提供的既有開源的Milvus,也有商業化的Zilliz Cloud。
其中Milvus2019年開源,到2024年下半年,我們的GitHub星標數已經突破 3 萬,累計下載量超過一億次,全球企業用已有超過 1 萬家採用。Zilliz Cloud則透過AWS、谷歌雲、微軟Azure、阿里雲和騰訊雲,已經可以服務全球20多個國家和地區。
矽星人:這是一個高速線性擴張的過程?
星爵我覺得目前階段應該是指數級擴張。
矽星人:擴張的動力來自哪裡?
星爵:千行百業的需求。
從行業來看,AI初創企業、網際網路、電商、自動駕駛、金融、法律和教育多個領域,我們全都積累了成熟的方案。
從產品的功能和商業策略設計上,根據這些不同行業的特性,我們推出了多租戶和多種企業級安全合規,還有免費額度和彈性計費模式來降低試用門檻。此外,設計上,對一些有特殊合規需求的客戶,我們還發布了BYOC方案。
總結來說,就是從給客戶提供一個工具,變成了實際解決了客戶的問題。一個能幫你解決實際問題的產品,沒有人會拒絕。
矽星人:面對這麼多行業做的這麼深,那成本會變得更高嗎?
星爵不會,因為Zilliz的全部收入基本都來自雲產品,這也是我們一開始就定下的基本原則。
你可以理解為行業有特性,但這些特性——比如合規、高併發、多租等等,都是可以透過工具組合去解決的。我們的know how是幫助客戶找到最合適的工具,而不是換一個客戶,造一次輪子。
當然,這並不是說事無鉅細的服務錯了,但既然都做基礎軟體了,那你的看家本領,就是總結共性需求。
矽星人:要是客戶給的實在太多了呢?
星爵做企業就是不斷在天平的兩端做抉擇,但很多人沒有判斷天平砝碼真實重量的能力或者勇氣。
比如,一個私有化的單子三千萬。天平兩端,並不是賺這三千萬和不賺這三千萬,而是賺眼前的3000萬,和破壞長期商業模式,減少通往未來賺30億、300億,甚至3000億的可能。想清楚這些,你就知道,有些錢,即使送到門口,你也是不能賺的。
矽星人:所以你確認Zilliz是那個未來能賺300億、3000億的玩家嗎?
星爵六年前,我們開源Milvus創造了向量資料庫這個賽道,到現在,我依然覺得我們沒有對手。不止我們自己這麼認為,開發者口碑、外界最權威的三方也這麼認為。
比如,Milvus在github三萬星,一直都是全球最大、且最具有影響力的開源向量資料庫產品。去年三季度,Forrester 還在其首份向量資料庫報告(2024年Q3)中將 Zilliz 評為領導者,在向量維度支援、向量索引、效能、可擴充套件性等多項關鍵指標上獲得了最高分。

矽星人:剛剛你提到,對手變多了,有Elasticsearch 、 pgvector還有Chroma。
星爵:我們之間的關係,可以理解為錯位競爭的“對手”。或者說,他們把zilliz當成了對手。
這兩年,zilliz的重點投入的方向之一,就是如何搞定大規模資料和高併發需求,為此做了很多分散式擴充套件與索引最佳化:比如透過橫向擴充套件叢集來提升容量和容錯,透過高效索引演算法加速等提高檢索吞吐。
但Elasticsearch 和pgvector還是傳統資料庫和搜尋引擎增加了向量檢索外掛,Chroma則是輕量級嵌入向量儲存庫。他們的門檻更低,甚至這兩年的增長也很快,但他們大多依託單機擴容方案,受限於單節點效能並存在單點故障風險,缺乏持久化和橫向擴充套件能力,相比分散式架構可靠性欠佳。
通俗點說,非結構化資料,佔了資料總量的80%。在這個背景下,用傳統結構化資料庫時代的產品修修補補,就像是基於燃油車的架構,怎麼改也不是新能源汽車。
矽星人:但對手的使用成本更低。
星爵:如果你說的是生產級場景,那這是錯覺。
針對向量檢索,我們在同等規模下,一定比非原生的向量資料庫方案更高效。
比如pgvector是在 PostgreSQL 之上透過外掛方式支援向量檢索,上手難度的確比較低,但是它只適合小規模向量儲存和與結構化資料的簡單結合,在大規模和效能方面遠不及Milvus。
根據實際測試,Milvus 在處理大規模向量時的效能/成本效率比pgvector高出兩個數量級。Milvus 在底層針對向量運算元做了深度最佳化,並採用近似演算法和分散式架構,而pgvector還是傳統資料庫核心,只能採用精確搜尋或簡單索引,演算法效率不高。
此外,pgvector受限於 PostgreSQL 單機擴充套件能力,當資料量和併發升高時,效能會急劇下降並且難以水平擴充套件。Milvus 就可以輕鬆橫向擴容,多節點分擔查詢。
從功能完善度看,Milvus 支援豐富的向量索引型別、靈活的向量距離度量,以及對時間旅行、分割槽等高階特性的支援,這些都是pgvector尚不具備或不成熟的。
簡言之,pgvector是傳統資料庫的“附加元件”,而 Milvus 是為向量檢索“量身打造”的完整解決方案。
矽星人:那你怎麼看Pinecone ,他們也是你說的雲原生向量資料庫。
星爵:Pinecone 是閉源的雲託管向量資料庫,以易用和全託管著稱。但和 Zilliz 相比,其部署靈活性和架構擴充套件性存在差異。
Pinecone 目前主要提供雲上服務,沒有開源自託管版本,這對資料敏感或需本地部署的客戶並不友好。而 Zilliz 既有開源 Milvus 可自建,也有云服務,客戶選擇更多元。
另外,在架構上 Pinecone 採取“縱向擴充套件”為主的策略,即透過單節點高效能例項(稱為pod)來提升效能。這種模式下,每個pod仍然跑在單機上,受限於單機的CPU和記憶體上限。相較而言,Milvus 的橫向擴充套件架構可利用多機協同,避免了單節點瓶頸,並天然具備故障切換能力。
舉例來說,如果需要儲存萬億級向量,Pinecone 可能需要一臺超大型記憶體例項且難以保障不宕機,而 Milvus 可以分佈到數十臺普通伺服器,任一臺出問題不影響整體。這種架構優勢在超大規模應用下尤為明顯。
Qdrant也一樣,在包含1億條 768 維向量的資料集中,Zilliz Cloud 的 QPS 達到 Qdrant 的 7 倍,P99 延遲僅為 Qdrant 的 1/12。 Qdrant 主要作為單機服務存在,後來他們透過sharding技術支援叢集,但其分散式架構相對Milvus仍不夠彈性,運維難度不小。
矽星人:換一種說法的遙遙領先?
星爵:準確說是各有所長吧。
比如,不少個人開發者的向量資料庫啟蒙產品,除了Milvus可能就是ES、pgvector。其他的,像Qdrant 更適合追求低成本基礎設施維護的開發人員,適用於對過濾查詢有需求但不追求極端效能的場景。Pinecone更像封裝好的雲工具,適合快速驗證但伸縮性受限,不適合超大規模的複雜企業場景。
Zilliz 的優勢在於開放靈活、可線性擴充套件,非常適合企業長期演進和定製需求,還有對效能指標有嚴格要求的應用系統。

大模型時代,RAG始終是剛需,但應用正規化與對向量資料庫的需求一直在變化

矽星人:DeepSeek火起來,對Zilliz有什麼影響嗎?
星爵:模型進步降低了AI應用的部署門檻,擴大了向量資料庫的潛在市場。
其次,這些模型往往需要更高效的知識檢索機制來提升其能力,這正是向量資料庫的價值所在。開源模型的興起還推動了更多本地部署需求,增加了對高效能向量資料庫的需求。
矽星人:一邊是推理大模型爆火,一邊是落地中,從"大模型為王"逐漸向"小模型+本地部署"過渡。這對向量資料庫行業意味著什麼?
星爵:小模型在知識廣度上不如超大模型,當AI應用從依賴超大模型API轉為使用本地小模型,企業就需要透過檢索自有資料來補足,向量資料庫也就從“可選項”變成了“必選項”。
矽星人:所以,在你看來,企業場景中,RAG始終是剛需嗎?
星爵:是的。但這個剛需在不同階段的表現形式不同。
矽星人:這個怎麼說?
星爵:我認為傳統RAG始終有自己的侷限性。因為傳統RAG只能基於提問,做一次語義檢索。但我們一句話背後,往往會對應好幾層潛在邏輯。
你想,多少男的因為女朋友讓自己洗碗,自己就真的只洗了個碗,沒有刷鍋、打掃廚房、檢查油煙機而捱罵?
人都不一定能一秒get你的話中話,AI檢索一次語義檢索,就能達到效果就就更不可能了。
矽星人:那要怎麼辦?
星爵:今年我比較看好深度搜索(Deep Search)和深度研究(Deep Research)這兩個新的RAG正規化,籠統來說就是Agentic RAG。
他們的共性是由開發者顯式呼叫向量資料庫變成大模型自發地發出檢索請求,並由大模型決定檢索的範圍、次數以及結果判定。過程中,向量資料庫將成為AI Agent的記憶中樞,支援其執行復雜任務。Agent在執行中生成的資訊可即時向量化儲存,便於決策時快速檢索相關記憶。
面對複雜問題時,系統會先對問題進行拆解,然後檢索概覽資訊,再基於初步理解再發起更精確的二次、三次檢索,甚至進行多路徑並行檢索,最終綜合各方結果形成更全面的回答,特別適合需要深入分析的專業領域應用。
例如,網路安全Agent可在日誌向量庫中搜索異常模式,科研Agent可檢索文獻Embedding庫。
矽星人:這對向量資料庫有什麼要求?
星爵:向量資料庫需提供標準化API和結果摘要,支援Agent動態最佳化查詢策略。
此外,向量資料庫要與工作流引擎融合,成為資料處理自動化和語義智慧的新模式。Zilliz正開發整合方案,如Serverless函式觸發器,連線雲原生工作流。
矽星人:除了做的更深,RAG與Agent還有什麼發展趨勢?
星爵:多模態即時檢索和動態資料更新。
當前的資料多是靜態文字,而未來需要支援影片幀、影像、音訊、感測器資料流等即時處理,Agent需要在向量空間中檢索跨模態關聯,進行綜合分析。這方面的技術挑戰主要在於實現低延遲的混合檢索與高效的資料版本管理。Zilliz正在最佳化多模態向量支援,以應對這一趨勢。
矽星人:除此之外,向量資料庫領域還有哪些技術挑戰是你們正在積極解決的?
星爵:當前向量資料庫領域面臨的關鍵技術挑戰主要包括:海量資料的可擴充套件性、檢索效能與成本平衡、以及滿足企業級可靠性的能力。
挑戰一:千億級向量的儲存與查詢可擴充套件性。隨著應用積累的資料規模爆炸式增長,向量庫需要儲存千億甚至萬億向量並保持可用的查詢速度。這對架構提出巨大挑戰。Zilliz 的解決方案是採用分散式可橫向擴充套件架構。Milvus 從一開始就設計為無中心節點的分散式系統,可透過增加節點線性擴充套件儲存和計算能力。與只依賴單機擴容的方案相比,Milvus 的叢集架構有效避免了單點瓶頸和故障風險。即使某一節點發生故障,隻影響全域性資料的1/256(假設256節點叢集),透過副本機制可迅速恢復。這種架構使 Milvus 能夠輕鬆處理千億級的資料集並提供高可用性。此外,Milvus 還支援儲存計算分離和分片機制,將向量分佈儲存在不同節點並並行檢索,從架構上保證了在資料規模增長時查詢效能線性可伸縮。
挑戰二:檢索效能與硬體加速。向量相似度計算本質上是高維算術運算,如何在毫秒級延遲下完成 Top-K 查詢是核心難題之一。為此 Zilliz 高度重視異構計算加速。Milvus 內部針對 Intel/AMD CPU、ARM 處理器和 NVIDIA GPU 等不同硬體分別優化了執行引擎演算法。例如,對 CPU 利用SIMD指令平行計算,對GPU批次處理向量計算,充分發揮每種硬體的優勢。這使 Milvus 能夠在純CPU環境下達到極高吞吐,在有GPU的環境下進一步提升密集計算效能。我們自研的 Cardinal 引擎,透過快取最佳化和底層程式碼級別調整,把常用Top-K查詢的速度提升了一個數量級,同時保持精度在95%以上。綜合這些手段,Zilliz 在權衡效能與成本上取得突破。例如,據內部測試,Milvus 在相同規模資料上的檢索效能/成本比比pgvector、OpenSearch等通用資料庫方案高出數十倍以上。
挑戰三:企業級可靠性與安全。要成為“資料庫”,光有檢索效能還不夠,還必須提供如資料持久化、容災備份、許可權控制等企業必需特性。Zilliz 針對這些痛點逐一攻克。Milvus 採用事務日誌+快照機制保障資料持久一致,在系統崩潰或重啟後能夠恢復到最近一次快照狀態,實現類似ACID中的原子性和永續性保證。在高可用方面,透過多副本和分散式一致性 ,確保服務7×24不間斷。安全性上,最新版本 Milvus 引入了Role-Based Access Control (RBAC),支援多租戶和使用者許可權管理。這使企業可以在同一叢集內安全隔離不同應用的資料。此外,Zilliz Cloud 還透過虛擬私有云、加密儲存等手段,滿足嚴苛的安全合規要求。可以說,Zilliz 正將傳統資料庫數十年成熟的“幕後功能”逐步融入向量資料庫,使其真正達到企業生產可用級別。

向量資料庫不會取代誰,但未來的千行百業都會需要它

矽星人:你認為向量資料庫會成為"新一代資料基礎設施"嗎?未來它會逐步取代部分傳統資料庫,還是僅作為 AI 時代的一種補充?
星爵:準確說是互補關係。
不同型別資料庫有各自擅長領域,很難相互完全取代,就像我們不會用圖資料庫去記賬,也不會用關係資料庫做影像搜尋一樣。傳統關係型資料庫在事務處理、強一致性、結構化查詢上仍無可替代,未來企業依然需要它們來管理結構化業務資料。而向量資料庫更像是在原有資料架構旁新增了一條“語義通道”,專門處理非結構化資料的相似性和關聯性查詢。未來企業的IT體系中,傳統資料庫與向量資料庫將協同共存:前者管業務流水,後者管內容語義,兩者透過外部索引鍵或者標識互相引用,共同為AI時代的應用提供全面支援。
矽星人:你如何看待Zilliz在AI生態中的位置?
星爵:Zilliz定位為AI時代的“資料聯結器”、AI堆疊不可繞過的資料中間層。無論大模型還是小模型,處理非結構化資料必須經過向量化與檢索。
其中,開源的Milvus服務開發者創新,商業化的zilliz cloud支撐企業關鍵業務
矽星人:這兩條產品線將如何協同發展?
星爵: 兩者相輔相成。DeepSeek降低大模型落地成本後,越來越多的開發者會首先選擇使用開源的 Milvus 來構建解決方案,而當專案進入生產階段或需要運維支援時,他們會轉向 Zilliz Cloud 的商業服務,尋求可靠的託管支援。
在這個過程中,我們專注於打造一個統一的生態系統,例如提供統一的 SDK 和工具鏈,以確保使用者在使用開源版本或雲服務時都能享受到一致的開發體驗。
Milvus社群是這個產品線之間的重要橋樑,幫助我們將創新快速轉化為Zilliz Cloud 的企業功能,同時讓企業的需求更有效地反饋到開源產品中。

矽星人:這種開源使用者的反饋,在你看來,是zilliz的核心護城河之一嗎?
星爵:好的客戶,可以告訴你要去往何方,以及你到底是不是自嗨。
比如近幾年,生物醫藥領域開始廣泛採用向量表示來處理分子結構、蛋白序列等資料。過去傳統資料庫無法語義理解分子相似度,但向量資料庫可將分子結構編碼為向量,實現藥物篩選的高效相似搜尋。
我們有個客戶,就用 Milvus 儲存數百萬分子指紋向量以發現結構相似的候選藥物,加速了新藥發現過程。
這一場景下還催生了對二進位制向量支援的需求(用於表示分子指紋),也是因此,Zilliz在產品中增加了對二進位制嵌入和自定義距離演算法的支援,以提升在科研計算場景下的效能。這種反饋積累的多了,就變成了zilliz的隱形know how。
矽星人:今年你還看好向量資料庫在哪些場景爆發?
星爵:首先是AI Agent,現在越來越多企業開發類 ChatGPT 的AI Agent(智慧體)用於對話客服、虛擬助手等。這類應用要求智慧體能"記住"大量歷史互動和知識庫資訊,而LLM自身短暫的上下文長度不足以勝任,相應的,向量資料庫正成為這類Agent的標配記憶大腦。
不過向量資料庫的潛力遠不止問答,而是延展到幾乎所有需要理解非結構化資料的AI應用。也是因此,Zilliz 在產品路線中更加註重通用性和靈活性,增加了 Range Search(自定義相似度閾值檢索)等功能,以適配"不確定結果數量"的查詢場景,滿足不同領域複雜多樣的需求。
比如,關於個性化推薦與多模態搜尋,近兩年電商的“猜你喜歡”已經成為標配,該場景需要毫秒級延遲和按需過濾(如按尺碼、價格過濾商品),而且商品資料包含文字描述和圖片等多模態資訊。為滿足這些需求,Zilliz Cloud 提供了動態模式(schema)和 JSON 欄位支援,將結構化屬性與向量嵌入結合儲存,方便執行精細的屬性過濾;同時 Cardinal 引擎確保了在開啟多重過濾的情況下查詢仍可在10ms內返回結果。
除此之外,金融風控中的異常檢測(尋找最"離群"的向量而非最近鄰)、影片內容索引、自動駕駛、網路安全等領域也出現了新穎的向量檢索用例。
而在醫療健康領域,醫院和製藥公司開始利用向量檢索病歷、文獻和分子結構,提高診斷和新藥研發現率。
製造業和物聯網,也開始用海量感測器資料先轉為向量(如機器聲音訊譜、裝置振動訊號等),再進行相似模式匹配,實現預測性維護。
總的來說,每一個行業的專業資料(影像、時序、文字等)都有向量化需求,都將催生專門的向量解決方案市場。
矽星人:作為一家全球化公司,Zilliz 在不同市場(美國、亞太、歐洲等)的增長策略有哪些不同?目前哪個市場增長最快?
星爵:作為全球化公司,我們針對不同市場採取差異化策略。在美國市場,我們強調企業級安全性和與現有AI工具鏈的整合;在歐洲,我們特別關注資料隱私和合規;在亞太地區,我們強調價效比和技術支援。目前美國市場增長最快,特別是在企業SaaS領域。
矽星人:你現在的日常工作節奏是怎樣的?與一年前相比,現在什麼問題讓你夜不能寐?
星爵:如今我的日常工作主要圍繞三個方面:戰略佈局、高速增長和團隊建設。目前最讓我關注的問題是如何一方面確保開源社群保持活力與創新,另一方面加快商業化步伐,同時在這個競爭越來越白熱化的市場環境中,持續鞏固和強化Zilliz的獨特競爭優勢。
矽星人:希望十年後的你是什麼樣子?
星爵:十年之後?希望願景成真吧。我希望那時候所有人談起AI時代的資料基礎設施,都能想到Zilliz 是其中的佼佼者。我也期望自己能永遠有學習和創新的熱情,不斷擁抱變化,開拓新的領域。無論如何,都能始終保持一個極客的初心:用技術解決最有挑戰的問題。

點個愛心,再走


相關文章