總之，不管是搭建 AI 應用，還是訓練新的多模態模型，都可以藉助 LanceDB 來把專案的可拓展性提升 10 倍，同時成本降低一個數量級，在這個過程中，LanceDB 會幫助開發者實現更高的生產力、更快的迭代速度。

Chang She：我一直都對資料行業很感興趣。我最早在對沖基金工作，作為量化分析師要承擔很多資料工程的工作，當時我就意識到這個工作過程中沒有好的工具可以使用，所以我們都會先寫 Java 程式碼來讀取 CSV 檔案，再用 VB 指令碼來做資料分析和處理。

當時我的一位同事 Wes 也遇到了和我一樣的問題，於是他就寫了一個閉源庫，也就是今天的 Pandas。我用過 Pandas 之後相當喜歡這個專案，於是就把它推廣到了整個團隊，後來 Pandas 在我們整個公司都很受歡迎。Pandas 開源後也是在金融領域最先流行起來的，因為它對時間序列、統計等的支援特別好。

2012 年前後，隨著相關學術研究和 網際網路（web-scale）資料激增，資料科學家成為了新興的熱門職位。突然之間，對資料分析的需求猛增了 100 倍，Pandas 也因此獲得了更多人的關注、可以說是人氣飆升。

與此同時，Wes 和我也開始思考新的問題，比如那些不會寫 Python 的資料分析師要怎麼辦？於是我們創辦了 DataPad 做資料分析視覺化，DataPad 後來被 Cloudera 收購了。

再之後我進入到機器學習領域、並加入了 Tubi。在機器學習領域，表格資料（tabular data）和非結構化資料之間存在一個相當明顯的鴻溝。對於表格資料，有諸如 Python、 Spark 和 Pandas 這樣很高質量的工具可以使用，但對於影片和影像這類資料處理工作就不太理想了。

因此， 2022年，我和我們的 co-founder 們決定創辦 LanceDB，為非結構化資料打造新的儲存層。這就是我從量化分析師到 LanceDB 以來的整個過程。

Chang She：我們可以先回顧一下歷史上的重大技術趨勢。90 年代，企業開始數字化、大規模使用資料，這讓 Oracle 這樣的資料庫公司作為 infra 層興起。

進入 2000 年代，網際網路時代到來，先前的技術變得不夠用了。隨著 web-scale 資料的出現，從表格資料到 JSON 資料的轉變使 MongoDB 興起。

後來就進入到了雲計算時代，出現了 Snowflake 和雲資料倉庫。差不多同一時期，機器學習也開始流行，所以不再只是單一的資料倉庫，我們需要一種能夠儲存和連線不同工作負載的 infra，這就包括從簡單的執行 SQL 查詢，到深度學習訓練、模型工作等複雜的資料管道，這也讓 Databricks 成為了這個時代重要的 infra 公司。

而眼下，我認為 LLM 代表了一個新時代，尤其是多模態 AI 的出現。LLM 時代的特點是資料型別不同、資料規模遠遠更大、工作流程也大不相同。

另外還需要強調的是，目前還沒有 killer app 出現。因為 AI 領域暫時還沒出現類似 LAMP stack 這種標準架構作為基礎設施，所以我也看到有很多 data  infra 公司正嘗試定義 AI 時代的 LAMP stack ，但如果回顧之前的幾次技術浪潮，就會發現每一代技術對應的 killer app 是先出現的，在這之後人們才去構建相應的 infra。比如，網際網路普及之後才有了 LAMP stack 。

對於現在的 AI 同理，我們仍處於這個技術時代的早期，人們還在尋找 AI 時代的 killer app 是什麼。所以我認為現在下結論說 AI 的 LAMP stack 會是什麼樣子會為時過早。

Chang She：在 ChatGPT 釋出之前，我們就已經看到多模態資料很難管理了。尤其是對於自動駕駛廠商或者其他需要處理大規模 CV 資料的公司來說，他們可能會有資料的很多副本，一份用於訓練，一份用於推理，還有一份用於資料發現和探索。

我的聯合創始人來自 Cruise，他在 Cruise 參與搭建過一個大規模的機器學習平臺。對於 Cruise 的工程師來說，要完成一個迭代週期，他們需要學習四種不同的程式語言、七種不同的系統，並管理大約三份不同的資料副本。而且他們必須“相信”整個 pipeline 沒有出錯，因此資料管理問題是我們一開始想要解決的問題。

到後來，因為我們是開源的，我們透過社群發現 RAG 和向量檢索的需求很多，很多使用者發現用 Lance 搭建的系統在 RAG 相關用例中很方便。

到了今年我們更明確的是，RAG 在生產環境中對產出質量的要求是很高的。這意味著除了向量搜尋，使用者還需要其他檢索方法，比如全文搜尋、SQL 過濾、借鑑推薦系統中的 reranking 技術，這需要更高的複雜度。此外，透過使用者反饋，使用者可以對 embedding 模型和 reranking 模型進行微調，從而用少量資料和成本獲得更準確的檢索結果，而不是預訓練一個新的大型 embedding 模型。這一系列實現都比較複雜。

我們的早期使用者們發現，要實現一個好用的檢索需要用到很多個系統：一個用於全文檢索，一個向量資料庫，一個用於儲存實際資料的系統，一些自定義程式碼進行 reranking，並且可能還需要資料的其他資料副本用於 fine-tuning，以及自定義工作流等等。

LanceDB 就是想解決這個問題，這些都是人們絕對需要做的事情，但讓我們將其從五個系統簡化成一個系統，從而降低管理成本。

也因此，LanceDB 的 Lance 資料格式會是我們的獨特優勢之一，Lance 格式支援在一張表中儲存原始資料、元資料、向量和用於 fine-tune 的使用者反饋。它的自動版本控制確保了可複製性，並提供各種檢索方法。使用者可以在一個地方執行 SQL 查詢、全文搜尋、向量搜尋以及 reranking 和混合搜尋功能。這大大簡化了生產所需的複雜度。

Chang She：是的，我們當時沒有做完整的 RAG，但已經在做檢索。當時的自動駕駛行業已經發展了十年，容易解決的問題都解決了，剩下的都是長尾問題。而每天有大量資料進來，但可能 target 長尾問題的只有 0.01%，挑戰在於怎麼把這 0.01% 的 corner case 找出來。於是我們為此增加了許多不同的 retrieval 和 indexing 的能力，而retrival 加上向量 indexing 本質上就是一個向量搜尋系統了。

LanceDB 的第一批客戶也都是和自動駕駛相關的團隊，當時還有一些車廠以及製造飛機的公司都在嘗試做自動駕駛。另外還有一些規模比較小的公司，這些公司有大量的圖片或 PDF 檔案進行資訊提取和實體提取的需求。

Chang She：越來越多的公司開始對更高質量的搜尋能力提出需求。尤其是去年，推薦系統、電子商務和其他機器學習密集型行業的需求就出現了爆發式增長，人們認識到需要 embedding、向量搜尋和資料管理，至少是對於文字資料而言。

今年則更多關於多模態。現在多模態已經是一個共識趨勢了，並且他們正在想辦法輸入影像和影片。多模態的發展讓資料規模的增長將比傳統 AI 快得多。可能在四年前，只有 Google 或者 Meta 這樣的公司的資料規模是在 PB 量級，但現在，我們客戶中的一個影片領域的初創公司的資料規模就超過了 10PB 。

傳統資料 infra 的成本結構、效率和效能都無法應對這種新的規模，對於訓練或大量定製模型的公司而言存在很大的痛點，急需一種更有效的解決方案來管理如此大量的資料。

Chang She：現在每個行業都在嘗試用好 AI 能力，而且它們大多都需要 RAG 或語義搜尋能力，這意味著我們的使用者和客戶群體大大拓寬了。同時 AI-native 公司需要預訓練自己的大模型，這與傳統工作負載不同，他們現在必須管理比以前更多的資料，甚至比之前自動駕駛的工作負載所處理的資料量還要多。這些使用場景和工作負載也非常適合 LanceDB 的優勢。

Chang She：這個問題很有意思。現在多模態 RAG 也在成為一種趨勢，多模態的模型層和應用層也在發生很大變化。傳統方法中每種模態最終都會被對映到語言，但目前有很多研究繞過這種對映，透過建立不同模態之間更加原生的連線來實現更低的延遲和更復雜的用例。所以我認為 RAG 在多模態的語境下也會發生變化。

但總的來說，就像人有五感一樣，AI 也在朝著這個方向發展，在不久的將來，我們將擁有通用的輸入和輸出能力。對於 RAG 來說，prompt 和檢索的上下文也會是多模態的。在如何指令模型返回文字、音訊、影片以及這幾種模態的混合方面，會變得更加複雜，這意味著應用層會變得更厚，同時這些資料的管理也將成為一個相當有挑戰的問題。

具體有兩種方法：一種是，如果一個公司在生態系統中有足夠的影響力和資源，就有機會和能力來自己定義一套標準，並且隨著時間的推移，這個標準可能會被廣泛接受。

但對於 Lance 來說，目前我們的 use case 其實還沒有特別清晰，所以我們採取了另外一種方式，我們想以一種對各類 use case 都非常有價值的方式來做這件事，希望透過為社群提供巨大的價值，讓它成為行業應用標準（de facto）。

開源資料格式的使用者增長曲線會非常不同，一部分原因是 Apache Arrow 的流行。

Apache Arrow  出現之前，如果有人建立了一種新的資料格式，首先必須與市面上的工具進行一對一的整合，比如 Pandas、Polars、Spark 和 Snowflake。而 Arrow 作為記憶體格式標準，意味著所有這些系統都已經與 Arrow 實現了整合。

而 Lance 作為一種非磁碟格式，正是使用 Arrow 的標準型別系統和記憶體格式，Arrow 是我們的主介面。

因此，對我們使用者來說，他們甚至不需要考慮目前正在使用的是什麼磁碟格式，就可以很低成本、快速實現效能和可拓展性的提升。比如，如果他們之前是用 Parquet 格式來儲存資料，那麼只需兩行程式碼就可以轉換為 Lance 格式。如果用的是 Polars 或 Spark，也不需要做太多程式碼更改。

Chang She：這件事上有不同的觀點。有一些在資料行業經驗很豐富的人會認為：我們可以透過修改 Parquet v3 這一格式來滿足新的用例。

而我的觀點是，如果所有東西都將與 Arrow 這一標準整合，是否存在一個單一的資料格式標準就無關緊要了。不同的用例可能會有不同的標準。也許三到五年後，一個數據湖中會部分是 Parquet，部分是 Lance，也許還有部分是像 CSV 這樣的其他格式。但這對終端使用者來說並不重要，你只需為具體用例選擇最優的儲存格式。

Chang She：我傾向於這樣思考 Lance 的差異化。今天 AI 領域對資料有三個要求。首先，人們仍然需要快速掃描（fast scans）用於分析、查詢、過濾等；其實是隨機訪問（random access），即搜尋和檢索需要快速隨機查詢；第三點是需要能夠處理多模態資料，並高效處理大塊資料（large blobs）。

這裡其實存在一個 AI 資料的 CAP theorem，即其他系統或許擅長上面一點或者兩點要求，但還沒有一個能三者兼顧。Lance 的目標就是解決這三個問題。現階段除了 Lance 之外，還沒有其他系統能夠同時很好地滿足這三個方面需求。

我們一開始也嘗試在 Parquet 上面來構建，也考慮過修改 Parquet，但考慮到 Arrow 和生態系統的變化，從頭設計一個新的資料格式可能更有價值。

如果你現在依然採用 Parquet，並在旁邊想新增偏移量或索引（這是很多人的做法），索引可以快速定位到正確的行。但是由於 Parquet 固有的侷限性，獲取特定一行記錄會很慢，因為你需要讀取整個塊或整個行組才能獲得所需的一行資料。這是 Parquet 難以克服的根本問題。

快速隨機訪問之所以重要，是因為只有實現這一點，index 才能發揮真正價值。Lance 不僅提供了一種資料格式，還內建了索引格式，從而為各種用例（不僅限於向量搜尋）提供更優的查詢效能。

Chang She：在 LanceDB 的一個 row 中，我們可以同時儲存影像、文字、音訊、影片，以及與原始資料不同部分對應的任意數量的向量，在此基礎上也能實現任意模態跨資料檢索，並使用任意模態的方法處理檢索到的資料，這是 Parquet 無法高效實現的。大多數向量資料庫也不允許每行超過一個向量，因為它們是為提供 API 服務而設計的，而不是作為表格。

Chang She：如果只儲存向量，那就沒有任何 gravity，因為表只是一個索引，當你重新 embed 並建立新索引時，舊索引就會被丟棄。資料遷移成本來自於源資料，源資料並不會被改變，確實在實踐中可以改變 embedding 模型，但儲存待 embed 的原始資料（文字、影像等）的那個系統是難以遷移的。

關於 Lance，我們沒有討論到的一個有趣方面是它對模式演化（schema evolution）的支援。在建立新的 embedding 時，你不需要複製源資料。而有了 Lance，你可以在不復制源資料的情況下，刪除舊的 embedding 列並新增一個新的，這在 Parquet 中是做不到的。此外，Lance 支援時間回溯，讓你可以回溯到之前的 embedding 狀態，這也有助於除錯。

Lance 有一個元資料（metadata）層，不同的列和模式部分可以存在於不同的資料檔案中。然後不同的版本會寫出指示該版本相關檔案、模式及 blob 的元資料。透過這種方式，就可以在不重寫資料的情況下進行模式演化。

Chang She：我認為它們更可能長期共存。有些資料集和用例中，關鍵詞搜尋效果更好，而另一些則更適合向量搜尋。有效結合這兩者也是一個有趣的領域，比如說見證式搜尋（testimonial search）等。我認為在未來，各種應用都將擁有語義搜尋能力，而且更可能是這兩種搜尋方式的結合。

即使在 RAG 之外，AI 也正在引發巨大的搜尋革命。上一代 Web 應用都有響應關鍵詞搜尋的搜尋框，人們不得不接受它的搜尋質量，因為那是我們當時所能獲得的最佳選擇。現在，有了更好的搜尋能力和 RAG，人們看到那種陳舊的關鍵詞搜尋框將會覺得效果很糟糕。所以我認為很快就會進入一個新時代，如果你的應用不支援語義搜尋功能，使用者體驗就會變得糟糕。因為自然語言搜尋、對話式互動模式由於 ChatGPT 的興起變得更加核心，搜尋本身也已成為使用者體驗的更核心部分。這種轉變可能沒有受到太多關注，因為聽起來並不那麼 sexy，但它對行業來說也是有很大影響的。