大資料技術的飛速發展，揭開了基於海量資料實現深度分析與科學決策的新篇章，而以大語言模型為代表的人工智慧技術的崛起，正以前所未有的速度推動大資料分析變得更具洞察力。那麼，大模型訓練中資料儲存 IO 的瓶頸問題應該如何突破？資料智慧新正規化又是什麼樣的呢？

近日 InfoQ《極客有約》X QCon 直播欄目特別邀請了 大資料技術領域的資深專家趙健博擔任主持人，和北銀金科大資料開發部總經理助理李俊、焱融科技 CTO張文濤、數勢科技 AI 負責人李飛一起，在 Qcon 全球軟體開發大會 2025 北京站即將召開之際，共同探討 AI 算力瓶頸如何破局。

部分精彩觀點如下：

趙健博：AI 賦能的資料分析在多個領域不斷取得突破。那麼，AI 給哪些具體場景下帶來了變化，以及 AI 究竟是如何實現這些變革的呢？它又為我們帶來了哪些新的機遇和挑戰？

李俊： 隨著人工智慧，尤其是今年以來 DeepSeek 技術的發展，銀行從業者的工作效率和能力得到了顯著提升。首先是信貸審批，利用大模型撰寫盡調報告，節省了至少 30% 的人工時間。其次是智慧客服，透過大模型生成對話話術並結合情感分析，最佳化客戶體驗。第三是在合同審查，AI 自動識別合同條款，結合外部資料防範信貸風險，提升了 20% 以上的預警響應速度。最後是資料分析，我們推出了水晶球 Chat BI 工具，與指標引擎結合，降低了資料分析門檻，讓每個人都能輕鬆使用。

然而，我們也面臨一些挑戰。首先是資料安全，大模型可能繞過許可權，訪問敏感資料。其次是大模型的“幻覺”問題，生成虛假資訊可能導致使用者信任危機。最後是人才轉型的壓力，需要培養既懂業務又懂 AI 的複合型人才，同時幫助傳統員工適應新技術。

張文濤： 第一個是自動駕駛，尤其是在 2022 年，自動駕駛技術蓬勃發展，AI 在其中的應用逐漸成熟。到了 2023 年和 2024 年，許多自動駕駛車型已經變得相對成熟，效果也越來越好。另一個是私募量化，這個行業對 AI 的應用非常廣泛，特別是透過 AI 根據特定演算法進行訓練和模擬交易。其效果已逐漸顯現，許多股民在這個過程中被“割了韭菜”，這正是 AI 在小型量化投資領域的體現。

從儲存的角度來看，這兩個行業的挑戰在於對演算法和資料的高要求，特別是資料質量。在私募量化領域，歷史資料至關重要，只有透過高質量的歷史資料，才能進行模擬分析並預測未來市場趨勢。因此，如何處理原始資料並從中提取有效因子，成為關鍵。最終，AI 模型的訓練對儲存提出了更高要求。

李飛： 前段時間，谷歌剛開源了 AlexNet 的程式碼，我相信大部分人其實都挺有感慨的，因為 AlexNex 對深度學習的發展具有里程碑意義。其實，深度學習很早就被提出來了，但直到 2006 年，透過反向傳播演算法的提出，才逐漸讓落地成為可能性。在大模型出現之前，AI 雖然發展迅速，但多聚焦於小場景應用，如自然語言處理使用 RNN、LSTM，影像識別用 CNN 等。然而，AI 的泛化能力一直未得到充分保障，也缺乏與人類最自然的互動方式。

大模型的出現，讓人和機器之間的互動障礙逐漸消失，變得更加自然和流暢，並使得 AI 應用呈現井噴式增長。互動介面的簡化降低了理解和使用成本，極大擴充套件了應用場景。近兩年，AI 在程式設計和分析等領域的應用廣泛，尤其是 AI 程式設計，它降低了使用者寫程式碼的門檻，可以透過自然語言生成程式碼，減少了人與機器之間的複雜互動。智慧分析作為一個高門檻的應用，過去我們需要用 Excel 或專業軟體進行資料分析，技術要求較高，但現在，藉助 AI，只需簡單的指令就能完成複雜的任務。這將大大降低分析的門檻，使得更多人能夠輕鬆完成高階分析任務。

李飛： 將資料預處理和計算下放到儲存層，實際上是實現存算一體化或者說存算協同。傳統模式下，資料需要從儲存層傳輸到計算層，然後進行處理，這會涉及大量的網路 I/O、序列化和反序列化操作。如果計算下放到儲存層，資料移動的開銷將大大減少。儲存層本身具備分散式特性，能夠增強並行處理能力，例如透過分片策略實現並行預處理，從而提升效能。此外，新型儲存系統和硬體，如全快閃記憶體分散式儲存，能夠提供較高頻寬，進一步加速計算過程。

但也有弊端，首先，儲存層同時承擔存取和計算任務，可能導致資源競爭，如何設計有效的路由和排程策略是一個挑戰。其次，資料一致性問題。儲存層缺乏像傳統計算層中的容錯機制，可能導致資料丟失或重複，這對分散式事務處理構成挑戰。此外，將計算和儲存能力下放到同一層，可能會增加開發和運維的複雜度和成本。

所以，必須根據場景進行權衡。例如，在 AI 高頻場景中，像 KB 快取管理等，儲存層能夠直接過濾無效資料，減輕計算層負擔。此外，對於即時性要求較高的場景，比如銀行的交易資料預處理，存算一體化也是一種有效的解決方案。對於結果一致性要求極高的場景，或是涉及複雜計算任務的場景，如多表關聯和 ETL 等，儲存層的計算能力可能無法滿足需求。這類場景下，我們應根據具體需求謹慎選擇是否下放計算到儲存層。

李俊： 將資料預處理下放到儲存層，可以提高效能，但也會帶來架構上的複雜性挑戰。首先，這種方式可以在資料讀取時直接獲取預處理後的資料，減少傳輸到應用層或計算層的延遲，是一種“以空間換時間”的方法。例如，在進行多維分析時，可能採用這種技術。

然而，這也增加了系統設計的複雜性，尤其是在硬體和資料鏈路設計方面。資料預處理下沉到儲存層要求系統具備強大的計算能力，並支援預處理操作。同時，資料鏈路需要加入處理排程、校驗、備份和恢復機制，這對系統設計提出了更高要求。

適合下沉儲存層的資料預處理的場景需要靈活處理和最佳化的資料分析，尤其是多維分析和熱點資料訪問。例如，使用維度減少技術處理頻繁訪問的熱點資料。在這些場景下，儲存層處理可以有效提高效率。

張文濤： 將儲存分為專有儲存和通用儲存兩類，對於專有儲存，解除安裝計算任務到儲存層是可行的，在提升效能的同時還不會增加架構複雜度。在專有儲存中，我們可以構建極簡架構，專注於 AI 訓練和推理的儲存功能。DeepSeek 開源的 3FS 就是一個典型的專有儲存案例。

然而，如果是面向通用儲存的廠商，比如我們這樣的第三方儲存公司，情況就不同了。我們服務的使用者涉及多種業務，不僅限於某一特定業務。此時將計算下沉到儲存層會增加架構複雜度，因為儲存協議通常是通用的，我們需要在專有協議和通用協議之間找到平衡。

此外，儲存中的計算資源原本是為了應對峰值負載而預留的。如果將計算任務解除安裝到儲存層，可能會影響儲存效能。不過，解決方案也是存在的。比如，儲存裝置可以將計算任務轉移到硬體中處理，如透過讀卡或專用的計算單元（DPU）來加速計算。儘管如此，如果儲存廠商不做這些工作，其他廠商就會先行一步，可能會形成行業壁壘。

因此，我們在設計架構時，必須謹慎考慮如何解耦專有計算能力。雖然不可能一個儲存架構解決所有問題，但我們必須在架構設計上做出選擇，這些選擇通常是為了實現戰略目標而做出的妥協。因此，是否進行計算下沉，如何選擇架構設計，最終取決於使用者的戰略方向。

趙健博： 技術設計的最終決定往往依賴於業務需求發展的方向。關於計算下沉的技術已經提出一段時間了，並非特別新的概念。在大資料即時處理業務中，通常是從 Kafka 中獲取資料進行處理，然而受限於 kafka 的行儲存模式，在某些場景中不得不在客戶端進行過濾，這不僅浪費計資源還帶來了延遲的代價，所以針對這樣的場景，計算（過濾）下沉到 kafka 通常是比較好的選擇。

從通用方面看，我認為一些固定的計算任務，如壓縮、加密、過濾等，適合下沉到儲存層處理。而對於更復雜、更通用的計算，通常還是保持在計算層比較合適。此外，計算下沉到儲存層，但還可能會帶來穩定性問題。例如，大規模的資料掃描如果下沉到儲存層，可能會導致儲存服務節點過載；而同樣的作業在計算層，可以做到隔離，且隨時可以取消任務，這樣可以更靈活地進行控制。

趙健博： 在深度學習領域中，資料是基礎，算力是引擎。訓練一個模型需要大量的資料和算力，並且需要反覆迭代和驗證才能得到想要的模型。為了提升訓練效率，縮短訓練時間，所有元件之間都需要快速響應，這其中就包括了計算和儲存之間的互動。對於一個 AI 系統而言，模型的能力隨著模型尺寸和訓練資料的增加而顯著提升，但隨著資料集和模型規模不斷增加，訓練任務載入訓練資料所消耗的時間越來越長，進而影響了訓練效率，緩慢的 IO 嚴重拖累了 GPU 的強大算力。那麼，在這樣的背景下，大模型訓練場景對分散式儲存提出了哪些新的效能挑戰？

張文濤： 在多模態場景下，檔案的數量急劇增加，面臨的挑戰主要是儲存系統能否容納如此大量的檔案。因此，儲存的訪問效能也是一個挑戰，尤其是當檔案較小時，資料訪問的開銷會顯著增加。第二種挑戰是資料集的隨機訪問。資料集的訪問通常是隨機的，且需要讀取整個資料集，這種訪問方式打破了快取，導致快取效率低下。

第三個挑戰是 checkpoint 操作。每隔一段時間，訓練模型會進行 checkpoint 儲存，這個過程涉及同步寫操作，GPU 會暫停，直到寫入完成。這會增加儲存的開銷，並導致 GPU 空閒時間過長，降低計算效率。儘管非同步寫操作能在一定程度上解決這個問題，但依然是儲存的挑戰。

還有計算節點方面，資料通常從 GPU 視訊記憶體傳輸到 CPU 記憶體，再到儲存，這個資料鏈路在資料量較小的情況下，記憶體複製問題不會凸顯，但資料量較大時，記憶體複製的開銷非常明顯，成為效能瓶頸。當單節點的資料需求很大時，例如每秒傳輸 80GB 或 150GB 資料，記憶體頻寬的限制會非常明顯。此外，大資料集的訪問容易導致快取擊穿，快取失效時，延遲會急劇增加，影響效能。

最後是網路層面。傳統乙太網的延遲較高，相比於 RDMA 網路，延遲可能大兩到三倍。由於計算叢集的規模通常大於儲存叢集，計算節點可能同時向多個儲存節點請求資料，這種情況可能會導致網路擁塞，尤其是在高速無損網路環境下，這個問題更加明顯。

李俊： 金融行業，在構建知識庫時面臨類似的取捨問題。分散式儲存雖然在架構設計上更靈活，但確實也面臨效能上的挑戰。而集中儲存的優勢在於不同知識庫之間資料共享更便捷。如何在這兩者之間找到平衡，是我們面臨的一個難題。

零售資料訓練時，我們會處理 PB 級別的資料集。資料讀取的吞吐量要求非常高，因此分散式儲存系統必須進行橫向擴充套件，透過多節點來提升頻寬。在大規模的分散式訓練中，數百甚至數千個計算節點可能同時訪問儲存系統，這會極大增加源資料服務的壓力。面對高併發，我們需要將源資料服務進行分散式化，避免單點瓶頸。

此外，訓練資料通常包含大量的小檔案，如文字、圖片等樣本資料。傳統的分散式檔案系統在處理小檔案的讀寫時效率較低，因此我們需要對這些小檔案進行合併處理，將其轉化為較大的物件。這一過程帶來了額外的工作負擔，進一步增加了效能挑戰。

李飛： 大模型訓練的特性對訓練資料，尤其是海量資料，有著高要求。現在的大模型多采用自迴歸的網路結構，這對海量資料集有頻繁的順序讀取需求。儘管單次讀取的資料量較大，但在千卡或萬卡叢集規模下，叢集擴大將增加對 IOPS（每秒輸入輸出操作）的需求。

在大模型訓練中，checkpoint 儲存是必須的，它可以在訓練出錯時進行回滾，確保模型的持續訓練。這一過程需要視訊記憶體到儲存系統的高頻寬寫入。特別是現在模型的引數量越來越大，甚至達到萬億級別，對儲存系統的寫快取容量和吞吐量提出了更高要求。如果儲存系統無法提供足夠的提升，可能會導致訓練時間延長，從而增加訓練中斷的時間。

在推理階段，我們需要高效地將模型分發到 GPU 資源池。這要求儲存系統具有較強的高讀取快取能力，並且網路頻寬的效能要求也相對較高。為了最佳化這一過程，可以採用視訊記憶體、記憶體和儲存的分層快取策略，減少資料訪問延遲，提高推理效率。

趙健博： 針對 AI 訓練中的儲存需求，我認為需要實現的目標是高吞吐和低延遲的資料訪問，同時確保 GPU 的算力得到充分利用。GPU 算力停頓的幾個問題點如下：首先，在模型訓練中，checkpoint 的儲存過程會導致計算停頓，直接影響 GPU 算力的釋放時間。其次，訓練過程中涉及大量小檔案的載入，頻繁且大規模小檔案訪問會導致 IO 路徑上出現瓶頸，導致計算停頓。第三，訓練過程中還會有大量的網路互動，特別是在訓練作業進行引數同步時，網路的 IO 瓶頸也會導致計算停頓。因此，如何從這些問題入手，解決瓶頸，最佳化儲存系統的整體效能，是我們面臨的核心挑戰。

趙健博： 大模型訓練需要大量的資料和強大的算力，而儲存系統在其中扮演著至關重要的角色。隨著資料集和模型規模的不斷增加，訓練任務載入訓練資料所消耗的時間越來越長，進而影響了訓練效率。那麼，如何最佳化計算和儲存之間的互動，以提升訓練效率和縮短訓練時間呢？

李俊： 第一，利用分散式儲存系統。透過將資料分佈在多個節點上，這種系統能夠提供高併發、高儲存量的訪問，同時具備資料冗餘和容錯能力，從而增強系統的可靠性。第二，採用資料預取技術。這基於大模型訓練的資料訪問模式，透過智慧預測演算法，提前載入資料，減少 IO 等待時間。第三，採用資料並行和模型並行。在大模型訓練中，我們將訓練資料和模型分佈到不同的計算節點，實現資料和模型的並行。這不僅提升計算效率，還最佳化儲存互動，從而減輕單個節點的儲存壓力。

李飛： 對於 AI，特別是演算法來說，訓練資料的預處理非常關鍵。例如，將訓練資料轉換為像 TF record 這樣的格式，是為了將多個小檔案聚合成一個大的順序檔案。這樣做的目的是最佳化資料的讀取方式，將隨機讀取轉化為順序讀取，從而減輕儲存系統的壓力。

另外，透過多節點並行寫入大模型檔案，如 checkpoint 資料。清華大學和華為合作開發的高效能儲存系統大大降低了 checkpoint 的寫入時間，從小時級縮短到了分鐘級。這一最佳化在大模型訓練過程中，對儲存與計算之間的互動起到了重要作用，有助於提高訓練效率。

張文濤： 計算和儲存之間的互動本質上是從 A 到 B 的資料傳輸，關鍵在於資料傳輸的速度是否足夠快。從儲存角度看，網路必須是高速網路。如果網路本身存在瓶頸，那麼無論如何最佳化效果也會受限。目前一般採用 200G 或 400G 的 InfiniBand 網路，或 RoCE 網路，確保網路層面的高速傳輸。

此外，還需要提升儲存叢集的整體效能，可以透過兩種方式實現：第一是橫向擴充套件（scale-out），透過擴大叢集規模，提供更多的效能。第二是提升單節點的吞吐量和 IOPS（每秒運算元）。例如，使用高速磁碟（如 NVMe）代替 SATA 或 HDD，以提供更高頻寬，減少效能瓶頸。節點頻寬也非常關鍵，使用多網絡卡配置（如兩張 400G 網絡卡）可以大幅提升頻寬，從而提升資料傳輸效率。此外，避免跨 NUMA（非統一記憶體訪問）訪問記憶體，最佳化記憶體和儲存之間的資料傳輸，也是提升效能的重要措施。軟體層面，我們需要最佳化路由策略，採用並行方式減少序列寫入時間。此外，非同步佇列和協程的應用也能有效減少儲存系統的負載。

從業務角度來看，主要是元資料的壓力。訪問小檔案時，需要先查詢元資料，再開啟檔案，且訪問完後還需關閉。這些操作消耗了大量時間，因此小檔案聚合（如 TFRecord）可以減少元資料訪問，提高效率。英偉達推出的 GPU Direct Storage（GDS）技術，透過繞過 CPU 記憶體來減少記憶體複製，提高資料訪問的穩定性和效率。業務上，還可以透過批次傳送 IO 請求減少網路連線的負擔，提高儲存系統處理能力。

對於 Checkpoint 的最佳化，非同步是一個重要方向。例如，先將資料寫入 CPU 記憶體，再非同步寫入後端儲存，減少 GPU 的阻塞時間。最後，資料預讀技術也能有效最佳化 IO 效能。透過預測訪問資料並提前載入，後續訪問轉化為記憶體訪問，從而顯著提升整體效能。

趙健博：AI 時代的到來對資料工程師提出了更高的要求。傳統的資料處理和分析技能已經不足以應對當前的複雜需求。那麼，AI 時代的資料工程師需要哪些新技能？

李飛： 我們常說“AI for data”和“data for AI”。前者是透過 AI 來生產或者清洗資料，後者則是將資料與 AI 結合，推動資料分析的發展。從 AI 開發者的角度來看，“AI for data”可以為資料工程師提供技能支援。例如，傳統的資料工程師經常進行資料清洗、ETL（資料提取、轉換和載入）和資料建模等工作。過去，資料開發者可能需要透過統計模型來實現這些工作，而現在，大模型可以大大提升在程式碼能力和數學能力方面的表現，幫助快速發現數據中的問題，資料工程師可以利用大模型來提高資料清洗的效率。

此外，大模型也能幫助資料建模，特別是在表與表之間的關聯建模上。傳統上，資料工程師需要透過深入瞭解企業業務場景來建立這些關係，而大模型可以透過技術手段識別潛在的表關聯，並初步推薦建模思路。這種方式能大大提升工作效率，讓資料工程師能夠集中精力處理更復雜的建模和資料治理任務。隨著大模型在數學和編碼能力上的增強，我們的資料開發者也需要具備相關的思維和技能，更好地將大模型應用於日常工作，從而實現降本增效。

張文濤： 對於我們從事 IT 行業的程式設計師來說，每個人都應該擁抱 AI，擁抱 AI 意味著充分利用其能力來輔助程式設計。如果我們不擁抱 AI、不借助 AI 進行輔助程式設計，那麼我們的效率提升將會有限，團隊可能會落後。因此，我們要求團隊成員都應當使用 AI 來提升工作效率。當我們簡化了工作流程後，我們可以將更多時間投入到業務學習和理解上。

我認為大模型未來將成為像作業系統一樣的基礎設施，每個人都應瞭解大模型的基本原理，因為我們將基於這一基礎設施進行業務開發。我們不僅要知道如何使用它，還需要了解其背後的原理，這是我對未來發展的看法。

李俊：AI 時代的到來，使得資料的使用更加方便，特別是對於業務人員。比如我們公司得 Chat BI，它透過對話方式讓使用者直接提取資料並透過圖表展示趨勢和佔比。傳統的資料工程師需要寫 SQL、排程任務和使用 BI 工具來配報表，而 AI 時代的到來讓這一切都簡化了。

AI 的到來是為了提升我們的工作效率，而不是取代人。雖然 AI 簡化了許多工作，資料工程師並不會被取代，但他們需要轉型。首先，資料工程師必須在資料和業務之間架起橋樑，既要懂資料，也要懂業務。其次，資料建模能力依然重要，特別是在業務需求的基礎上進行模型設計，AI 短期內仍難以取代這一部分。

其次，隨著 AI 的普及，資料標註的需求大幅增加。尤其是在非結構化或半結構化資料的處理上，像風險分析中的客戶畫像資料，經常是 PDF 或 Excel 檔案，需要資料標註師從中提取標籤。資料工程師需要使用專業工具，標準化流程，確保標註的一致性和質量，這也是資料治理的一部分。

第三，資料工程師需要理解演算法並與演算法團隊緊密協作，資料工程師與演算法工程師需要充分理解對方的工作，並共同推動專案進展。AI 時代要求資料工程師不僅僅具備資料處理能力，還要能理解和支援演算法的實施。第四，AI 時代的到來帶來了資料許可權和安全管理的新挑戰，資料訪問需要嚴格的許可權隔離，確保不同層級使用者只能訪問相關資料。因此，資料許可權管理和安全問題需要我們在 AI 應用中進一步解決。

最後，未來會使用 AI 的人將會勝過那些不使用 AI 的人。因此，資料工程師需要更多地利用低程式碼或無程式碼工具，以更高效地滿足業務需求，快速實現業務目標。

趙健博：AI 時代的到來確實給每個工程師帶來了很大的變化，無論是資料工程師還是其他工程師，都必須懂 AI，會用 AI，並將 AI 技術應用到工作中。雖然 AI 提高了工作效率，人的產出能力將得到提升，但要創造更高的價值，仍然需要對業務有深刻的理解。只有理解業務，具備業務洞察力和決策能力，才能真正做出有價值的工作。

從資料工程師或資料分析師的角度來看，工作重點也會發生變化。過去，我們更多關注解釋發生了什麼、進行歸因分析，而未來，資料工程師與資料分析師將需要透過預測未來的趨勢，輔助業務做出決策，形成完整的業務決策閉環。這個轉變是資料工程師與資料分析師未來需要適應和發展的方向。

趙健博： 在大資料分析中，非結構化資料如評論、日誌等佔據了資料的絕大部分。這些資料蘊含著豐富的資訊，但傳統的分析方法往往難以高效挖掘其價值。那麼，大模型技術如何幫助我們提升非結構化資料的挖掘與分析效率？

李飛：AI 大模型給我們帶來的是一種資訊分發的新正規化，這個資訊包括結構化、非結構化的資料，以及從歷史資料中提取的“know-how”知識，大模型的作用在於能夠將這些知識進行有效分發。與過去的搜尋引擎和推薦系統不同，大模型透過主動推送資訊和工具，幫助我們更高效地獲取所需的內容。因此，資訊和知識的分發已成為 AI 的核心價值之一。

在提升非結構化資訊處理效率方面，已有許多技術應用，如 RAG 和影片推薦等。然而，RAG 的實際應用盡管初步落地比較簡單，但要做好卻非常困難。RAG 的核心技術包括召回、增強生成、排序等技巧，但當處理企業內部複雜的、碎片化的資訊時，會導致技術難度大大增加。企業內部的文件可能包含多種形式的資料，如 PDF 檔案中的影像和表格。

此外，如何高效地索引文件、去除冗餘資訊，並確保大模型在生成回答時不受到過多冗餘資訊的干擾，也是技術上的難題。即使使用現有的元件平臺或開源工具，也不能簡單地完成企業內部所有非結構化資訊的挖掘工作。此外，語音、文字和影像的處理單獨進行相對簡單，但如何將不同模態的資料進行有效串聯並進行聯動分析，以滿足使用者的需求，這是非常複雜的。做得好並不容易，尤其是在將 80 分提升到 95 分時，技術細節和最佳化過程是非常複雜的。

在 AI 大模型重塑軟體開發的時代，我們如何把握變革？如何突破技術邊界？4 月 10-12 日，QCon 全球軟體開發大會· 北京站 邀你共赴 3 天沉浸式學習之約，跳出「技術繭房」，探索前沿科技的無限可能。

本次大會將匯聚頂尖技術專家、創新實踐者，共同探討多行業 AI 落地應用，分享一手實踐經驗，深度參與 DeepSeek 主題圓桌，洞見未來趨勢。