AI 領域的「開源狂歡周」終於迎來最終時刻！

DeepSeek開源周最後一天，直接放出終極殺器：

Fire-Flyer File System（3FS）——AI 訓練 & 推理的超高效能分散式儲存系統，讓資料吞吐量飆升到 6.6 TiB/s。

smallpond——基於 DuckDB + 3FS 的輕量級大資料處理框架，PB 級資料處理從此不再卡頓。

與此同時，OpenAI 也終於憋不住了，正式釋出 GPT-4.5：

最大、最貴、最“懂”人的 OpenAI 模型，專注情商最佳化，不過 API 價格直接貴到離譜…

開源專案地址：

https://github.com/deepseek-ai/3FS

https://github.com/deepseek-ai/smallpond

專案一經發布，網友紛紛表示：

多角度出擊，厲害了。

這個 Fire-Flyer 檔案系統聽起來就像是一個火箭動力的橡果發射器。

一、3FS

3FS（Fire-Flyer File System） 是 DeepSeek 專門為大規模 AI 訓練 & 推理設計的高效能分散式檔案系統，完美解決儲存瓶頸，讓 GPU 不再被 I/O 拖後腿，吞吐量 6.6 TiB/s。

3FS 核心特點：

超大規模分散式架構——可以橫向擴充套件，結合 上千塊 SSD + RDMA 網路，實現儲存資源的全域性排程；
超高速吞吐——官方實測，在 180 個儲存節點上，讀吞吐量高達 6.6 TiB/s；
高一致性——使用 CRAQ（Chain Replication with Apportioned Queries）協議，確保所有計算節點的資料訪問都保持一致；
AI 訓練 & 推理最佳化——支援 Dataloader 加速、LLM 推理 KVCache 快取、並行 Checkpoint，讓大規模的大模型訓練速度拉滿。

效能到底有多猛？

儲存節點：180 臺伺服器，每臺配置 16 塊 14TiB NVMe SSD + 2×200Gbps RDMA**

500+ 計算節點並行讀寫，訓練任務背景負載下仍能保持

6.6 TiB/s 讀吞吐量。

具體最佳化點

儲存解耦：計算節點可以不關心資料分佈，任何節點都能快速讀取資料，不再受本地儲存限制；
智慧資料流排程：基於FoundationDB 事務型 KV 儲存，支援高效的元資料管理，查詢 & 讀取超快；
KVCache 支援：LLM 推理時，直接將 KVCache 儲存在 3FS，而不是消耗寶貴的 GPU 記憶體，高吞吐 & 低延遲 解決方案來了。

一句話總結：3FS讓AI訓練的儲存最佳化更上一層樓！

二、smallpond

除了 3FS，DeepSeek 還放出了 smallpond，這是一款 輕量級大資料處理框架，基於DuckDB + 3FS，讓PB 級資料處理變得超簡單！

smallpond 亮點：

無狀態，開箱即用——不像 Hadoop/Spark 需要複雜部署，smallpond 直接 Python 匯入即可用，簡單高效；
DuckDB + 3FS，計算效率拉滿——支援 SQL 查詢，像操作資料庫一樣處理超大規模資料集；
極致效能——實測在 110.5 TiB 的資料集上，30 分鐘完成排序，吞吐 3.66 TiB/min！

上手也十分簡單，讓我們來看一下。

安裝


pip install smallpond

快速使用:


import smallpond

sp = smallpond.init() 
# 初始化 smallpond
df = sp.read_parquet(
"data/large_dataset.parquet"
) 
# 讀取 Parquet 檔案
df = df.repartition(3, hash_by=
"user_id"
) 
# 資料分割槽
df = sp.partial_sql(
"SELECT user_id, COUNT(*) AS event_count FROM {0} GROUP BY user_id"
, df) 
# SQL 處理
df.write_parquet(
"output/result.parquet"
)
# 儲存結果
print
(df.to_pandas())