王子涵：我目前在美國西北大學 MLL Lab 攻讀博士學位。我的研究方向主要包括智慧體決策（Agent Reasoning）、大語言模型等，近期也在探索長文字與效率增強（ Efficiency Enhancement）的相關課題。我的導師李曼玲老師曾在斯坦福大學李飛飛和吳佳俊組裡從事博士後研究，所以我們課題組的部分工作也涉及多模態建模與機器人（Robotics）。

再之前，我本科畢業於中國人民大學高瓴人工智慧學院，去年曾在 DeepSeek 公司實習半年，接下來暑假會繼續做 Agent，去一家 AI Agent 創業公司 Yutori 實習。

王子涵：我大部分工作都開源了。其實我最早參與且比較出名的，是 2023 年暑研在季姮教授團隊開展的 Agent 相關研究，我們大概是二月份左右開始做，最後構造了一個測試 Agent 能力的 Benchmark MINT，在當時做 Agent 是一個比較超前的選擇。這是第一個影響力比較大的開源工作。

我也參與了 DeepSeek-V2 的研發，不過不是核心的貢獻者，現在正在做用 DeepSeek-R1 相關技術結合 Agent 的開源專案 RAGEN，之後也會發一個正式的技術報告。

王子涵：模型開源有不同的層次。第一，當然必須有技術報告。DeepSeek 的技術報告就是一個把所有東西都講得很清楚的示範。

其中 V3 是最詳細的，真的是所有人都會去貢獻，技術組幾乎每個人都去寫程式碼，都去想辦法驗證自己的 idea。

王子涵：對，我們會覺得團隊裡每個人都有貢獻。其實不止有梁老闆的名字，還有資料標註、Business（商務）這些。你只要在這個團隊裡，都會出貢獻的。

而且 V3 （的報告）這麼細，也因為它是一個基座模型（Base Model），包括預訓練、微調、資料等一系列工作，工作量非常大，因此出一份 50 多頁的報告不足為奇。

而 R1 是基於 V3，在上面迭代出了一套強化學習方法。R1 的技術報告，把強化學習講清楚，就是一個非常好的報告了。

王子涵：其實 DeepSeek 去年並不出圈。而今年大家注意到它之後，再去看之前的報告，發現每一個都非常詳細，寫得非常好。

這就是開源的關鍵第一步：要有一個很好的報告，記錄你到底做了什麼事；它要服務於讀者，讓讀者能由高到低，由淺入深地理解你的技術。

王子涵：還有就是開源模型權重。模型權重一般在 HuggingFace 上下載，比如進入一個模型的頁面，點 “use this model”，然後可以選不同的 Library，你可以用 Transformers Library，也可以用 vLLM。

Transformers 不僅是一個開源推理框架，也是一個訓練框架，由 HuggingFace 維護。vLLM 是一個開源推理框架。

這就來到大模型開源的更深層次，就是開源推理與訓練的程式碼，或者說推理與訓練框架。

這裡我介紹兩個開源的推理框架，一個是 vLLM，它是最廣為人知的推理框架之一，它在 GitHub 上的 “星”（star）快 4 萬了，Issues（其他開發者的提問）有幾千，Pull Requests（大家對這個程式碼庫的程式碼修改）也有好幾百，生態做得比較好。

王子涵：最開始是伯克利、斯坦福的一群人，是基於他們發的 PagedAttention 那篇論文。當然現在貢獻者就很多了，已經有 800 多人了。

另一個比較新的開源推理框架庫是 SGLang，貢獻者也很多。相比 vLLM，SGLang 跟潮流更緊，比如 DeepSeek-R1 出來後，他們第一時間就說支援 R1 的程式碼。這兩個庫各有特點，有一些不同的最佳化方向。

王子涵：大部分公司會開源技術報告和模型權重，開源推理框架的比較少，開源訓練框架的更少。

位元組其實開源了一個訓練框架 Verl（Volcano Engine Reinforcement Learning for LLMs）。我在做 RAGEN 時就用了 Verl，它能比較好地支援強化學習，比如 PPO 演算法、分散式並行策略，如 FSDP 等。這套框架陪我度過了一些時期。

王子涵：因為涉及的工作非常複雜。比如在公司裡內部開發，可能不會那麼在意程式碼規範，但要開源就要寫得很清楚。

王子涵：幾乎沒有公司開源資料集。因為資料會比較敏感。比如在網上爬公共資料時可能包含了個人隱私或版權內容，開源後容易引發爭議。

多數公司在技術報告裡會提到資料混合比例，但不會放原始資料。這不完全是大家沒能力或沒意願，主要還是安全性考慮。

王子涵：除了資料集，應該都開源了。

王子涵：對，逐漸在開一些，但第一個開的應該是我當時做的 ESFT，就是 Expert-Specialized Fine-Tuning（專家專用微調）。

在混合專家模型（MoE）中有不同的專家，每個專家各有特點，和不同的任務有親和性，也就是在某個任務下，某些專家的啟用會更明顯。

我們當時就想，能不能利用這個特性做更高效的模型微調，只微調和某個任務更相關的專家，其它的不調。這能減少計算資源，也能讓 “專業的人做專業的事”，提高模型泛化能力。

王子涵：主要是規範程式碼。再就是要讓開源的這部分框架適配外部已經開源的整體框架。

因為當時他們（DeepSeek）暫時沒有開源整個大基礎庫的打算，而我編寫的程式碼都是基於這個大的庫，那就需要用已經開源的框架再寫一遍，讓社群更好用起來。

當時做 ESFT 時，規範程式碼花了很久，大概一週多；適配開源的庫花了兩三天。

王子涵：挺久了！一週多我能跑模型，能做很多實驗，能幹很多事。

這是一個優先順序的問題。當你覺得自己的演算法很有前景時，你當然會想先最佳化演算法本身；但如果你覺得開源給社群用起來更重要，那做好開源的這些配套工作的優先順序就更高。

王子涵：非常需要！而且很多公司正因為在開源上積澱比較少，就更需要下功夫。比如開源要怎麼把程式碼寫規範，這是沒有一個系統教育的事。我在美國和一些人合作，有時也會發現 idea 很好，但程式碼細節看了比較難受。

王子涵：他們內部其實有一套模型訓練和推理的框架。以 FlashMLA 為例，它算是一個推理加速的工具。DeepSeek 也有可能去開源 DeepSeek-V2、V3 或 R1 的訓練和推理框架。（此後幾天確實開源了相關工作。）

王子涵：其實 DeepSeek 很多創新的目標都是提高效率，幾乎每一個都是。以 V3 為例，有三項主要創新點：一是採用了 Meta 的 multi-token prediction（多令牌預測），模型能一次輸出兩個 token（之前是一次輸出 1 個）。

二是低精度訓練，即用更小的位元來儲存資料，達成差不多的訓練效果，這也是效率提升。（注：DeepSeek-V3 訓練時大規模使用了 FP8 這種低精度、但高效率的資料格式，再結合一些別的資料格式做了混合精度訓練）

三是和模型並行相關的。在執行流水線並行時，會出現較多 “空泡” 現象，比如要先進行前向計算，再進行反向計算，模型的不同層可能是閒置的，沒在處理任何向量。此前採用的策略是模型的第一層在處理完第一個 Tensor（張量） 後，將其傳遞給第二層，同時第一層開始處理第二個 Tensor，持續推進流水線並行。Deepseek 在這個流程中進一步最佳化，減少了閒置的塊的數量。所以我覺得它的每項創新都挺追求效率。

王子涵：對每一類開發者都挺有幫助。FlashMLA，有人會注意到 MLA，也有很多人注意到它是 Flash，就是它對系統做了一些底層最佳化，應該是寫了很多運算元。而很多開發者不會做到這一層。

之前 FlahsAttention 就是做了系統最佳化。它和標準 Attention（注意力機制）都是在做相同的矩陣運算，但系統層運算元最佳化能讓它算得更快。

王子涵：對。以矩陣乘法為例，常規思路是逐個計算。但因為 GPU 可以平行計算。那在運算過程中，如果能以 GPU “更能聽懂” 的方式去給指令，就能顯著提升運算效率。

比如可以合併運算——利用加法結合律、乘法結合律、加法交換律等數方式調整運算順序，最終運算效率可能會不同。

FlashAttention 是一個很經典的例子。Attention 計算過程中，原本包含多種不同運算，FlashAttention 給它合併為一種運算，然後在 GPU 中一次性完成。

因為 GPU 其實有好幾層。簡單理解，最裡面那一層最小、但算得最快，外面有層比較大，能裝更多東西，但算得沒那麼快。實際計算過程，就是把外層一個大矩陣一批批送進去裡面操作，這個運送是比較慢的。如果能只送一次，在裡面做完多種操作再送出來，就會比較快。

王子涵：在我看來是能力差異，我自己就不太會寫。

我去年有一個失敗的專案，是想讓大語言模型做線上訓練（Online Training）。此前，語言模型都是離線訓練（Offline Training）的，就是用得到的資料，再用資料裡的獎勵訊號去訓練模型。

我們當時想讓語言模型能即時生成資料，然後透過環境或一個獎勵模型給出反饋，評判資料好壞，再進一步去訓練模型。當時我們認為這個過程很簡單：模型生成資料→獲得反饋→更新模型→繼續生成新資料。

然而在編寫程式碼時遇到了難題。寫程式碼有兩個方法，一是用當時比較厲害的推理框架，但我們不太會改那個框架，它寫到了運算元層的最佳化，我們也看不太懂，相當於這個模型就 “固定” 了，你不能一邊讓它生成東西，一邊更新模型。

還有一種方式就是我們自己去寫推理框架，但是真的沒能力做這個事。我們要寫一個能生成得很快，又能相容模型更新的庫，很難。

我講這個例子是想說，很多時候一些看似簡單的操作，卻需要很大努力才能做到工程實現。

王子涵：FP8 就是 DeepSeek-V3 的低精度訓練。FlashMLA 本身是一個最佳化 Attention KV cache 的技術，它如果能和模型精度的改進結合，就會更快。

Deepseek 這次開源 5 個庫後，還有一項比較需要投入精力的工作，就是綜合這 5 個庫，索引只是一部分，另一個可能是合成一個庫，讓開發者能隨心呼叫 5 個庫裡的不同內容。但這個融合過程也可能出 bug，就需要做更多工作。