3月1日,DeepSeek於知乎開設官方賬號,釋出《DeepSeek-V3/R1推理系統概覽》技術文章,首次公佈模型推理系統最佳化細節,並披露成本利潤率關鍵資訊。
文章寫道:“DeepSeek-V3 / R1 推理系統的最佳化目標是:更大的吞吐,更低的延遲。”為實現這兩個目標,DeepSeek的方案是使用大規模跨節點專家並行(EP),但該方案也增加了系統複雜性。文章的主要內容就是關於如何使用EP增長批次大小(batch size)、隱藏傳輸耗時以及進行負載均衡。
文章還率先披露了DeepSeek的理論成本和利潤率等關鍵資訊。“假定GPU租賃成本為2美金/小時,總成本為$87,072/天。……如果所有 tokens全部按照DeepSeek R1的定價計算,
理論上一天的總收入為$562,027,成本利潤率545%
。”(一財科技)