6 月 27 日，騰訊混元宣佈開源首個混合推理 MoE 模型 Hunyuan-A13B，總引數 80B，啟用引數僅 13B，效果比肩同等架構領先開源模型，但是推理速度更快，價效比更高。模型已經在 Github 和 Huggingface 等開源社群上線，同時模型 API 也在騰訊雲官網正式上線，支援快速接入部署。
開源地址：
Github ：https://github.com/Tencent-Hunyuan
HuggingFace：https://huggingface.co/tencent
據介紹，這是業界首個 13B 級別的 MoE 開源混合推理模型，基於先進的模型架構，Hunyuan-A13B 表現出強大的通用能力，在多個業內權威資料測試集上獲得好成績，並且在 Agent 工具呼叫和長文能力上有突出表現。
_* 加粗為最高分，下劃線表示第二名，資料來源於模型各個公開的測試資料集得分 _
對於時下熱門的大模型 Agent 能力，騰訊混元建設了一套多 Agent 資料合成框架，接入了 MCP、沙箱、大語言模型模擬等多樣的環境，並且透過強化學習讓 Agent 在多種環境裡進行自主探索與學習，進一步提升了 Hunyuan-A13B 的效果。
在長文方面，Hunyuan-A13B 支援 256K 原生上下文視窗，在多個長文資料集中取得了優異的成績。
在實際使用場景中，Hunyuan-A13B 模型可以根據需要選擇思考模式，快思考模式提供簡潔、高效的輸出，適合追求速度和最小計算開銷的簡單任務；慢思考涉及更深、更全面的推理步驟，如反思和回溯。這種融合推理模式優化了計算資源分配，使使用者能夠透過加 think/no_think 切換思考模式，在效率和特定任務準確性之間取得平衡。
Hunyuan-A13B 模型對個人開發者較為友好，在嚴格條件下，只需要 1 張中低端 GPU 卡即可部署。目前，Hunyuan-A13B 已經融入開源主流推理框架生態，無損支援多種量化格式，在相同輸入輸出規模上，整體吞吐是前沿開源模型的 2 倍以上。
Hunyuan-A13B 集合了騰訊混元在模型預訓練、後訓練等多個環節的創新技術，這些技術共同增強了其推理效能、靈活性和推理效率。
預訓練環節，Hunyuan-A13B 訓練了 20T tokens 的語料，覆蓋了多個領域。高質量的語料顯著提升了模型通用能力。此外，在模型架構上，騰訊混元團隊透過系統性分析，建模與驗證，構建了適用於 MoE 架構的 Scaling Law 聯合公式。這一發現完善了 MoE 架構的 Scaling Law 理論體系，併為 MoE 架構設計提供了可量化的工程化指導，也極大的提升了模型預訓練的效果。
後訓練環節，Hunyuan-A13B 採用了多階段的訓練方式，提升了模型的推理能力，同時兼顧了模型創作、理解、Agent 等通用能力。
圖：Hunyuan-A13B 後訓練四個步驟
為更好的提升大語言模型能力，騰訊混元也開源了兩個新的資料集，以填補行業內相關評估標準的空白。其中，ArtifactsBench 用於彌合大語言模型程式碼生成評估中的視覺與互動鴻溝，構建了一個包含 1825 個任務的新基準，涵蓋了從網頁開發、資料視覺化到互動式遊戲等九大領域，並按難度分級以全面評估模型的能力；C3-Bench 針對 Agent 場景模型面臨的三個關鍵挑戰：規劃複雜的工具關係、處理關鍵的隱藏資訊以及動態路徑決策，設計了 1024 條測試資料，以發現模型能力的不足。
首屆 AICon 全球人工智慧開發與應用大會（深圳站）將於 8 月 22-23 日正式舉行！本次大會以 “探索 AI 應用邊界” 為主題，聚焦 Agent、多模態、AI 產品設計等熱門方向，圍繞企業如何透過大模型降低成本、提升經營效率的實際應用案例，邀請來自頭部企業、大廠以及明星創業公司的專家，帶來一線的大模型實踐經驗和前沿洞察。一起探索 AI 應用的更多可能，發掘 AI 驅動業務增長的新路徑！
今日薦文
你也「在看」嗎？👇