阿里雲重磅釋出開源模型Qwen2，效能超Llama3-70及國內眾多閉源模型

整理 | 褚杏娟

6月7日，阿里雲更新技術部落格，並重磅釋出開源模型 Qwen2-72B，效能超過美國最強的開源模型 Llama3-70B，也超過文心 4.0、豆包 pro、混元 pro 等眾多中國閉源大模型。所有人均可在魔搭社群和 Hugging Face 免費下載通義千問最新開源模型。

官方表示，相比 2 月推出的通義千問 Qwen1.5，Qwen2 實現了整體效能的代際飛躍。在權威模型測評榜單 OpenCompass 中，此前開源的 Qwen1.5-110B 已領先於文心 4.0 等一眾中國閉源模型。剛剛開源的 Qwen2-72B，整體效能相比 Qwen1.5-110B 又取得了大幅提升。

在上海人工智慧實驗室推出的 OpenCompass 大模型測評榜單上，此前開源的 Qwen1.5-110B 已領先於文心 4.0 等一眾中國閉源模型

通義千問 Qwen2 系列模型大幅提升了程式碼、數學、推理、指令遵循、多語言理解等能力。在 MMLU、GPQA、HumanEval、GSM8K、BBH、MT-Bench、Arena Hard、LiveCodeBench 等國際權威測評中，Qwen2-72B 斬獲十幾項世界冠軍，超過美國的 Llama3。

Qwen2-72B 在十多個權威測評中獲得冠軍，超過美國的 Llama3-70B 模型

通義千問團隊在技術部落格中披，Qwen2 系列包含 5 個尺寸的預訓練和指令微調模型，Qwen2-0.5B、Qwen2-1.5B、Qwen2-7B、Qwen2-57B-A14B 和 Qwen2-72B，其中 Qwen2-57B-A14B 為混合專家模型（MoE）。Qwen2 所有尺寸模型都使用了 GQA（分組查詢注意力）機制，以便讓使用者體驗到 GQA 帶來的推理加速和視訊記憶體佔用降低的優勢。

Qwen2 系列包含 5 個尺寸的預訓練和指令微調模型

在中英文之外，模型訓練資料中增加了 27 種語言相關的高質量資料，提升了模型的多語言能力。Qwen2 還增大了上下文長度支援，Qwen2-72B-Instruct 能夠完美處理 128k 上下文長度內的資訊抽取任務。

魔搭社群模型下載地址：

Qwen2-72B

https://modelscope.cn/models/qwen/Qwen2-72B

Qwen2-72B-Instruct

https://modelscope.cn/models/qwen/Qwen2-72B-Instruct

據悉，通義千問 Qwen 系列模型總下載量在過去一個月內翻了一倍，已突破 1600 萬次。全球開源社群已經出現了超過 1500 款基於 Qwen 二次開發的模型。Qwen 系列的 72B、110B 模型多次登頂 HuggingFace 的 Open LLM Leaderboard 開源模型榜單。

6 月 7 日，Qwen2 系列模型的 API 第一時間登陸阿里雲百鍊平臺。TensorRT-LLM、OpenVINO、OpenCompass、XTuner、LLaMA-Factory、Firefly、OpenBuddy、vLLM、Ollama 等眾多全球開源平臺和工具也宣佈支援 Qwen2 最新款模型。除了美國 Llama 開源生態之外，通義千問已成為全球開發者的另一主流選項。

內容推薦

大型語言模型（LLM）在多個領域的應用實踐日益廣泛，繼而面臨著更大的技術挑戰。我們蒐集了來自業界頭部公司的技術專家結合企業實際業務需求探索出的實踐方案，他們給出了切實可行的思路和建議。「AI前線」整理了AICon 北京 2024上大模型推理、基礎設施及RAG實踐相關PPT以及資料。關注「AI前線」，回覆關鍵詞「LLM實踐」即可免費獲取。