編輯：Sia
「造芯」不易，「用芯」更難。
大模型加速落地，國產晶片需求日盛，但模型真正能在國產芯上「開箱即用」者寥寥無幾——這關鍵的「最後一公里」，誰來鋪路？
現在，有個社群牽頭 「組隊攻堅」 ，給出了一種解法。
6 月 30 日，百度文心大模型 4.5 系列正式開源，並同步登陸 AI 開源社群——魔樂社群（ Modelers.cn ）。
趁熱打鐵，魔樂社群同步正式發起「模型推理適配協作計劃」（以下簡稱「適配計劃」），集結開發者、演算法團隊、晶片廠商與推理工具夥伴，共建開源協同生態。
目標只有一個：讓大模型跑遍中國芯。
開源模型如何跑遍中國芯？
先拆解一下「適配」這件事到底在適配什麼。
一個大模型順利實現推理應用落地，要跨越三道檻兒：
-
適配推理引擎：先讓引擎「讀懂」模型，能解釋其結構、識別其運算元；
-
適配計算平臺：讓晶片「聽得懂」引擎分發的任務，高效完成各類操作；
-
適配上層排程：讓模型能被業務系統便捷接入呼叫，真正上線服務。
當前，業界已發展出多樣化的工具來支援大模型推理和適配的各個環節。
比如，vLLM 等高效能推理引擎，CANN、MUSA 等計算架構，FastDeploy、FlagServing 等部署工具，以及眾多開源的模型轉換、量化、融合工具等……這些工具在各自領域都發揮了重要作用，整個工具鏈其實已經相對完整。然而，挑戰在於如何有效連線和協同這些分散的工具鏈與適配經驗。因此，亟需一個跨環節的協作平臺與機制，把這些資源組織起來，解決「最後一公里」的適配難題。
於是，魔樂社群推出「模型推理適配協作計劃」，並動手做了幾件事。
第一件事，是把原來的「映象中心」升級為「工具中心」，位置也從「更多」選單一躍來到首頁 C 位，對標模型庫、資料集 ——
這一調整絕非簡單的位置遷移，而是將開放的工具鏈提升至與模型、資料同等重要的生態基座地位。
現在，開發和部署工具，與模型庫、資料集並列首頁「C位」。
類似模型庫的運作邏輯，「工具」中心將提供模型轉換遷移工具，也將支援開發者上傳自己適配好的推理映象、工具鏈和執行環境，還可以對已有映象進行更新。
每次釋出需社群稽核，確保質量穩定、可複用。
與此同時，「工具」依舊保留了程式碼託管能力，方便開發者在魔樂生態內實現適配共享。
換句話說，升級後的板塊就是想讓「環境跟著模型走」，將碎片化的適配經驗沉澱為標準化、可複用的結構化基礎設施，讓後續開發者無需重複造輪子，直接站在已有成果上推進適配和效能最佳化，大幅降低協作成本。
另一件事，是把託管板塊升級為協作空間。
以前，模型架構和權重檔案一經上傳，基本就「塵埃落定」。但像 Readme 文件、適配好的推理程式碼等內容，卻得隨著晶片、工具鏈適配進展不斷更新。
比如，今天模型適配了一個晶片，明天又支援了另一種，這些資訊和程式碼都得有人來更新和上傳，並且不同開發者的適配成果可能分散在各處，難以彙總複用。
現在，在「協作空間」——
所有使用者均可提交 PR（程式碼合併請求），共同參與文件撰寫、適配程式碼開發與推理配置最佳化。
文件即程式碼：Readme 不再是靜態說明，而是支援多人即時編輯的協作載體，適配進展、使用指南等資訊即時同步。
比如，模型開發者上傳了一個大模型到魔樂社群，不止模型權重，還有配套的推理工具鏈。一旦模型被標記為「基礎模型」， 模型卡片就會自動開啟「協作」入口。
這時候，開發者可針對不同晶片上傳獨立的適配程式碼分支，形成版本清晰的 「晶片適配庫」。
例如，如果有工程師想將模型適配跑在某款晶片上（例如昇騰），只需要點開「協作」按鈕，選擇目標推理引擎，新建一個「Ascend」資料夾，提交適配後的推理程式碼，提個 PR，就能提交到社群。
社群會有稽核機制，一旦驗證透過，就能被正式合入模型專案中，成為社群認可的適配版本。
每一個適配版本，就是一個獨立的子工程，版本分明，職責清晰，協作記錄也都有跡可循。
除程式碼外，適配過程中產生的量化權重、最佳化配置等資產也可透過 PR 提交，形成完整的技術方案。
這種機制將分散的適配工作聚合到統一平臺,支援一鍵下載與二次開發, 避免了成果碎片化，讓每一次適配進展都能沉澱為社群共享的資產。
為了讓「適配計劃」真正跑起來，魔樂社群廣泛聯動產業力量。
一方面聯動壁仞科技、海光、華為（昇騰）、摩爾線程、沐曦、算能、燧原科技等國產算力廠商（按中文首字母排序，無先後順序），為開發者提供硬體、工具和技術支援。
另一方面，整合多元化適配和推理軟體生態，並聯合工具夥伴，助力開發者快速掌握適配工具鏈，實現跨硬體平臺與引擎組合的深度推理效能調優。
與此同時，還牽手夥伴共建教程、補文件、傳經驗，手把手幫開發者跑通流程、填平坑點。
接下來，「適配計劃」 將持續開放，持續吸納更多晶片廠商、模型開發者與開發者加入；SIG（特別興趣小組）技術組也將進入常態化運作，聚焦適配技術攻堅與標準制定。
若此協作機制成功運轉，將有望解決國產晶片生態最棘手的 「協同短板」—— 讓模型與晶片的適配從 「零散突破」 走向 「體系化落地」，為國產 AI 算力生態的閉環構建提供關鍵支撐。
「適配計劃」背後
很多人還記得，DeepSeek-R1 爆火出圈後，一件不太常見的事發生了：國產晶片廠商「組團發聲」，紛紛宣佈已完成對該模型的適配，並表示正在推進更多大模型的適配工作。
國產模型火了，國產算力也想借勢出圈。背後的邏輯其實很直接——
只有模型真能在國產晶片上穩定跑起來，晶片才有機會真正用起來。
但現實卻很尷尬：大模型加速落地，隨著金融、政務、製造等重點行業對「自主可控」的需求越來越強，國產晶片的出場機會越來越多，然而，真正能做到「即拿即用」的大模型，依舊寥寥無幾。
為什麼會這樣？
首先，這和開源模型本身的特點有關。
開源大模型不是一個「裝好就能跑」的整包，它往往拆成模型架構、權重和推理程式碼三塊。HuggingFace這樣的開源平臺聚焦模型分發和訓練等，並不側重構建異構算力的協同適配機制。
其次，是技術層面的現實難題。
國產晶片之間架構差異大，很多都有自己獨立的推理引擎。同一個模型，想讓它在不同晶片上跑得通、跑得快，就得「量身定製」——專門做適配、排程、最佳化。
比如，有的晶片需要做量化來壓縮模型體積，有的要進行運算元融合來提速。
現在，這些活兒是誰在做？
一部分由模型廠商親自下場，但資源有限，很少有團隊會專門為不同國產晶片配專屬工程師。
更多時候，是晶片廠商主動出擊。隨著大模型推理結構的日趨標準化、運算元體系逐步統一，「自己動手」的門檻已顯著降低。就像 DeepSeek 爆火之後，一些廠商為了儘快跑通，從晶片指令集到記憶體管理、資料傳輸都做了大幅調整。
還有一類，就是開發者出於興趣或業務需求自發適配。但這類工作高度分散、重複投入嚴重，質量也參差不齊。
對比之下，為什麼 Hugging Face 上的模型大多都能在英偉達 GPU 上開箱即用？靠的不是單一廠商的「單點突破」，而是整個生態高度打通，工具鏈成熟完善。
這也是魔樂社群「適配計劃」要解決的核心問題——
不再單打獨鬥，透過構建統一的協作框架，串聯模型開發者、晶片方、工具方與開發者，形成生態合力，一起把模型從「能釋出」推到「即插即用」。
魔樂：AI 開源的「中國樣本」
為什麼是魔樂來牽頭做這件事？
答案要從它的「出身」和「使命」說起。
2024年 8 月，在央企巨頭、中國電信天翼雲的牽頭下，魔樂社群正式上線。與很多主打「模型集市」的開源平臺不同，魔樂從一開始就瞄準了另一個更現實、也更棘手的問題：
開源 AI 發展，要的不只是「程式碼開放」，還得「能協同、能落地」。
模型當然重要，但真正推動國產 AI 落地的，不只是一個個模型，而是支撐它們生長的底座系統——包括開源資料集、適配工具、部署引擎，乃至合規、排程、治理等基礎能力。
因此，魔樂選擇做一個中立、公益的開源社群，扮演「國產 AI 落地的基礎設施」。
他們從零搭出一套覆蓋模型、資料、工具、應用與算力五大板塊的開源協作體系。
社群已匯聚1000+ 優質大模型、涵蓋 TeleChat、DeepSeek、Qwen、智譜等大模型，其中多數都已經適配好國產算力。
依託天翼雲及「算力朋友圈」供給，社群可提供公益性國產化算力資源。
最直觀的體現就是魔樂推出的「線上體驗空間」：
基於社群提供的模型和算力，開發者可透過 Gradio 等主流 SDK 快速搭建 AI 應用，並一鍵部署、分享。
還有線上、線下的學習交流活動。
魔樂社群不只有線上平臺，最近還正式成立了理事會，進一步規範社群管理與生態共建。
「中國樣本」，步步為營
不到一年時間，魔樂就搭起了生態的基本盤——
已聚合超過 20 家深度合作伙伴，託管模型、資料、工具等各類開源專案累計突破 1 萬個；
首發多個昇騰適配大模型，推動模型實現國產化原生適配；
模型、資料與工具融合共建，已上線 200 多個國產化 AI 應用。
更重要的是，這套生態始終圍繞「產學研協同」展開，AI 落地的挑戰正在被「共建、共享」的生態正規化一點點瓦解。
魔樂社群致力於發掘、打造和推廣好的專案。一方面，深耕高校等原生創新場景，定向發掘一批基於國產算力起步的潛力專案。
另一方面，透過「國產算力應用創新大賽」等機制，實戰中篩選優質標的，推動它們與底層算力平臺的深度適配與融合。
找到好專案只是起點，更關鍵的是——放大價值。
魔樂為專案提供從算力資源、工具鏈到排程框架、落地渠道的全棧支援，推動它們從 demo 走向產品、從實驗室走向產業化，讓每一個「跑得通」的應用都有「火出圈」的可能。
例如 Stable Diffusion WebUI、ComfyUI 雖在設計創作領域早已成名，但缺乏系統的國產適配支援。魔樂正加大力度，推動它們與國產工具鏈深度融合，加速落地，近期正式上線了 AIGC 專區，已實現基於國產算力的快速專業生圖。
如今，全國已有多個有影響力的 AI 開源社群，都在不斷推進國產 AI 能力的積累。
但這只是開始。
隨著大模型快速普及、國產軟硬體協同需求走強，AI 社群或將迎來真正的「井噴時刻」。
而魔樂選擇了一條更難、但也更有價值的路——不止做模型的「集市」，更要做模型、算力、工具的協作平臺。
堅持中立、公益、開放的定位，魔樂正推動大模型在「中國芯」上真正跑起來，成為國產AI算力生態自主可控與高效協同的重要支撐。
© THE END
轉載請聯絡本公眾號獲得授權
投稿或尋求報道：[email protected]