6月26日，一場乾貨爆棚的AI算力盛會，在北京燦爛盛夏中熱烈召開。
以大模型、生成式AI為代表的新一輪人工智慧浪潮的滾滾向前，催生出前所未有的AI算力需求，算力是數字經濟時代的新質生產力，更是人工智慧發展的基石。
2025年，以DeepSeek為代表的國產大模型強勢突圍，在全球引爆部署熱潮和AI應用開發熱潮，也給國內AI算力市場注入新的活力，推動AI推理算力需求暴漲，超大規模叢集鱗次櫛比，而需求的爆發也帶來諸多挑戰，醞釀新的行業變化。
為此，我們發起了一場聚焦前沿技術與產業趨勢的夏日AI聚會——2025中國AI算力大會。
從國產AI算力的突圍與崛起，到智算中心深層軟硬體技術創新解決算力落地產業難題，近30位重量級嘉賓與會帶來致辭、報告、演講和對話，全方位解構DeepSeek引爆的AI算力變局，全場金句頻頻，各路大佬觀點持續碰撞擦出火花，現場參會人數超過850人。
在會場外的展區，Alluxio、研惠通、惠普、白山雲科技、中昊芯英、中科加禾、科華資料、行雲積體電路等8家企業亮出了他們的最新技術和產品，展區人頭攢動，交流熱情氛圍濃厚。
▲展區
由智一科技旗下智猩猩與智東西共同發起主辦、芯東西協辦的首屆AI算力大會，圍繞AI算力產業變局與創新、AI推理算力、智算中心、智算叢集異構混訓、超節點等話題設定議程，主會場包括高峰論壇、AI推理算力專題論壇和智算中心專題論壇；分會場為閉門制，組織了智算叢集異構混訓技術研討會、超節點技術研討會。
▲聯想集團Game of AI科普影片在大會展播：聯想海神全液冷解決方案，革命性提升AI推理時代算力
智一科技聯合創始人、CEO龔倫常在大會致辭環節宣佈：中國AI算力大會正式成為“智領未來”北京人工智慧系列品牌活動之一。
“智領未來”是北京市科委、中關村管委會打造的北京市人工智慧領域的活動品牌。同樣作為“智領未來”北京人工智慧系列品牌活動之一的中國生成式AI大會已於今年4月1日-2日圓滿舉行。
龔倫常還預告了將於下半年舉行的兩場大型品牌活動：9月在上海舉辦第七屆全球AI晶片峰會，11月在深圳舉辦2025中國具身智慧機器人大會。
▲智一科技聯合創始人、CEO龔倫常
智算叢集異構混訓、超節點兩場技術研討會在分會場圓滿舉辦。壁仞科技AI軟體首席架構師丁雲帆、中國移動研究院網路與IT技術研究所技術經理班有容、北京智源人工智慧研究院AI框架研發負責人敖玉龍、上海人工智慧實驗室編譯計算與國產化團隊負責人裴芝林、商湯大裝置技術產品總監劉葉楓在智算叢集異構混訓技術研討會做了報告分享。
阿里雲基礎設施異構硬體和系統及解決方案資深總監盧曉偉、中國移動研究院網路與IT技術研究所技術經理王鵬、奇異摩爾首席網路架構專家葉棟、曦智科技聯合創始人兼首席技術官孟懷宇圍繞超節點進行了不同視角的報告分享。中信建投證券科技行業首席分析師閻貴成主持了超節點技術研討會及圓桌Panel。
▲分會場
接下來我們將為大家帶來主會場三大論壇15+位分享嘉賓的演講和對話精華。
01.
高峰論壇：從千芯節點到千億大模型
國產AI晶片生態迸發旺盛活力
AI已成為資料中心增長的核心驅動力。大模型迭代拉動算力需求暴增，推動計算、儲存、網路基礎設施全面升級。在大模型訓練與部署需求旺盛的背景下，如何更充分地利用閒置算力，國產AI晶片發展到了怎樣的新階段，有哪些最佳化大模型推理效果的創新技術？6位嘉賓分享了他們對產業最新風向的觀察與探索。
1、信通院陳屹力：“算力荒”與“算力閒置”共存，算力互聯互通、AI雲成焦點
中國資訊通訊研究院雲大所副總工程師陳屹力談道，當下AI大規模應用促使智慧算力需求激增，AI 雲成為全球AI浪潮角逐的焦點。其中AI雲基礎設施需覆蓋異構高效排程能力、一雲多模能力、專家知識大腦等多方面。AI雲平臺推動AI應用的智慧、便捷構建，提升國際影響力、助力生態繁榮。
隨任務型智算應用興起，對算力資源的定位、排程、部署效率提出更高要求。中國信通院聯合產業各方探索構建算力網際網路，積極推進算力標識、算力排程、傳輸協議、應用適配等方面技術研究，加快現有算力“區域網”間互聯互通，逐步建立標準體系，形成算力網際網路體系架構，核心解決算力“找呼叫”挑戰，逐步形成具備智慧感知、即時發現、隨需獲取的算力網際網路。
▲中國資訊通訊研究院雲大所副總工程師陳屹力
2、摩爾線程王華：算力需求千倍增長，大叢集和FP8成為強需求
摩爾線程副總裁王華引用了一些研究資料：2020至2025年間，大模型訓練的算力需求提升近1000倍 ，驅動力來自引數規模與資料量雙向增長。以DeepSeek-V3為例，其訓練所需算力達10²⁴級別，在萬卡叢集上可將訓練時間壓縮至13天內完成 。
為應對算力需求，摩爾線程提供包括FP8在內的全精度算力，有效支援混合精度訓練，大幅提升訓練效率；部署萬卡叢集，研發完整的軟硬體棧，提供開箱即用的產品，快速滿足大模型訓練的算力需求；打造豐富的叢集監控和診斷能力，針對大規模叢集實現分鐘級故障定位。
此外，摩爾線程構建了支援FP8、BF16、FP32等資料型別的混合精度訓練方案，開源Torch-MUSA、MT-MegatronLM與MT-TransformerEngine等大模型訓練元件，已完成DeepSeek-V3的混合精度訓練復現。在多個模型上的實驗結果表明，其方案整體效能提升可達20%–30%，訓練精度與業界主流保持一致。
▲摩爾線程副總裁王華
3、中昊芯英楊龔軼凡：解讀TPU架構創新設計，國產AI晶片如何抓住本土機遇
中昊芯英創始人、CEO楊龔軼凡談道，AI專用晶片是AI Infra的必然發展趨勢，TPU架構為AI大模型而生，採用多維度計算單元來最佳化資料複用，提高計算效率，並透過更激進的資料傳輸策略和更小的控制單元，給片上儲存器和運算單元留下更大空間，其可擴充套件性也更適合超大規模計算。
中昊芯英全自研高效能TPU架構AI晶片“剎那”於2023年已成功流片並實現量產，其計算效能較海外某知名GPU晶片提升近1.5倍。基於“剎那”的高效能AI伺服器及大規模AI計算叢集“泰則”，支援1024卡高速互聯，可支撐超千億引數大模型計算。
隨著大模型成本下移，AI晶片架構開始深度適配動態稀疏計算正規化，形成“演算法定義硬體”的新研發模式。降低對CUDA生態的依賴後，國產Al晶片將透過提供定製化工具鏈、最佳化編譯器等方式，在架構設計上更加靈活適應新的本土趨勢和需求。
▲中昊芯英創始人、CEO楊龔軼凡
4、魔形智慧徐凌傑：大模型需要“千芯”超節點，未來架構有五大關鍵因素
魔形智慧科技創始人、CEO徐凌傑幽默開場：“過去十年，中國最值錢的是房地產行業。未來最值錢的，可能還是房地產，只不過住的不是人，而是機器。”
研究資料顯示，全球資料中心總耗電量與單個發達國家相當。更強的大模型需要大叢集，更快的大模型需要超節點，更大的高頻寬互聯域是超節點設計的核心。當前算力密度遠不夠高，要達到與人腦相當的算力密度，需要構建“千芯”超節點，構建可重構的AI算力中心。
如何構建千芯互連網路？徐凌傑總結了未來超節點架構的5大關鍵因素：超高密度算力節點，千芯多機櫃級聯背板連線，800V供電輸入，交換晶片全互聯，全覆蓋式冷卻。
他還分享了下一代算力基礎設施對晶片提出的3大要求：板級&封裝級靈活組合與解耦，整合光電共封裝設計，Cluster First的產品理念。軟硬協同將釋放超大叢集的潛力。
▲魔形智慧科技創始人、CEO徐凌傑
5、中科加禾崔慧敏：AI編譯最佳化躍升推理效能，有效擴充套件國產AI晶片生態
中國科學院計算技術研究所研究員、中科加禾創始人崔慧敏談道，大模型推理私有化部署需求大漲，但面臨硬體繁多、需求多元、多模部署等多重挑戰。
中科加禾圍繞編譯最佳化構建大模型推理的引擎和軟體棧，積累了大量實踐案例：在推理引擎中實施深度視訊記憶體最佳化，有效提高視訊記憶體利用率；在大規模推理中實現多維並行策略，有效利用計算、訪存、通訊資源；基於多項聯合最佳化，推理技術在某網際網路廠商合作中將QPS提升50%以上，並在昇騰910B平臺私有化部署場景下有效支援128K長上下文。
長期來看，基於AI編譯技術，構建一套底層公共的編譯支撐，能夠長期有效解決AI生態碎片化及生態融合問題。
▲中國科學院計算技術研究所研究員、中科加禾創始人崔慧敏
6、趨境科技陳祥麟：千億大模型的異構推理新路徑
趨境科技技術負責人陳祥麟分享了大模型推理的技術創新。他認為大模型私有化推理架構將從傳統的以GPU為中心轉向全系統異構協同，需要充分提升算力利用率。
團隊首創全系統異構協同與以存換算技術，充分利用底層GPU、CPU、儲存等硬體裝置算力，透過基於計算強度的offload策略、CPU/GPU的高效能運算元改造、MTP等算力最佳化方法，以及prefix cache等融合推理策略，提升全系統算力，將大模型推理門檻降低至1/10。
趨境科技與清華KVCache.AI團隊共同開源的異構推理框架KTranformers，能夠利用單張消費級GPU+CPU異構推理DeepSeek-671B-r1/v3，decode速度最高達到20+ tokens/s。
同時參與月之暗面、清華MADSys實驗室等多個產學研機構開源的專案Mooncake，以超大規模KVCache快取池為中心，透過以存換算的創新理念大幅度減少算力開銷，顯著提升了推理吞吐量。
▲趨境科技研發負責人陳祥麟
02.
高階對話：國產AI算力的突圍與崛起
中美差距正逐步縮小
以《國產AI算力的突圍與崛起》為主題的高階對話，由智一科技聯合創始人、智車芯產媒矩陣總編輯張國仁主持，中昊芯英創始人兼CEO楊龔軼凡，魔形智慧科技創始人、CEO徐凌傑，中科加禾聯合創始人兼CTO陳龍三位嘉賓進行分享。
張國仁談道，從2018年AI晶片峰會到如今AI算力峰會，他感觸最深的是國內企業對自己的產品、公司發展都表現得愈發雲淡風輕。
▲智一科技聯合創始人、智車芯產媒矩陣總編輯張國仁
1、國產算力與全球差距仍然存在
面對國產算力在全球發展中的地位，陳龍談道，國內廠商已掌握算力底層技術，但在PyTorch等主流訓練框架適配方面仍處於跟隨、陪跑階段。
楊龔軼凡從硬體的設計和生產兩方面進行了比較：生產差距存在，但預測將在3-5年內逐步縮小；而在設計層面，從學術研究、論文創新性等角度看，設計的差距更大。隨著模型演算法收斂，更多創新型架構、設計出現，國外諸多路線已發展到產品落地，國內廠商需要共同拓展生態。
▲中昊芯英創始人兼CEO楊龔軼凡
徐凌傑認為，在如何做優秀的GPU、如何搭建生態、如何做叢集等方面，中美認知差距正不斷縮小。但實際產業中，差距進一步擴大，企業需要從底層供應鏈突破。
2、算力仍是資源導向型市場
對於國產算力的市場化，徐凌傑判斷，政府、資源導向型的現狀未來幾年不會有很大改變，晶片晶圓、製程以及晶片創企在國產生態中的成長，都需要政府扶持。晶片公司的機會是透過更強互聯、叢集打造差異化，找到商業化落腳點。
楊龔軼凡同樣認為，資源導向型走向市場導向型是一個過程，在半導體行業，老的生產製程永遠比新的生產製程價效比低，生產製程每迭代一次會有4倍的價效比提升，這就導致純國產晶片的價效比更低，需要政府扶持拉通生產工藝的產業鏈。
陳龍從應用層面進行分析，談到國家的扶持很必要，企業透過軟硬體最佳化降低了部署成本，但消費側拉動還不夠強，現狀是上一代晶片尚沒有完全落地應用，下一代晶片已經出來了，因此核心是要發掘更有價值的應用。
▲中科加禾聯合創始人兼CTO陳龍
3、專用晶片、編譯技術、超節點，是未來發展方向
楊龔軼凡堅信專用晶片是未來的發展方向，在通用性需求大幅降低的情況下，可以拋棄部分通用性，增加晶片核心的效能和價效比。越專越好，是在滿足一定可控性和變化下的結果。
圍繞編譯技術在解決國產芯片面臨的風險，陳龍認為，它是將專家的經驗泛化、普適化的一種技術手段。編譯技術最開始產生是為了彌補人的思維和機器能接受資訊之間的鴻溝，使開發效率提升上百倍。
徐凌傑著重談到超節點的發展方向，在大模型領域，類似MoE的創新結合超節點會有更大收益，即更大的問題用更大的叢集解決，更大的叢集反哺系統，從而做出更大的模型。
▲魔形智慧科技創始人、CEO徐凌傑
4、算力產業格局未定
談到全球算力產業的產業格局，陳龍認為，雖然國內巨頭有積累優勢，但產業規模足夠大，且需求多元化，將來企業將百花齊放。
楊龔軼凡的觀點更為激進：首先，3-5年內形成產業格局的可能性不高，目前仍是企業相互競爭、高速發展變革的過程；其次，資源型市場的天然屬性決定了其很難形成壟斷，且巨頭穿越週期能力弱，因此AI產業爆發後市場格局會洗牌，初創公司或許會透過更好的組織形式去適應產業發展。
行業的重要性、資本週期發展對產業發展都會有影響。徐凌傑相信，算力變得越來越有吸引力，自然會有更多的錢湧入，會出現巨頭被衝擊、新生勢力冒出的場景。創企和巨頭需要找準自己的定位，透過“整合”變成更強實體可能是一條發展路徑。
如今中國算力規模已在全球排名第二，被預測有望影響全球AI 競賽格局。陳龍認為，AI算力市場規模和國家GDP發展成正比關係，當國家GDP反超或許是國產算力格局更進一步的機會。楊龔軼凡提到投入產出比，目前美國和中國算力開銷差10倍，當投入量逐步趕上才會有變化。徐凌傑認為未來當AI賦能千行百業，算力真正變成生產力時，就是一個巨大的機會。
03.
專題論壇：從軟硬協同到端邊雲協同
底層技術創新突破AI算力瓶頸
下午場火熱繼續，在AI推理算力專題論壇和智算中心專題論壇中，來自行雲積體電路、安謀科技、實在智慧、白山雲科技、Alluxio、浩雲長盛集團、上海矩向科技、趨動科技的8位嘉賓帶來了精彩演講。
如何突破大模型推理晶片的核心瓶頸、如何實現出色的端側模型效能？超大規模智算中心面臨的資料、成本功耗、算力利用率等方面的一系列難題要如何破解？我們都將找到答案。
1、行雲餘洪敏：只有軟硬體協同創新才能突破大模型推理晶片的核心瓶頸
行雲聯合創始人、CTO餘洪敏談道，高質量大模型最核心的需求就是極其變態的記憶體需求，既要頻寬，又要容量。推理晶片核心瓶頸有：視訊記憶體容量，價格高昂，只有透過軟硬體協同創新才能解決。
行雲致力於把AI基礎設施從超算變成消費電子競爭，褐蟻是第一個十萬元級執行DeepSeek滿血671B、FP8非量化且對話速度在20TPS以上的解決方案，用數量級碾壓的競爭力讓全行業對AI超算祛魅。
近期行雲將推出蟻群，實現500~1000有效併發下最高質量模型的流暢體驗，價格在300~400萬價位，接近DeepSeek公有云的價效比；此外，計劃在明年年底推出自研GPU晶片，相比褐蟻效能將有數倍提升，叢集化後，相比蟻群可以數倍提高有效併發。
▲行雲積體電路聯合創始人、CTO餘洪敏
2、安謀科技鮑敏祺：NPU如何助力端側裝置突破記憶體、算力、功耗三堵牆？
安謀科技產品總監鮑敏祺觀察到，端側裝置正逐步承擔更多AI計算任務，端側AI模型在演算法迭代、上下文長度擴充套件和模型理解力提升等方面進展迅速。
隨著模型的演進，端側AI硬體也面臨新的需求：一是算力需求持續增長，計算精度從INT向FLOAT轉變，需透過多核協同實現算力提升；二是大模型對頻寬要求更高，可透過提升資料本地化程度減少資料傳輸距離，從而最佳化能效比；三是需要最佳化硬體中向量計算與矩陣計算的配比。
為應對“記憶體牆”、“算力牆”和“功耗牆”三大挑戰，安謀科技正升級其自研“周易”NPU產品，如擴充套件資料型別支援、新增W4A16硬體加速和DSA加速功能、提供更為豐富的運算元庫等，持續驅動終端算力躍遷，助力產業把握端側AI“芯”機遇。
▲安謀科技產品總監鮑敏祺
3、實在智慧歐陽小剛：Agent端側效能超GPT-4o 10%，一體機30分鐘開箱部署
實在智慧合夥人、核心演算法負責人歐陽小剛提到，算力需求與場景落地的雙向倒逼，正推動智慧體技術端側的探索革新。
其公司行業首發的通用智慧體“實在Agent”，專注跨系統、連結各類軟體的辦公流程自動化。其自研的實在TARS大模型和TARS-VL大模型分別在垂域任務理解效能超越GPT-4o達10個百分點，GUI多模態理解能力領先3%，而通用能力幾乎無損；同時，該模型支援私有化部署，深度融合RPA與智慧體工作流，實現瀏覽器、桌面應用、移動端的無縫操作，支援一鍵流程編輯和智慧體共享，降低30%重複開發成本。
歐陽小剛提到與惠普聯合打造的Z系列數字員工一體機：基於HP Z8 Fury G5工作站，得益於四塊NVIDIA 5880 Ada的強大算力，開箱30分鐘完成部署，核心業務資料全程本地處理。
▲實在智慧合夥人、核心演算法負責人歐陽小剛
4、 白山雲科技李金鋒：以邊緣計算破解AI推理時延與成本難題
白山雲科技智算產品研發負責人李金鋒談到，AI推理面臨網路時延與成本挑戰，對邊緣計算的需求日益增長。當前的雲邊端架構依然適用：中心雲集中計算，追求效能極致最佳化；邊緣雲在靠近使用者處提供算力，作為重要補充，現可處理百億引數內大模型推理，顯著降低時延；終端算力則在保障資料隱私場景中發揮作用。
針對邊緣雲節點分散帶來的算力管理難、任務排程複雜和單節點資源有限等挑戰，李金鋒介紹可透過全網任務排程、彈性算力排程、模型載入最佳化及單節點推理效能最佳化等方式解決。
依託覆蓋全球的1700多個具備計算、儲存、安全能力的資料節點及150多個海外運營商資源，白山雲能輕鬆升級GPU算力，有力支撐邊緣推理服務。
▲白山雲科技智算產品研發負責人李金鋒
5、Alluxio傅正佳：用去中心化架構方案，解決AI資料湖困境
Alluxio首席架構師傅正佳談道，AI 資料全鏈路各環節面臨的不同難題，以及環節間資料互動導致的資源浪費與效率低下，其本質都是資料湖困境的體現。
Alluxio介於分散式計算框架與儲存系統之間，可以做到對當前AI Infra“零改造無侵入”，並提升資料安全性，還可以統一納管資料孤島，提供高效能快取層。Alluxio採用去中心化架構，支援100億以上物件，能夠降低資料工程複雜度與成本，提升模型迭代效率與資料方向速度。
Alluxio的核心技術包括協議轉換、資料快取層以及虛擬資料湖等，可應用於智駕、機器學習訓練、智算、AI模型分發、科學計算等場景。基準測試顯示，其效能與全球頂尖並行系統持平，成本更低，GPU利用率可達95%及以上。
▲Alluxio首席架構師傅正佳
6、浩雲長盛趙亮：智算時代資料中心變革，液冷、超高壓直流成大勢所趨
浩雲長盛集團首席增長官（CGO）趙亮稱，隨著智算時代的到來，資料中心的算力密度不斷提升，同時，大模型推理和訓推一體的需求也在增長。
這些變化對資料中心的供電和製冷系統提出了巨大挑戰，設計和架構需要重大調整。如今，資料中心應配備更高的層高和更強的承重能力，以滿足密度的提升，隨之而來的散熱問題讓液冷成為必然選擇。在電力層面，能夠減少能源轉換損耗、提升電力運營效率的高壓直流技術正獲得廣泛採用。
此外，資料中心的選址也至關重要，需綜合考慮電力供應便利性、運維便利性、算力裝置梯級利用和實際應用場景，而非簡單地將其佈局在能源成本較低的地區，因此把訓推一體智算中心建設在一線城市周邊更有優勢。
▲浩雲長盛集團首席增長官CGO趙亮
7、矩向科技黃朝波：模算雲破局算力浪費，毛利躍升超10倍
上海矩向科技創始人兼CEO黃朝波指出，當前智算中心深陷無序建設、架構封閉、遠離業務場景三重困局，導致區域算力閒置、資源利用率不足。
傳統硬體堆砌模式已無法滿足AI爆發需求，唯有透過整合算力、模型與應用的模算雲平臺重構價值鏈，將電力轉化為算力、模型力，並深加工為應用賦能能力，以此來實現算力服務毛利的躍遷。以3000P AI算力為例，服務毛利從智算中心的1億飆升至模算雲的10多億，增幅超10倍。
模算雲模式以輕資產實現高產出：政府可統籌閒置算力賦能中小企業，企業可透過開箱即用的MaaS服務降低AI門檻；技術上採用異構協同，國產晶片覆蓋80%計算量，英偉達GPU兜底剩餘需求，同時結合雲邊端協同，進一步降低推理成本，縮短業務落地週期。
▲上海矩向科技創始人兼CEO黃朝波
8、趨動科技張增金：通用行業GPU利用率不足30%，軟體定義AI算力成必然趨勢
趨動科技技術總監張增金指出，儘管生成式AI算力市場熱度高漲，但非生成式AI的規模仍是其兩倍，從運營層面來看，蘊藏著巨大的收入潛力（IDC 2025）。在國內眾多智算場景中，GPU平均利用率低至5%左右，主要原因在於異構資源分配方式粗放、排程機制缺失以及管理效率低下等問題。
採用軟體定義AI算力的模式，透過軟體對算力基礎設施進行重新構建，實現硬體資源的按需動態呼叫，能夠有效解決當前異構硬體利用率低、排程模式僵化等難題，避免因資源管理不善而引發的系統瓶頸。
張增金表示，未來，軟體定義將成為智算中心的關鍵發展方向。在一系列行業實踐中，趨動科技藉助軟體定義技術，助力某客戶將整體GPU平均利用率從8%提升至35%，峰值平均利用率從15%躍升至60%。目前，趨動科技已與數百家家來自運營商、金融、能源電力、製造業等領域的客戶展開了深度合作。
▲趨動科技技術總監張增金
04.
結語：中國AI算力蓬勃向前
技術創新加速湧現
在中美博弈的背景下，國產大模型們強勢突圍，帶動了國內AI算力需求的持續增長，算力需求發生結構性變化、推理算力需求增速遠超預期，中國AI算力產業不斷迎來新的機遇和挑戰，諸多優秀企業透過技術創新破解算力難題，加速AI的產業化落地。
站在技術與產業共振的歷史節點，我們每一個人，都正在見證和參與一場激動人心的技術躍遷。隨著Agent浪潮的湧起、端側智慧的加速落地、具身智慧的覺醒、產業AI加速賦能，AGI的曙光正離我們越來越近。
中國AI算力產業必將乘著這股勁流揚帆起航，駛向更廣闊的AI星辰大海。
（本文系網易新聞•網易號特色內容激勵計劃簽約賬號【智東西】原創內容，未經賬號授權，禁止隨意轉載。）