作者：硬ai
來源：硬AI（ID：IngAI_）
當馬斯克高調推出基於20萬塊GPU叢集的Grok-3、Sam Altman在開源策略上反覆權衡之際，DeepSeek悄然釋出了一項可能改變遊戲規則的技術。
2月18日，DeepSeek CEO公佈了一項由梁文鋒親自參與的研究論文成果——原生稀疏注意力（Native Sparse Attention,NSA）機制。這是DeepSeek團隊在稀疏注意力領域的創新性工作，結合了演算法創新和硬體最佳化，旨在解決長上下文建模中的計算瓶頸。
DeepSeek論文顯示，NSA不僅將大語言模型處理64k長文字的速度最高提升11.6倍，更在通用基準測試中實現效能反超傳統全注意力模型。在全球AI競賽轉向"硬核創新"的當口，這家低調的中國公司展示了技術破局的新正規化。
值得注意的是，NSA尚未應用於DeepSeek V3的訓練中。這意味著，如果後續DeepSeek將NSA整合到模型訓練中，其基座模型的能力有望實現顯著提升。論文中明確指出：“使用NSA預訓練的模型超過了全注意力模型”。
與DeepSeek形成鮮明對比的是，xAI選擇了另一條道路：對工程規模的極致追求。2月18日馬斯克釋出的Grok3使用了20萬塊GPU叢集，而未來的Grok4更是計劃使用百萬塊GPU、1.2GW的叢集。這種“財大氣粗”的做法，體現了北美在AI領域一貫的“大力出奇跡”風格。
01
稀疏注意力：
DeepSeek NSA的創新之道
“AI革命”狂飆突進，長文字建模在AI領域的重要性日益凸顯。OpenAI的o-series模型、DeepSeek-R1以及Google Gemini 1.5 Pro等，都展示了處理超長文字的強大潛力。
然而，傳統Attention機制的計算複雜度隨序列長度呈平方級增長，成為制約大語言模型（LLM）發展的關鍵瓶頸。
稀疏注意力機制被認為是解決這一難題的希望所在。DeepSeek2月18日提出的NSA機制，正對去年5月MLA（Multi-Layer Attention）工作的補充。NSA的核心在於將演算法創新與硬體最佳化相結合，實現了高效的長文字建模。
科技媒體AI寒武紀表示，NSA的三大關鍵創新包括：
-
動態分層稀疏策略：結合粗粒度Token壓縮和細粒度Token選擇，兼顧全域性上下文感知和區域性資訊精確性。
-
算術強度平衡的設計：針對現代硬體進行最佳化，顯著提升計算速度。
-
端到端可訓練：支援端到端訓練，減少預訓練計算量，同時保持模型效能。
02
NSA的核心元件：
三位一體，逐層最佳化
科技自媒體zartbot分析，NSA架構採用了分層Token建模，透過三個並行的注意力分支處理輸入序列：
-
壓縮注意力（Compressed Attention）：透過壓縮Token塊來捕獲全域性資訊，處理粗粒度的模式。
-
選擇注意力（Selected Attention）：處理重要的Token塊，選擇性地保留細粒度的資訊。
-
滑動視窗注意力（Sliding Window Attention）：處理區域性上下文資訊。
這三個分支的輸出透過一個門控機制進行聚合。為了最大化效率，NSA還專門設計了硬體最佳化的Kernel。
具體而言，NSA在Token Compression部分，基於block粒度進行壓縮計算，並插入位置資訊編碼。在Token Selection部分，則巧妙地借用Compression的注意力分數作為block的重要性分數，進行top-N選擇，以保留關鍵的細粒度資訊。Sliding Window部分則負責處理區域性上下文。最後，透過Gating函式綜合三種注意力的輸出。
03
實驗結果：
效能與效率的雙重飛躍
根據DeepSeek釋出的實驗資料，NSA技術在多個方面展現出卓越表現。
在通用基準測試、長文字任務和指令推理方面，使用NSA預訓練的模型效能不僅沒有下降，反而超越了Full Attention模型。更重要的是，在處理64k長度的序列時，NSA在解碼、前向傳播和反向傳播等各個階段都實現了顯著的速度提升，最高可達11.6倍，證明了NSA在模型生命週期各個階段的效率優勢。
AI寒武紀表示：
“DeepSeek的NSA技術為長文字建模帶來了新的突破。它不僅在效能上超越了傳統的Full Attention模型，更在效率方面實現了顯著的提升，尤其是在長序列場景下。NSA的硬體友好設計和訓推一體化特性，使其在實際應用中更具優勢，有望加速下一代LLM在長文字處理領域的應用落地。”
科技媒體資訊平權表示，NSA論文中隱藏了一個“彩蛋”：
“DeepSeek此次使用了Triton，而沒有提及英偉達專用庫和框架。Triton底層可以呼叫CUDA，也可以呼叫其他計算平臺的框架，如AMD的ROCM，甚至國產計算卡。結合NSA降低了浮點算力和記憶體佔用門檻的特性，這或許暗示了DeepSeek在模型研發階段，就已經開始考慮未來適配更多型別計算卡，為更廣泛、更普遍的開源做準備。”
04
xAI的Grok3：
算力堆砌的“極致”
與DeepSeek形成鮮明對比的是，xAI選擇了另一條道路：對工程規模的極致追求。Grok3使用了20萬塊GPU叢集，而未來的Grok4更是計劃使用百萬塊GPU、1.2GW的叢集。這種“財大氣粗”的做法，體現了北美在AI領域一貫的“大力出奇跡”風格。
然而，資訊平權的分析指出，儘管xAI透過超大叢集在短時間內實現了對之前SOTA（State-of-the-Art）模型的反超，但其投入產出比並不理想。相比DeepSeek V3，xAI以50倍的成本實現了30%的效能提升。這表明，單純在預訓練階段投入鉅額算力，其收益可能並不如預期，將資源投入到RL（強化學習）後訓練階段可能更為划算。
版權宣告：部分文章推送時未能與原作者取得聯絡。若涉及版權問題，敬請原作者聯絡我們。