金磊 發自 凹非寺
量子位 | 公眾號 QbitAI
號稱地表最強的M3 Ultra，本地跑滿血版DeepSeek R1，效果到底如何？
其實，有些DeepSeek玩家們已經提前拿到手做過實測了。
例如這位Alex老哥就是其中之一：
他提前拿到了兩臺搭載M3 Ultra的Mac Studio，配置是這樣的：
-
M3 Ultra（32 核中央處理器、80 核圖形處理器和 32 核神經網路引擎）
-
512G統一記憶體
-
1TB固態硬碟
具體來說，Alex老哥用配備Thunderbolt 5互連技術（傳輸速率為 80Gbps）的EXO Labs裝置，來執行完整的DeepSeek R1模型（671B、8-bit）。
然後效果是這樣的：
嗯，跑通了！
Alex老哥表示，兩臺Mac Studio本地跑滿血版DeepSeek R1，實際速度是11 tokens/秒，理論上可以達到20 tokens/秒。
至於價格嘛，一臺上述配置的Mac Studio是74249元，兩臺就是小15萬元。
或許很多小夥伴覺得這個價格有點略貴。
但在M3 Ultra之前啊，如果你想在本地使用顯示卡來推理V3或R1，那麼就得起碼需要6、7張A100……大約小100萬元
。
也正因如此，也有不少網友認為搭載M3 Ultra的Mac Studio，堪稱是“價效比最高的大模型一體機”。
值得注意的是，蘋果這次似乎是主動給DeepSeek玩家們提前發貨，有種讓他們趕緊測一測的意味。
畢竟在釋出之際，蘋果就強調了可以在M3 Ultra版Mac Studio中跑超過6000億引數的大模型。
掀起一波本地跑DeepSeek的風
其實在M3 Ultra版Mac Studio釋出前後，已經有不少人做過類似的評測。
例如B站博主“雖然但是張黑黑”的測試結果是：
-
15.78 tokens/秒：採用Ollama的GGUF格式
-
19.17 tokens/秒：採用更適合蘋果的MLX格式
這個速度已經跟線上使用DeepSeek R1的速度相媲美了。
除此之外，像外網博主Xcreate還把M3 Ultra版Mac Studio和M4 Max版Macbook Pro的拉到一個“擂臺”做了比較。
首先從效能上來看，Geekbench測試的結果顯示，M3 Ultra在CPU效能方面與M4 Max非常接近，但M3 Ultra略勝一籌。
在本地執行大模型測試方面，博主在執行基於Llama的DeepSeek R1 70B模型時，M3 Ultra的速度為11.3 tokens/ 秒，而M4 Max測試結果為10.69 tokens/秒，差距並不是很大。
但更重要的是測試滿血版DeepSeek R1的結果。
對此，博主認為在本地完整執行671B的DeepSeek是有點困難的，因為已經有人宣告失敗。
但也有成功的例子。
他舉例另一位評測人員的結果，顯示是執行8bit量化版本的DeepSeek R1，得到了9-21 tokens/秒的速度。
而在4bit量化版情況下，速度為16-18 tokens/秒。
至於為什麼體量更大的671B的DeepSeek，會比70B執行速度更快，是因為DeepSeek將671B模型分片為 “專家混合體”，實際執行時根據問題切換，類似執行30B的模型。
最後，博主也提醒想要在本地執行大模型的友友們，網傳蘋果將在今年WWDC上釋出M4 Ultra，所以可以再觀望一下。
參考連結：
[1]
https://x.com/alexocheema/status/1899604613135028716[2]https://www.bilibili.com/video/BV1nkRnYTEWx/
— 完 —
評選報名｜2025年值得關注的AIGC企業&產品
下一個AI“國產之光”將會是誰？
本次評選結果將於4月中國AIGC產業峰會上公佈，歡迎參與！
一鍵關注 👇 點亮星標
科技前沿進展每日見
一鍵三連「點贊」「轉發」「小心心」
歡迎在評論區留下你的想法！
