克雷西 發自 凹非寺
量子位 | 公眾號 QbitAI
只要兩臺蘋果Mac Studio，在家就能跑滿血DeepSeek R1了？
一家大模型工作室在推特上宣佈，成功用兩臺搭載512GB M3 Ultra的Mac Studio，以20token每秒的速度成功執行8bit版R1。
而且經過一波核算，用M3 Ultra來跑模型，每GB記憶體的成本還不到H100的6%。
這家工作室就是EXO Labs，專門研究把大模型放到各種裝置上執行。
之前讓MacBook、iPad、手機等裝置組成叢集跑Llama 405B的分散式推理框架，就是這家工作室的手筆。
前面“H100的6%”這一結果，也是由其創始人Alex Cheema計算得出，並且這裡M3 Ultra算的是整機價格，而H100只是單獨一塊卡。
有網友評價說，在老黃的襯托下，蘋果都顯得有價效比了。
而且高達512GB統一記憶體的這種大視訊記憶體設定，非常適合跑R1這樣的MoE模型。
所以有網友在推特上喊話EXO Lab，表示想看8臺Mac Studio聯機的表現。
EXO Lab則回應說，有沒有誰來搞個2T引數的MoE模型，順便又期待了一波R2。
訊息傳到微博後，國內網友也評價說，這回蘋果是搞了個真·AI PC。
MoE架構模型的好搭檔
這次Mac Studio搭載的M3 Ultra，分為28核CPU+60核GPU和32核CPU（24個性能核心和8個能效核心）+80核GPU兩種配置，均配有32核的神經引擎。
統一記憶體則提供了96GB、256GB和512GB三種容量，記憶體頻寬達到了819GB/s，其中512GB只能搭配32核CPU+80核GPU的版本。
據蘋果介紹，裝有M3 Ultra的Mac Studio，可以在本地執行600B引數的大模型。
效能上，M3 Ultra版執行千億引數大模型的token生成速度是M1 Ultra的16.9倍、M2 Ultra的兩倍多。
AI影片處理效能，則是Intel版Mac Pro的9.1倍，M1 Ultra的1.3倍。
至於售價，M3 Ultra版的起售價格（28C+60G+96GB+1TB）為3999美元，國行版本32999元人民幣。
最高配版（32C+80G+512GB+16TB）價格則是14099美元，國行版108749人民幣。
如開頭介紹，針對這樣的配置和價格，EXO Labs的創始人Alex Cheema算了這樣一筆賬：
-
NVIDIA H100：80GB，售價25000美元，相當於312.50美元每GB；
-
AMD MI300X：192GB，售價20000美元，相當於104.17美元每GB；
-
Apple M2 Ultra：192GB，售價5000美元，相當於26.04美元每GB；
-
Apple M3 Ultra：512GB，售價9500美元，相當於18.55美元每GB。
也就是說，M3 Ultra平均下來每GB記憶體的價格僅有H100（並且還是沒被炒上天的官方價格）的5.9%，和M2 Ultra相比也降低了28.7%。
不過如果考慮到記憶體速度，情況則有所不同：
-
NVIDIA H100：3TB/s，25000美元，相當於8.33美元每GB/s；
-
AMD MI300X：5.3TB/s，20000美元，相當於3.77美元每GB/s；
-
Apple M2 Ultra：800GB/s，5000美元，相當於6.25美元每GB/s；
-
Apple M3 Ultra：800GB/s，9500美元，相當於11.875美元每GB/s。
也就是說，不管是和H100比，還是和前一代的M2 Ultra比，M3 Ultra上單位速度的成本都要更高，相當於犧牲了一部分速度換取更高的容量。
但是如果考慮到以R1為代表的MoE模型的執行特點——總引數量大，但執行時啟用引數量相對較小，對記憶體速度的需求，相對容量而言重要性要低一些。
並且EXO Labs的執行結果也顯示，R1在兩臺512GB M3 Ultra的Mac Studio上跑出了20token每秒的速度，已經達到了可接受的水平。
所以這樣看來，M3 Ultra搭配稀疏MoE模型，依然是一對不錯的搭檔。
還有其他蘋果新品
除了M3 Ultra版Mac Studio，蘋果最近還上線了一波其他新品。
包括Mac Studio本身，也還有一個裝配M4 Max晶片的版本。
起步14核CPU+32核GPU+36GB統一記憶體+512GB固態，最高16核CPU+40核GPU+128GB統一記憶體+8TB固態，搭配16核神經引擎，售價16499-45749元。
筆記本也上新了MacBook Air，搭載M4晶片。
13寸版本，起售價7999元（10C+8G+16GB記憶體+256GB固態）；15寸版本，起售價9999元（10C+10G+16GB記憶體+256GB固態）。
此前一天，蘋果還發布了新款iPad和iPad Air。
iPad搭載A16晶片，WLAN版起售價2999元，蜂窩版起售價4299元（均為128GB儲存）；最高512GB儲存，WLAN和蜂窩版分別為5199元和6499元。
iPad Air則採用M3晶片，分11寸和13寸兩個尺寸，起售價分別是4799元和6499元（128GB，WLAN版），最高價分別為9999和11699元（1TB，蜂窩版）。
你會不會入手蘋果的新產品呢？歡迎留言跟我們分享。
參考連結：
[1]
https://x.com/alexocheema/status/1897349404522078261
[2]https://x.com/exolabs/status/1897360590987051041
[3]https://x.com/exolabs/status/1897433256032641399
— 完 —
評選報名｜2025年值得關注的AIGC企業&產品
下一個AI“國產之光”將會是誰？
本次評選結果將於4月中國AIGC產業峰會上公佈，歡迎參與！
一鍵關注 
點亮星標
點亮星標科技前沿進展每日見
一鍵三連「點贊」「轉發」「小心心」
歡迎在評論區留下你的想法！