大模型一體機塞進這款遊戲卡,價格砍掉一個數量級

金磊 夢晨 發自 凹非寺量子位 | 公眾號 QbitAI
家人們,你知道近段時間大火的各種大模型一體機,裡面到底是什麼卡嗎?
相信很多小夥伴的第一反應,或許就是N卡。
但在我們接觸、體驗了真實的大模型一體機之後,發現了一個大寫的“萬萬沒想到”
沒錯,裡面也可以是英特爾的銳炫™ 顯示卡!
那這效能到底能不能跟上呢?
帶著這個問題,在體驗之餘,我們還“抓”來了一個正在為這種一體機開發方案的軟體公司進行了一番“盤問”。
這家公司叫飛致雲,主要是把大模型一體機用在了自家的MaxKB上(一款基於大語言模型的知識庫問答系統)。
他們是把4張銳炫™ A770顯示卡和2張N卡放到一起,做了一下對比測試:
對於同一個相對規模較大的任務,搭載N卡的一體機大約耗時半小時,而搭載銳炫™ A770顯示卡的一體機則需要50分鐘。
但是!
買半張N卡的錢,就能輕鬆搞定4張銳炫™ 顯示卡。
由此,飛致雲給出了這樣一個結論:
基於銳炫™ A770顯示卡的大模型一體機,在價效比上真的是太香了
它非常適合30-50人規模的團隊來使用。
一個“價效比”關鍵詞,道破了為什麼大模型一體機裡面會出現英特爾遊戲卡。
畢竟之前企業要私有化部署一個目前最流行的DeepSeek一體機,那個價格可是動輒便破百萬元
但現在,英特爾靠著自家的遊戲卡,把這個價格直接就砍掉一個數量級。
因此,現在的大模型一體機,有了另一種更高性價比的選擇
而且有一說一,除了一體機本身,若是聚焦在AI推理的任務上,現在可以說是處處都有銳炫™ 顯示卡的影子。

搞AI推理,請記住全新英特爾GPU+CPU組合

首先要說明的一點是,搞大模型一體機,英特爾靠的不僅僅是自家遊戲卡那麼簡單。
它的背後其實是一記組合拳的模式:
英特爾銳炫™ 顯示卡 + 至強® W 處理器
銳炫™ 顯示卡在這裡面的角色不用多說,主要是推理的“加速器”
至強® W 處理器不僅能充當“大腦”的角色,來負責通用計算與系統協調,還能在一些開源軟體平臺,如KTransformer或英特爾自己開發的工具,如FlashMOE的幫助下,與顯示卡協作進行異構加速,例如在DeepSeek中承擔一些稀疏MOE的處理工作。
為了充分發揮銳炫™ 顯示卡的能力,英特爾透過最佳化視訊記憶體頻寬(如A770卡間通訊達20G/秒)和低時延技術(如記憶體複製最佳化),解決了多卡並行時的效能損耗問題,提升了吞吐量(如70B模型支援12路即時聊天)。
即便對於不同規模場景,英特爾也能做到適配——從供AGI開發人員使用的工作站(2卡)到裝載4卡或8卡的大尺寸一體機,能滿足多樣化且差異化的需求。
例如我們剛才提到的飛致雲的MaxKB,在知識問答、智慧客服、內容生成、文件合規檢查等場景中就實現了效率提升、成本最佳化和風險控制。同時依託高效能硬體解決了AI模型私有化部署與算力需求問題。
除此之外,我們發現還有好多企業都在選擇構建英特爾這對CPU與GPU組合的一體機系統、軟體或整體解決方案。
超雲,便是其中之一。
超雲基於英特爾的平臺,打造了三種不同形態的裝置。 
例如適應普通辦公環境的塔式工作站、小型液冷一體機,支援包含英特爾銳炫™ 顯示卡在內的2-4GPU卡。
再如最高可配8卡的大尺寸高階一體機,可執行32B-70B引數規模的大模型。
據瞭解,所有這些機型都已經投入到了實際使用當中,主打:
  • 企業內部AI助手:超雲自身使用開源模型搭建知識庫系統,實現自動化報價、報銷審批;
  • 金融行業智慧投顧:基於32B蒸餾模型,提供即時資料分析與投資建議;
  • 海量文件處理:使用智慧OCR+大模型,實現公文自動歸檔與檢索。
與之類似的還包括雲尖
它推出邊緣推理工作站,支援4張GPU卡,適用7B-32B輕量化模型,可以滿足文件OCR、智慧質檢等企業本地化AI應用。
此外,已經pick英特爾平臺的一體機解決方案還有很多,未來可能還會有更多,而如此多合作伙伴的一致選擇,也就不難從側面印證一點:
不論是單純的AI推理應用,亦或是融合了推理及各種視覺化生產力應用的複合場景,英特爾這套組合拳,已然成為了一種業界公認的、高性價比的新選項。

一體機,為什麼紛紛選擇英特爾平臺?

自春節前DeepSeek-R1驚豔亮相,經過兩個多月的沉澱,從行業落地情況來看,明顯呈現出一個趨勢:
越來越多的企業選擇以一體機的形式將DeepSeek融入業務。而這一趨勢,也在影響其他大模型落地的“姿式”。
部署速度快,正是這一趨勢得以率先顯現的原因。
一方面,得益於一體機開箱即用且方便為各垂直行業深度定製化的特點,預裝模型、最佳化軟硬體協同,讓企業無需自行復雜除錯。
另一方面,啟動成本低的優勢讓企業能先用一體機把大模型跑起來,再慢慢迭代。
當然,對於眾多企業而言,在選擇一體機時,除了追求速度優勢之外,實際上還有著更多深層次、全方位的考量因素,這些因素綜合起來影響著企業的決策:
  • 效能與成本更平衡,運營成本降低
一體機可實現效能與成本的精妙平衡,其憑藉強大高效的硬體配置和最佳化的軟體系統,為企業提供穩定高效算力,滿足業務需求,避免使用雲算力的持續費用,降低運營成本。
  • 運維簡化
傳統IT系統由多種硬體裝置和軟體系統組成,運維管理複雜繁瑣,企業需投入大量人力、物力和時間進行安裝、配置、維護和更新。而一體機將軟硬體深度整合為統一整體,簡化了運維流程,企業統一管理維護即可應對業務需求和技術挑戰,運維效率大幅提高,而管理難度和成本都顯著降低。
  • 穩定可靠
對AI業務而言,連續性和穩定性很重要。一體機軟硬體經嚴格整合測試與最佳化,能在複雜環境長時間穩定執行。同時可以專機專用,避免雲服務在高峰期造成速度和可用性上的波動。
英特爾所推出的銳炫™ 顯示卡與至強® W 處理器的組合,正是一套滿足以上因素的極具潛力的解決方案。
像這樣的配置,不光能夠很好地支援DeepSeek R1系列,同時還與Qwen、Baichuan、Llama等多個開源模型相容適配。
這意味著在不同的應用場景和業務需求下,這個組合都能靈活應對,為企業帶來多樣化的選擇和更豐富的功能體驗。
這些選擇,這些體驗,目標都只有一個,那就是AI普惠或者說AI無處不在
站在歷史的角度,一體機要承擔的使命,正是要將強大的AI模型引入各行各業,這與計算機從大型機時代發展至個人計算機(PC)時代的程序類似。
包括DeepSeek在內的大模型前沿創新企業選擇開源,是激發這一程序的起點,而整個程序能否迅速演進,就要靠全行業的共同參與了。
英特爾在此時,就像穿越回了上世紀80年代,那時它曾憑藉開放架構和高性價比方案重新定義了PC,並拉著全球的合作伙伴們一手促成了PC真正意義上的“個人化”普及,而今,到了在AI世界復刻這一成功經驗的時候了。
深入瞭解英特爾® 架構AI一體機,可點選閱讀原文獲取。
一鍵三連「點贊」「轉發」「小心心」
歡迎在評論區留下你的想法!
—  —
🌟 點亮星標 🌟
科技前沿進展每日見

相關文章