

作者:李寧遠
自DeepSeek面世以來,AI大模型開始以極快的迭代速度進行更新,其應用向千行百業加速席捲。DeepSeek橫空出世展現出的“開源開放、高效推理、端側友好”核心優勢,更是點亮了端側AI的落地前景。
在生成式AI的雲端智慧到端側AI本地智慧落地的漫長技術週期裡,DeepSeek的出現讓端側智慧不再受限於硬體算力與能效,大模型透過蒸餾技術重構的小模型在端側部署的可行性大增。
在端側AI上下游,廠商們不斷探索著硬體平臺、端側演算法、模型最佳化與場景落地的協同,探索著如何將智慧帶到終端裝置。當然,在以DeepSeek為代表的大模型的加持下,賦予終端裝置本地智慧仍然不是一件一蹴而就的事情。如何在更小的模型引數量裡實現更智慧的推理,如何平衡終端裝置能效比等等問題,仍舊需要軟硬體協同的不斷打磨來解決。
端側AI時代,模型應用加速滲透
對於端側AI的發展,物聯網智庫此前給出的判斷是產業已處在爆發前夕。移遠通訊也對端側AI的大規模推進持積極態度。在不久前移遠通訊端側AI專場直播上,其產品經理表示,得益於小模型效能的增強以及算力平臺的完善,端側AI正在加速落地。
從模型發展來看,去年,AI手機、AI PC上已經開始應用7B左右的端側小模型做落地嘗試,不過彼時模型能力有限,現在3-4B規模的端側小模型推理能力已經可以媲美去年7B左右模型。在DeepSeek興起後,基於MoE架構和優質模型蒸餾重構出的細分小模型,解決了小模型在Self-play學習中的不足,推理能力更強,也更便於在端側部署。
借用移遠通訊直播中的表述,“DeepSeek的突破是一次面向產業痛點的工程正規化升級,為AI推理開闢了‘少即是多’的新路徑”。對於端側AI來說,這意味著AI能夠在計算資源有限的終端裝置上執行,從大模型到端側裝置,AI開始具備無縫擴充套件的能力。利用MoE架構推動模型向端側發展,將會是未來明確的趨勢。
移遠通訊基於其高算力AI智慧模組SG885G,實現了DeepSeek模型的穩定執行,並完成了針對性微調,同時將其融合到移遠大模型解決方案中,為客戶提供更精準、更高效的端側AI服務。這些舉措不僅體現了移遠通訊在端側AI領域的深度佈局,更體現了其領先的工程化能力。

不僅是DeepSeek,移遠通訊在大模型技術上還在不斷開拓,其端側大模型解決方案融合前沿的LLM(大語言模型)、RAG(檢索增強生成)與Agent(智慧體)等業界主流技術。透過針對特定應用場景對模型進行微調,併合理排程多個模型資源,移遠端側大模型解決方案已滿足商用條件,助力終端廠商快速應用前沿AI技術,為硬體終端賦予本地智慧。
AI算力模組解決多層次硬體需求,推動端側AI落地
AI如何在端側落地生根,讓終端裝置真正“智慧”起來。隨著模型的不斷最佳化改進,其在泛化性上已經有了較大提升,能夠在保證端側模型輕量化的同時,適應端側場景的複雜多變。而在端側場景硬體算力不一和能效問題上,則需要適配的AI算力模組來解決。
對終端廠商來說,探索如何將模型技術應用到自身產品中並不容易,終端硬體廠商在AI能力上參差不齊,為了縮短AI融合應用的上市時間,需要物聯網整體解決方案供應商為他們提供高效便捷的全棧AI能力,並針對具體需求做相應定製化的開發。
目前,移遠通訊主推的搭載高通QCS8550平臺的高效能AI算力模組SG885G,成功實現了DeepSeek-R1蒸餾小模型的穩定執行,生成Tokens的速度超過每秒40個,且隨著效能的不斷最佳化,速度還在進一步提升。這款AI算力模組主打高算力、高效能,同時支援Linux、Android、Ubuntu等各種作業系統,在高階機器人等端側算力需求較大的場景中,能夠輕鬆滿足相關算力需求。

對於在計算能效上要求嚴苛的應用,移遠通訊也能提供12 TOPS算力的SG560D,滿足需要兼顧算力、成本和功耗的端側應用。同時,搭載紫光展銳UIS7885平臺的SG530C也兼顧算力、成本和功耗。
從基礎的人臉識別、到工業視覺質量檢測、到機器人等各種碎片化的應用場景,移遠通訊都能提供相應算力硬體,為端側AI落地提供支援。據悉,移遠通訊正在規劃更高算力模組,滿足未來端側對算力更大的需求,解決不同終端的多層次的算力需求。
除了AI算力模組,近期移遠通訊也釋出了面向全球市場的QuecPi Alpha開源智慧生態開發板,AI算力高達12 TOPS,充分滿足工業和消費類應用場景下對高速率、多媒體功能及AI算力的需求,加速工業類及消費類智慧裝置端側智慧技術的突破,推動相關應用快速落地。
目前,AI算力模組已經能夠承擔更多計算量,減輕雲端伺服器的計算負擔。隨著算力模組的進一步擴充完善,更多的計算任務將直接在本地完成,這也意味著更多硬體終端能夠搭載更智慧的“大腦”。從智慧汽車、機器人到PC、家居、玩具及可穿戴裝置等多元化裝置,AI算力模組針對不同終端應用的持續最佳化,將大幅縮短端側智慧相關產品的落地週期,越來越多的終端裝置將享受到AI技術帶來的變革。
大模型解決方案落地,引領機器人創新變革
在眾多端側智慧應用中,機器人無疑是最具想象力的智慧產品,可以說是最能代表前沿科技成果的智慧集合體。加之DeepSeek在高質量小模型和多模態推理模型方面上的創新,機器人在商用落地方面已經準備得十分充分。
對於機器人的應用方向,從落地的角度看,商業服務類機器人是通用智慧機器人有望最先落地的場景。在大模型技術的賦能下,機器人在情景理解、知識融合、智慧互動上實現了顯著增強,這是以往弱互動、弱推理的機器人所欠缺的。模型技術的應用,使機器人能夠快速整合先進的自然語言處理能力,並對資訊初步處理與分析,從而在人機互動方面實現大幅最佳化。
移遠通訊的大模型解決方案在機器人上的應用就是很好的例子。在移遠端側大模型解決方案的助力下,服務機器人可實現1s以內的意圖識別,解碼速率超過15 tokens/s。從KWS語音喚醒到VAD人聲檢測,再到ASR語音識別,最後透過TTS語音播報,移遠大模型解決方案在全語音鏈路上實現了無縫銜接與高效執行。

在移遠端側大模型解決方案的幫助下,服務機器人得以準確理解使用者意圖,並以清晰自然的語音進行反饋,在互動體驗和智慧服務上遠勝於傳統的服務機器人。該方案展現出了顯著的落地價值,在眾多實際場景中得到了廣泛應用。
在端側AI專場直播中,移遠通訊產品經理強調,在機器人方案規劃上,後續會基於控制器,為機器人整合更多外圍感知器件,用多維的感知來不斷賦予機器人更類人的互動能力。互動的前提是充分的感知,移遠通訊將藉助即時、精準、多維的感知技術,為機器人拓展更多如互動、決策等AI相關功能,充分發揮出端側AI在資料處理、分類、融合的價值,並透過完備的感知能力與擬人化的互動方式,進一步增強機器人的智慧化程度。
移遠通訊在MWC 2025上推出的全新AI智慧無人零售解決方案,正是憑藉動態視覺感知與端側識別模型,讓自動售貨機實現了跨越發展,這與透過多維感知不斷賦予機器人更類人的互動能力有著異曲同工之妙。

端側AI大模型技術與機器人的緊密結合,使得機器人在識別任務後,能夠自動拆解出涉及的機器人技能與子技能,並根據給定的最終目標任務,自主地進行從Language到Action的模型構建。在端側AI的助力下,自主編排和執行復雜任務,將成為未來具身智慧機器人的發展方向。
寫在最後
隨著端側模型與端側算力平臺持續協同最佳化,二者將不再是制約智慧終端硬體發展的枷鎖。更小、更精、更聚焦垂直領域的端側小模型,開始向各類終端滲透。從高算力到兼顧能效的算力模組,移遠通訊針對不同場景對成本、功耗和算力的差異化需求,提供了多樣化的選擇。接下來,針對不同端側應用開發的端側AI解決方案將不斷湧現,這將大幅縮短智慧終端的落地週期,促進千行百業的智慧化變革。


