“AI端側模型與硬體模組一體化”迎接智慧終端大爆發。
2025年伊始，DeepSeek的風潮無異於一聲驚雷，把大模型再次炸出了圈。
在海外，被這波巨浪衝擊到的模型廠——OpenAI、Anthropic、xAI紛紛公佈最新進展，力證自家模型依舊領先。
國內，隨著微信接入DeepSeek-R1，國內移動互聯時代的王炸APP和大模型時代的國運級創新的大模型就此聯手。
而在產業場景更深處，DeepSeek這次引發熱議的推理模型DeepSeek-R1也引發一些思考。
比如，如何順利把它運用在強隱私安全保護、不能上網際網路處理、需要多模態視覺AI分析、需要更快響應速度並且算力有限的終端側場景？
這些場景市場廣闊，包括：醫療器械（顯微鏡、內窺鏡等）、手機相簿、個人檔案儲存、家庭NAS、保密安全PC、汽車、手錶、智慧家居、AI萌寵、機器人等等。據估計，至2032年全球AI端側市場有1436億美元。
DeepSeek提供了蒸餾版模型（如1.5B版本），進一步優化了資源受限硬體的執行能力。以分析蘋果出名的分析師郭明錤，日前也發文指出，DeepSeek爆紅後，端側AI趨勢將加速推進。
這種趨勢已經開始顯現。
在這兩天的一場釋出會上，36氪看到，有著長期AI核心技術積累和落地經驗的“深思考人工智慧（iDeepWise.ai）"釋出了鴻蒙系統端的“TinyDongni”&“DeepSeek”超小端側多模態大模型，並與國產算力模組適配，形成一攬子的端側AI解決方案。
概括來講，深思考做了幾項工作：
1、使用其自研的Dongni-AMDC(Adaptive Multi-Dimensional Compression) 方法量化壓縮了DeepSeek R1模型為 DeepSeek R1 -1B端側模型。
2、使得DeepSeek R1-1B “長眼睛”具備視覺模態能力，從而增強為多模態模型。
3、適配了開源鴻蒙作業系統（據悉也同時適配了Linux Ubuntu 22.04 / 統信UOS/Windows 10 & 11/Android 14）
4、將TinyDongni”及“deepseek”超小端側多模態大模型最佳化執行至國產算力模組，推出一站式解決方案。
36氪瞭解到，這些方案的突出優勢在於：
1、深思考自研的Dongni-AMDC(Adaptive Multi-Dimensional Compression) 演算法是深思考專為端側大語言模型設計的全新多元自適應壓縮演算法，致力於在低功耗、低延遲和低資源佔用的條件下實現卓越效能。為邊緣裝置上的AI部署帶來了突破，使得精度與效率兼得，簡單來講就是雖然模型尺寸變小了，但在重點落地場景下的指標卻能保證精度，不會“失智”和“幻覺百出”。
2、在醫療健康場景下做了增強訓練，學習了超1600萬篇權威醫學健康論文、指南、專家共識。
3、AI模型+AI系統套件+算力模組一站式方案，執行流暢，據評測深思考已將其自行量化的DeepSeek 1B版本模型端側部署於瑞芯微 RK3588之上，且能達到每秒10.2個tokens的推理速度。而深思考TinyDongni端側多模態大模型在瑞芯微 RK3588上推理速度為：13.6tokens/s；
4、深思考提出的一種的多層次語義解碼架構Dongni-v，透過自適應的模態互動機制實現了影像和文字特徵的跨模態對齊。這一架構的核心優勢在於它能夠自動捕捉多模態資料中的細微語義關聯，並透過全新的“語義連貫度評估”技術，確保不同模態資訊的無縫銜接。Dongni-v賦予了Deepseek R1-1B模型“多模態“能力。
做出這些創新的深思考人工智慧（iDeepWise.ai），是一家專注於類腦人工智慧與多模態大模型核心科技的公司，核心團隊主要是來自中科院、清華、耶魯大學一線的AI科學家及領域業務專家。
Dongni.ai，是他們推出的多模態大模型。TinyDongni則是這家公司專為端側設計的模型。早前，TinyDongni這一端側模型已經規模化落地在AI PC、AI手機、AI顯微鏡、AI NPU攝像頭等場景中。
這一次深思考人工智慧（iDeepWise.ai）最新帶來的，是和鴻蒙系統適配的“TinyDongni”及“deepseek”端側多模態大模型。“這是鴻蒙系統上的首個端側DeepSeek-R1-1B模型。”深思考人工智慧（iDeepWise.ai）創始人及CEO楊志明博士表示。
並且，深思考人工智慧（iDeepWise.ai）還把國產的端側大模型方案進行了一系列深化。它與國產頭部模組廠商廣和通、深開鴻達成深度合作，並推出適配國產算力的硬體解決方案。
也就是說，這家公司已經把端側模型的可用國產方案，整體落地了。
基於鴻蒙系統的端側模型和多模態的DeepSeek-R1
端側大模型，能推動更多更具想象力的新場景落地。尤其當AI眼鏡、AI手機、AI耳機、機器人、AI玩具等各類硬體在2024年紛紛成為關注焦點，端側模型結合各類硬體裝置也更加常見。
最廣為人知的例子不外乎iPhone。半年前，蘋果在自己的秋季釋出會上推出iPhone16。這其中的AI功能，本地端側模型發揮了不少價值。在iPhone之外，AI眼鏡、機器人等產品，也需要端側模型的能力。
問題在於，雖然各類AI硬體已經隨處可見，但卻很少出現讓人人都覺得體驗很好的產品。
在端側，由於計算和儲存資源所限，過大的模型無法正常執行。經過量化，不少模型雖然可以運轉，卻時常會“變笨”。整體而言，如果要讓一個端側的模型順利“跑起來”，不僅需要模型層的努力，還需要和作業系統、算力側一起進行“軟硬一體”的最佳化。
達成這些要求並不容易，這使得到了2025年，不少大模型公司還在持續追求端側模型的突破。
深思考人工智慧（iDeepWise.ai）也是持續在端側佈局的AI公司之一，其落地戰略為端、邊、雲三側AI落地於深度垂直場景，實現“四化”（即：垂域化、場景化、產品化、服務化）。而在安全隱私保護要求高，不能聯網上雲的場景，則重點佈局端側AI
之前，深思考已經推出過自己的端側模型——2024年秋天，深思考人工智慧（iDeepWise.ai）自研的純端側大模型–TinyDongni，首次對外亮相。
36氪瞭解到，TinyDongni是完全在終端側推理的多模態大模型，可以在裝置本地（如智慧手機、IoT裝置、嵌入式系統等）執行。
作為一個專門針對端側場景的模型，TinyDongni具備端側模型的突出優勢，包括引數尺寸規模小（1.5B、0.4B、0.15B三個尺寸規模的端側模型）、響應速度快，純端側執行，保障使用者資料安全性等。
而這一次2025年初的新發布，是深思考人工智慧（iDeepWise.ai）在半年之內對端側模型的全新、全面升級。
在釋出會中，我們看到首個基於鴻蒙系統的端側模型TinyDongni、基於DeepSeek-R1的超小端側版本，以及和國產作業系統、算力做了結合的端側全鏈條方案，都在楊志明博士的展示中逐一亮相。
楊博士進一步介紹，TinyDongni是公司自研的端側模型，引數大小為1.5B和0.4B。TinyDongni端側模型採用DongniForCausalLM架構，透過創新的量化方法顯著降低首Token延遲，支援32K超長上下文理解，並透過多晶片協同處理與記憶體最佳化技術，兼顧低功耗與高響應速度。
另外一個透過DeepSeek-R1最佳化的端側模型大小為1B，可以強化場景下的多模態語義理解，適配智慧硬體與邊緣計算場景。而且，這一模型聚焦垂直場景裡的多模態資訊（文字、影像、影片）的分析，記憶體佔用降低了30%。
值得關注的是，目前市場中使用的開源版DeepSeek-R1模型，最小引數為1.5B。也就是說，這次新發布的1B端側模型，是深思考人工智慧（iDeepWise.ai）自研量化壓縮的版本。而且，他們還給這個基於DeepSeek-R1的1B模型加上了多模態能力，讓它能夠識別圖片、影片，也能“說話”。
在現場展示中，這個基於DeepSeek最佳化的模型，思維鏈的展示非常清晰。
36氪還了解到， 深思考量化DeepSeek模型的技術方案具備原創性。
深思考表示，Dongni-AMDC(Adaptive Multi-Dimensional Compression) 是公司專為端側大語言模型設計的全新多元自適應壓縮方法，目標是在低功耗、低延遲和低資源佔用的條件下實現卓越效能。
具體拆解，AMDC透過獨特的智慧動態最佳化策略，對模型權重和輸入同步壓縮，一方面對模型進行綜合最佳化分析，得出最適合的壓縮方式和推理精度；與此同時，對輸入資料進行稀疏壓縮，顯著降低推理開始時需要處理的資訊量。這讓首Token延遲大幅降低，非常適合需要快速響應的場景。
與此同時，透過計算任務智慧分配、模型動態載入以及權重共享技術，還可大幅降低模型記憶體，提高推理速度，非常適合記憶體受限的裝置，比如智慧手錶、手機或物聯網終端。
而在對DeepSeek- R1的多模態改造上，深思考也進行了創新。
整體來看，他們打破了傳統的跨模態融合方式，提出多層次語義解碼架構Dongni-v，透過自適應的模態互動機制實現了影像和文字特徵的深度共鳴。
這一架構的核心優勢在於它能夠自動捕捉多模態資料中的細微語義關聯，並透過全新的“語義連貫度評估”技術，確保不同模態資訊的無縫銜接。
全鏈條國產方案
推出低功耗、低延遲、多模態的端側模型，只是深思考人工智慧（iDeepWise.ai）在端側佈局的第一步。
如上文所說，在完整的解決方案上，它還和產業鏈上下游協同，與國產作業系統、國產模組達成合作。
在釋出會中能看到的是，作業系統側，深思考人工智慧（iDeepWise.ai）的端側模型已經相容OpenHarmony、Linux、Windows、Android等主流作業系統。國產算力側，它宣佈與國產頭部模組廠商廣和通、深開鴻達成合作，推出適配國產算力的硬體解決方案。
具體看這兩大國產模組解決方案：
深開鴻模組，配置了瑞芯微RK3588 晶片和OpenHarmony系統，具有較強的影像處理能力，支援8K解碼與多屏互動，將賦能工業檢測、AI攝像頭等高精度場景。
廣和通模組，配置了高通QCS8550晶片，集成了高效能圖形引擎和綜合算力達48TOPS的AI引擎。依託深思考人工智慧的演算法最佳化，這一模組可為車載、機器人等場景提供即時AI處理能力。
36氪瞭解到，這兩種模組方案的推出，將AI智慧硬體的開發週期縮短了50%，降低了AI智慧硬體的技術門檻，。另一方面，深思考人工智慧（iDeepWise.ai）和頭部模組廠商的合作，讓自己的端側模型方案更快、更深入地落地到了車載、機器人、工業檢測、攝像頭等場景中。
楊志明告訴36氪，目前很多模型和國產算力的磨合還在初期，甚至會出現模型“根本跑不起來”的情況。但這一次深思考人工智慧（iDeepWise.ai）的端側模型不僅和鴻蒙等國產作業系統適配，還和國產模組、晶片配合落地，推出了不少行業案例。這背後，是深思考人工智慧（iDeepWise.ai）和國產晶片持續一年之久的打磨。
深思考還提供了各個模型適配的硬體速度參考。
將其自行量化的DeepSeek 1B版本模型端側部署於瑞芯微 RK3588，能達到每秒10.2個tokens的推理速度。
而深思考TinyDongni端側多模態大模型，在瑞芯微 RK3588上推理速度為：13.6tokens/s
也就是說，這兩大方案在國產算力硬體上的跑通，標誌著國產端側AI技術在低功耗、高效能領域實現重大突破，打破了“國產算力效能不足”的固有認知。
如果整體看深思考人工智慧（iDeepWise.ai）這次的一系列釋出，還會有一個有意思的發現——他們和DeepSeek的部分思路體現出一致性。
DeepSeek帶來的“國運級別的創新”，不論是V2、V3還是R1，或是最近新開源的NSA（稀疏注意力機制）、FlashMLA，都是在資源有限的前提下，提出的效率最佳化最佳方案。
而深思考人工智慧（iDeepWise.ai）端側模型這次和國產算力之間的匹配，也給國產端側模型的進展提供了和DeepSeek理念類似的、國產突圍思路。
“基於國產化和安全性考慮，一套跑在國產算力、作業系統上的端側模型方案有著很大市場需求。”楊志明表示。
已經落地的花式場景和Case
在現場，深思考人工智慧（iDeepWise.ai）展示了基於自家端側模型的實際案例。我們看到，這次的端側展示方案，不僅體現出多模態的效果，還覆蓋了多個行業和場景。
在AI PC場景中，深思考的端側多模態模型已經推出本地離線的多模態AI搜尋（通自然語言說一句話或者語音來搜尋圖片、影片、檔案的場景和語義），AI辦公、情感交流的“Her模式”和本地端側AI幫使用者回憶的功能“AI Recall”功能。
AI辦公模式裡，深思考人工智慧（iDeepWise.ai）的AI PC Suite能夠在使用者的日常工作中生成PPT、Word等文件。
在Her模式下，它還能基於AI對使用者的認知進行深度交流，自動進行任務執行。並且，這個能與使用者進行深度情感交流與對話的“Her”模式，也能落地在手機、機器人等終端上，提供個性化陪伴體驗。
第三種AI Recall模式，能讓使用者透過自然語言搜尋在PC上做過的任何事以及儲存過的檔案、影片、圖片、瀏覽記錄等資料。
楊志明補充告訴36氪，基於端側模型的資訊儲存、檢索能力目前是高頻剛需。比如在PC和手機上檢索圖片，是很多使用者的需求，而這種隱私資訊需要保護，端側模型是最穩妥的方案。
同樣有需求，且對隱私性要求較高的場景還有AI醫療、AI玩具等。它們也是這家公司目前持續發力的方向。
深思考端側大模型在人形機器人的的場景中得到完美應用，人形機器人具備語音對話、情緒識別與感知等多模態功能，在情感陪伴、養老、教育等領域有著巨大應用潛力。
36氪瞭解到，深思考人工智慧（iDeepWise.ai）的端側模型，在醫療方向已經推出了AI顯微鏡。這個集成了AI能力的顯微鏡，可以離線執行保證隱私，還能載入可拓展的AI分析模組。透過加密分析與擴充套件模組，顯微鏡能夠直接提升病理檢測的穩定性與效率。
值得一提的是，AI和醫療的結合是深思考人工智慧（iDeepWise.ai）有著長期優勢的方向。2018年，這家公司就釋出了世界上首個醫學影像專用AI處理器。針對“重疾早篩”這一垂直場景，它還完成了超10萬例臨床回顧性分析和驗證，擁有百萬級高質量資料。截至2024年，深思考人工智慧（iDeepWise.ai）僅宮頸癌篩查量就超過了3000萬人份。
這次重點發布的端側模型TinyDongni，也具備深厚的醫療知識積累。它學習了1687萬篇全球權威醫學論文，可以精準地利用AI輸出醫學內容。
另外，深思考人工智慧（iDeepWise.ai）還在佈局智慧汽車領域——端側模型TinyDongni實現了融合手勢、語音、影像、情感等多模態互動，可以即時端側AI分析車內外場景。
深思考人工智慧（iDeepWise.ai）這一套釋出，不論是模型的訓練還是量化，又或者是和作業系統、國產模組的適配，都是這家公司看到需求後，長期攻堅的結果。
“我們的AI佈局，一切都是源於市場剛需，一切都是定位於規模化落地。”楊志明博士表示，在可見的未來，隨著AI智慧終端場景的爆發，AI會無處不在。