作者：彭昭（智次方創始人、雲和資本聯合創始合夥人）
這是我的第354篇專欄文章。
前幾篇文章，我們不斷探討小模型（SLM）在端側和邊緣側的崛起。現在，邊緣側小模型已然成為不可忽視的發展趨勢。
AI模型猶如軟體，需要硬體作為載體方能發揮作用。
面對邊緣AI的迅猛發展，我們不禁要問：邊緣硬體是否已經做好準備了？
生成式AI模型要落地應用，離不開邊緣硬體的支撐。對開發者和終端使用者而言，邊緣硬體就是駕馭AI的利器。
一個優秀的硬體“工具”，如同一柄削鐵如泥的神兵，若能遇到善加利用的主人，定能所向披靡，威力驚人。
如今，邊緣裝置的算力與日俱增，從過去的幾個TOPS@INT8（每秒可執行數兆次八位整數運算），躍升至數十TOPS的量級。這意味著邊緣硬體即使在斷網狀態下，也能獨立完成SLM的推理任務，大大拓寬了應用場景。
伴隨SLM的發展，多家企業紛紛推出針對SLM最佳化的邊緣智慧開發板。尤其值得關注的是，在上週，英偉達釋出了令人矚目的新品，將邊緣硬體的效能和價效比推向了新的高度。
12月17日，英偉達CEO黃仁勳在釋出的影片中，從烤箱端出最新“烹飪”的全新邊緣開發套件Jetson Orin Nano Super。
這款“邊緣AI大腦”不僅效能更為強勁，售價更是直降一半，僅需249美元（人民幣2000元以內）。這無疑將掀起邊緣AI的一場革命。
這一產品的問世，不僅將會掀起一場全球範圍內的邊緣AI開發板大戰，也為中國企業在邊緣AI領域的發展提供了難得的機遇。
本文將從英偉達新品的特點、邊緣AI開發板的競爭格局、中國企業的機遇與挑戰等角度，深入探討這場邊緣AI革命的意義與影響。
讓我們做好準備，一起迎接即將來臨的端側AI、邊緣AI硬體的“寒武紀”物種大爆發階段。
重新定義邊緣AI的可能性
在介紹英偉達新品之前，有必要明確端側AI和邊緣側AI硬體所涵蓋的範圍相當廣泛，從數十元到數百萬的解決方案任選，可謂豐儉由君，應有盡有。
廣義而言，凡是無需聯網即可完成AI推理任務的硬體，都應歸入邊緣AI的範疇。相較端側，邊緣側對算力和功耗的要求更高。業界普遍認為，AI工業電腦、嵌入式裝置、電池供電的可穿戴裝置以及服務機器人等，都屬於邊緣側AI的典型應用。
當然，面向這些邊緣AI裝置的解決方案也是形態各異，包括微處理器（MPU/SoC）開發板、類樹莓派型開發板、TPU加速棒等，當然也包括黃仁勳此次端上的“佳餚”：Jetson Orin Nano Super開發套件。
這款全新發布的產品是Jetson Nano系列的升級版，堪稱目前該系列中“價效比之王”。在效能大幅提升的同時，售價卻直降一半，僅需249美元（人民幣2000元以內）。
與前代產品相比，Nano Super的AI推理效能提高了1.7倍，整體效能飆升70%，達到驚人的67 TOPS@INT8。此外，Nano Super的記憶體頻寬增加至102GB/s，較前代提升50%：CPU頻率也從1.5GHz升至1.7GHz：而整機尺寸卻只有一個手掌大小，功耗僅需25瓦。
Jetson Orin Nano Super支援同時呼叫多達四個攝像頭，並提供比前代更高的解析度和幀率。效能的全面升級，將為主流生成式AI模型和基於Transformer的計算機視覺演算法帶來顯著增益。
這款革命性的AI開發套件，將讓機器人、工業自動化領域的開發者以及各行各業的硬體工程師，無需連線雲平臺，即可在邊緣側實現高效AI運算，大幅降低成本和延遲。
在談到英偉達新品的同時，我們還需要關注美國對華晶片限制令可能帶來的影響。
就在新品釋出隔日，12月19日，美國商務部要求英偉達調查該公司產品在過去一年中流入中國大陸的情況。
然而，查閱美國商務部工業和安全域性（BIS）釋出的額外出口管制規定可以發現，ECCN 3A090項下的相關注釋明確指出，非資料中心類且TPP未超過4800的晶片不在該項管制範圍內。這意味著絕大多數用於筆記型電腦、智慧手機和遊戲機等消費電子產品的晶片不受影響。
因此，英偉達Jetson系列產品可以透過正常渠道在中國銷售。這款新品的推出，必將點燃更多創新開發者和應用企業的熱情。
邊緣AI高性價比時代來臨
英偉達新品的問世，勢必引發一場AI開發板的激烈角逐。
市面上與Jetson Orin Nano相似的產品不在少數，各家都聲稱自己的算力高、效能強。曾有國外開發者對當時最熱門的三款AI開發板進行了橫向對比，分別是樹莓派+英特爾神經網路計算棒、英偉達Jetson Orin Nano和Google Coral。
結果發現，沒有任何一款開發板能夠達到官方宣稱的最高效率。
測試之後，這名開發者還很可愛的透露：This post is sponsored by Coral from Google。可見谷歌也是相當“心大”，認可這份客觀中立、至少沒被打臉的測試結果。
無論哪家產品更勝一籌，對開發者而言，高性價比、算力強勁的AI開發板時代已經到來。今後，再也沒有“算力昂貴、難出佳作”的藉口了。
由此，圍繞邊緣AI的最新“安迪-比爾定律”之爭也拉開了帷幕。這一定律曾為IT產業創造了一種完美模式：What Andy gives，Bill takes away。如今，這一法則正在邊緣AI領域重演。
除了本次新品，英偉達還計劃在2025年推出Jetson Thor，以爭奪更大的AI硬體市場份額：而OpenAI則計劃在2025年1月釋出能夠獨立執行任務的AI代理Operator。
這對“準安迪-比爾”的持續迭代，不僅推動了AI技術的進一步成熟，也將重塑未來智慧裝置的功能和應用場景。
在上篇文章《2025智慧代理大戰來襲，2026智慧代理+Web3觸發萬物經濟》中，我曾介紹OpenAI的AI代理Operator不僅在技術上具備自主性，在功能設計上也充分考慮了多樣性，能夠控制計算機並獨立執行任務。與之呼應，英偉達則致力於透過硬體平臺為智慧機器人賦能，二者形成了互補之勢。
在本次邊緣AI開發板的大戰中，中國企業有望佔據一席之地。
這一預測既基於中國在晶片製造領域的快速進步，也得益於中國企業在當前“安迪-比爾定律”重構中的積極參與。
根據12月10日中國海關總署釋出的最新資料，2024年前11個月，中國積體電路出口額突破萬億元大關，同比增長20.3%。這一里程碑式的成就，標誌著中國在晶片研發、生產與製造領域的能力已經上升到一個新的高度。
經歷了6年的貿易戰考驗，中國已於2023年成為全球最大的晶片生產國，為中國企業參與邊緣AI硬體的競爭奠定了堅實基礎。
在新一輪“安迪-比爾定律”的演進中，中國企業正積極佈局。一方面，中國企業可以充分利用自身在晶片製造領域的優勢，為邊緣AI開發板提供高性價比的核心元件：另一方面，中國企業也在加大研發投入，致力於打造效能卓越、功能豐富的邊緣AI開發板產品。
邊緣AI是中國實現“硬體+服務”融合之鑰
除了參與邊緣AI開發板的爭奪戰之外，英偉達新一代邊緣AI開發套件Jetson Orin Nano Super的釋出，為中國企業在邊緣AI領域的發展提供了難得的機遇。
這款高性價比的產品，不僅讓更多開發者有機會接觸和應用AI技術，也為中國企業在硬體製造與AI服務整合方面開闢了新的可能性。
回顧過去數十年的國際分工，中國在硬體製造領域積累了顯著的比較優勢。然而，這種“硬體強、軟體弱”的非均衡發展模式，導致內需不足、服務業滯後等問題日益凸顯。而邊緣AI硬體的興起，恰恰為打破這一困局提供了契機。
邊緣AI硬體的特點在於，它將強大的AI運算能力與物理裝置緊密結合，使得智慧化服務能夠在本地即時交付。
這意味著，中國企業可以充分發揮自身在硬體設計和製造方面的優勢，同時透過邊緣AI實現服務能力的跨越式提升，最終實現製造業和服務業的均衡發展。
以服務機器人為例，它集成了先進的AI演算法和感測器技術，能夠根據使用者需求和環境狀況提供個性化、智慧化的互動服務。毛茸茸的AI機器寵物、貼心的家庭陪伴機器人、懂人心的智慧眼鏡等，都是邊緣AI服務裝置的典型應用場景。這些創新產品的問世，將極大地豐富人們的生活體驗。
中國擁有完善的電子製造業供應鏈和龐大的消費市場，這為邊緣AI硬體的規模化生產和應用提供了得天獨厚的條件。
如果中國企業能夠抓住這一機遇，積極佈局邊緣AI硬體領域，不斷強化技術研發和產品創新能力，就有望在全球邊緣AI市場中佔據一席之地，並帶動服務業的轉型升級。
不過，要真正實現“硬體+服務”的協同發展，中國企業還需要在以下幾個方面進行深入探索和實踐：
1. 加強研發投入。邊緣AI的競爭歸根結底是技術的競爭。中國企業要在演算法模型、晶片設計、感測器整合等方面加大研發力度，突破關鍵核心技術，提升產品的智慧化水平和效能表現。
2. 深化產業鏈協同。邊緣AI硬體的研發和生產涉及晶片、演算法、感測器、結構件等多個環節，需要產業鏈上下游企業的緊密協作。中國企業要充分發揮產業叢集優勢，建立健全的協同機制，提升供應鏈的效率和柔性。
3. 創新商業模式。單純的硬體銷售很難獲得豐厚利潤，中國企業需要探索“硬體+服務”的創新商業模式。可以考慮透過硬體產品獲取使用者和資料，再透過軟體服務實現商業變現：或者針對特定行業提供端到端的整體解決方案，充分挖掘客戶需求。
4. 培育開發者生態。邊緣AI的應用開發離不開廣大開發者的積極參與。中國企業要透過開放平臺、開發工具、社群活動等方式，積極培育開發者生態，激發開發者的創造力，共同豐富邊緣AI的應用場景。
5. 注重隱私保護。邊緣AI的普及應用將產生大量的使用者資料，這對資料安全和隱私保護提出了更高要求。中國企業要嚴格遵守相關法律法規，加強資料全生命週期管理，增強使用者信任。
6. 積極參與標準制定。邊緣AI尚處於起步階段，相關標準和規範亟待建立。中國企業要積極參與國際標準化組織的工作，爭取在關鍵技術領域掌握更多話語權，為邊緣AI產業的健康發展貢獻力量。
只有在技術、產品、服務、生態、安全等多個維度形成差異化優勢，中國企業才能在激烈的邊緣AI競爭中搶得先機。
寫在最後
英偉達最新發布的邊緣AI開發套件Jetson Orin Nano Super，以其強大的效能和超高的價效比，重新定義了邊緣AI的可能性。
這一產品的問世，不僅掀起了一場全球範圍內的邊緣AI開發板大戰，也為中國企業在邊緣AI領域的發展提供了契機。中國企業可以充分利用自身在硬體製造領域的優勢，同時透過邊緣AI實現服務能力的跨越式提升，最終實現製造業和服務業的均衡發展。
參考資料：
1. 開發者如何選擇Edge AI開發方案，作者：Jack OmniXRI，來源：歐尼克斯實境互動工作室(OmniXRI)
2. The Future is here: NVIDIA’s Pocket-Sized Supercomputer is set to Transform AI，來源：Edge Middle East
3. Benchmarking Edge Computing – Comparing Google, Intel, and NVIDIA accelerator hardware，作者：Alasdair Allan，來源：Medium
2. The Future is here: NVIDIA’s Pocket-Sized Supercomputer is set to Transform AI，來源：Edge Middle East
3. Benchmarking Edge Computing – Comparing Google, Intel, and NVIDIA accelerator hardware，作者：Alasdair Allan，來源：Medium