作者：彭昭（智次方創始人、雲和資本聯合創始合夥人）
這是我的第364篇專欄文章。
近期，微型機器學習TinyML領域取得了里程碑式的進展，跨越了一個重要的分水嶺。這一技術的成熟度和發展潛力都將邁上新的臺階。
其中最具代表性的事件是3月11日高通宣佈收購Edge Impulse。
Edge Impulse是TinyML領域的代表性公司，此次收購預計將在數週內完成。在此之前，該公司曾釋出了一份題為《邊緣AI終極指南：邊緣智慧業務轉型手冊》的報告，這份報告對於理解TinyML的發展趨勢和商業價值有重要參考意義。
在我此前的多篇文章中，例如《從LLM大模型到SLM小模型再到TinyML，這個領域有望增長31倍並催生新的商業模式》，我曾對TinyML進行過深入的介紹和分析。
TinyML作為一種最佳化機器學習模型的技術，使其能夠在資源受限的裝置（如微控制器）上高效執行。儘管這些模型的體積小巧，運算高效，但卻足以勝任語音識別、感測器資料分析等任務。與執行大型語言模型LLM等AI技術的晶片相比，TinyML裝置的成本更低，功耗更小，但效能表現依然出色。
TinyML的崛起，將極大地推動端側AI和邊緣智慧的發展。
當前，人們對生成式AI的認知正在發生微妙的轉變。過去，人們普遍認為模型引數越多，效能就越好；而現在，越來越多的人開始認識到，小模型也能發揮出巨大的潛力。
隨著AI工具庫變得越來越強大，程式設計方式也變得越來越簡單（例如使用自然語言），AI技術的使用正變得更加平民化。此外，業界正在努力將推理過程儘可能地靠近資料來源，因此邊緣AI正受到越來越多的關注。
鑑於此，本文將深入探討高通收購Edge Impulse的意義，分析值得關注的邊緣AIoT平臺，並提煉《邊緣AI終極指南》中的精華內容，以期為讀者全面解析TinyML的技術趨勢和商業前景。
Edge Impulse併入高通，簡化邊緣AI開發流程
高通公司於3月11日宣佈收購邊緣AI技術公司Edge Impulse。
此次收購將整合Edge Impulse的邊緣AI開發平臺，增強高通在AIoT領域的能力，推動高通在工業自動化、智慧醫療等領域的智慧化滲透。
Edge Impulse是一家成立僅6年的公司，由芬蘭企業家扎克·謝爾比與荷蘭工程師揚·瓊布姆於2019年共同創立。
兩位創始人在ARM公司從事物聯網系統工作時相識，他們共同發現了一片藍海市場—TinyML微型機器學習。他們意識到，隨著微控制器計算能力的發展，已經能夠直接在板上執行特定領域的人工智慧模型。如果將人工智慧從雲端轉移到邊緣，將有無數的應用場景受益。
自成立之初，Edge Impulse的使命就是簡化邊緣裝置的機器學習開發流程，幫助開發者快速構建和部署嵌入式AI應用，推動智慧裝置的普及。
Edge Impulse構建的AIoT平臺，可以大大縮短為感測器、微控制器和攝像機等小型裝置建立機器學習模型所需的時間。
Edge Impulse為開發人員提供了一套完整的工具，可以自動收集資料、簡化模型訓練、提供高階最佳化功能，並支援一鍵部署到多種型別的硬體，從MCU微控制器到CPU中央處理器、GPU圖形處理器和NPU神經網路處理器。
目前，Edge Impulse的平臺已支援超過17萬開發者，覆蓋25萬個機器學習專案，客戶包括全球頂級晶片供應商（如意法半導體、恩智浦）和終端企業。
迄今為止，Edge Impulse已籌集了5430萬美元的資金。2021年，該公司在B輪融資中獲得了3400萬美元，估值達到2.34億美元。兩年後，該公司報告的收入為1470萬美元。
高通收購Edge Impulse可以彌補其在端側和邊緣AI領域的技術短板，並加速向AIoT轉型。
Edge Impulse的平臺能夠與高通的晶片組和軟體架構形成互補，幫助開發者在低功耗裝置上快速部署AI應用。
據悉，預計本次收購將於數週內完成。收購完成後，高通將能夠為開發者提供更高效的AI開發工具，加速物聯網應用的商業化程序。在工業、醫療和零售等領域，邊緣AI的普及將推動智慧化轉型，提升運營效率和決策能力。
上圖展示了兩者結合後的優勢，Edge Impulse平臺與高通的邊緣AI工作流程和高通AI Hub、Foundries.io等工具配合使用，可以更廣泛地訪問新模型、測試環境和部署選項。
在一篇博文中，Edge Impulse創始人謝爾比介紹了併入高通的意義。
-
對Edge Impulse使用者而言，這意味著邊緣人工智慧將變得更加簡單、易於使用。與高通的合作將加速對功能強大的Dragonwing處理器的計算機視覺、音訊、語音識別和生成式人工智慧的支援。除了支援高通的硬體，Edge Impulse還將繼續支援來自廣泛合作伙伴的邊緣硬體，包括MCU、CPU、GPU和NPU。使用者可以像往常一樣，使用Edge Impulse將模型部署到自己喜歡的硬體上。
-
對高通而言，Edge Impulse將為其物聯網戰略方針增添重要組成部分。無論經驗水平如何，使用者都可以從完整且直觀的邊緣AI開發工作流程中受益。從資料準備和AI實驗，到在各種邊緣硬體（包括Dragonwing處理器）上最佳化和部署AI模型，使用者都可以立即開始嘗試。此外，企業和工業應用可以利用全新Edge Impulse與高通AI Hub的整合，分析並提升針對高通硬體的模型效能，加速高效能物聯網裝置的創新。
TinyML裝置：麻雀雖小五臟俱全的開發挑戰
TinyML模型運行於微控制器晶片，這類晶片常見於洗衣機、冰箱、汽車安全氣囊等各種裝置中。
最初設想的TinyML消耗的電量非常少（不到1毫瓦），因此裝置可以使用紐扣電池執行一年或更長時間，並且幾乎可以永遠使用太陽能供電。雖然目前尚未廣泛達到這一閾值，但TinyML裝置已經可以使用AA電池執行數週甚至數月。
晶片本身價格低廉，可從多家制造商處購買。因此，大多數TinyML裝置的價格從幾美元到幾十美元不等，具體取決於其功能的強大程度。
這些裝置通常不僅包括晶片，還包括攝像頭和感測器，用於檢測影像和聲音，以供AI模型進行分析。目前工程師們使用的TinyML軟體、硬體和資料集都是開源的，這意味著它們可以被自由訪問和修改。
儘管TinyML裝置看似簡單，但開發起來卻充滿挑戰。
首先，它需要多種技能的專業知識，包括硬體、軟體和機器學習，很少有人能夠全面掌握，其次，結合所有這些技能也需要時間。因此，能夠簡化開發、有效部署的端側和邊緣AI開發平臺成為了必選項。
Edge Impulse提供了《邊緣AI終極指南：邊緣AI業務轉型手冊》，其中包含了關於邊緣AI如何改變業務的關鍵要點，以及如何利用這項突破性技術的實用見解。
全球邊緣人工智慧的增長和預測顯示，預計到2033年，全球邊緣AI市場規模將從2023年的190億美元增至約1630億美元。
為邊緣AI提供支援的軟體和硬體市場也在不斷增長。邊緣AI軟體解決方案正在成為現代數字基礎設施不可或缺的一部分。這個不斷增長的市場涵蓋了各種工具和平臺，旨在實現從物聯網感測器到工業裝置等邊緣硬體的AI推理和訓練。邊緣AI軟體的全球市場規模預計將從2023年的11億美元增長到2028年的41億美元。
在硬體方面，根據Markets and Markets的資料，到2029年，全球邊緣AI硬體市場價值預計將達到547億美元。
邊緣裝置和處理器構成了邊緣AI實現的支柱，支援在各種應用中進行本地處理和決策。這些裝置包括專用的AI加速器和神經處理單元NPU，以及針對邊緣計算最佳化的更通用的片上系統SoC。
《邊緣AI終極指南》還提供瞭如何評估邊緣AI的準備情況、如何制定邊緣AI的發展路線圖，以及如何測算投資回報率等內容，具有參考價值。
邊緣AI成熟度評估清單可以幫助組織評估是否已為成功的邊緣AI之旅做好準備。此清單將指導評估實施和擴充套件邊緣AI計劃所必需的關鍵要素。
邊緣AI路線圖旨在指導完成規劃、實施和最佳化邊緣AI戰略的關鍵步驟。透過探索有效的邊緣AI路線圖的關鍵組成部分，組織可以更好地構建未來。
測算ROI也是關鍵步驟之一，因為許多組織將面臨邊緣AI戰略的關鍵決策：自建還是購買。在邊緣AI的早期，DIY方法通常是唯一的選擇，需要公司組裝複雜的元件、工具和資源。然而DIY也是一種具有挑戰性的方法，需要廣泛領域的專業知識才能實現。
感興趣的朋友可以點選連結下載：
https://pages.edgeimpulse.com/the-ultimate-guide-to-edge-ai
邊緣AIoT平臺巡禮：高通、英偉達、谷歌等巨頭參與角逐
隨著邊緣AI的不斷發展，支援AIoT的新型平臺也應運而生。
任何旨在支援AIoT連線的平臺都必須有效地結合人工智慧和物聯網平臺領域的功能。這頗具挑戰性，因為人工智慧的特點是軟體的快速迭代和更新，而物聯網的特點是裝置的資源受限、分散部署、而且需要在無人干預的情況下執行多年。
在一份新報告《AIoT需要什麼樣的平臺？》中，Transforma Insights確定了支援AIoT所需的軟體平臺必備功能。
雖然許多功能已經存在，然而，現有的物聯網平臺通常尚未針對支援分散式人工智慧進行最佳化，而人工智慧平臺通常沒有考慮到物聯網環境的所有約束。目前能夠兼顧物聯網和人工智慧的AIoT平臺仍屬少數。
透過收購Edge Impulse，高通將成為邊緣AIoT平臺的有力參與者之一。
其他知名的邊緣AIoT開發平臺還包括：
-
英偉達Jetson
Jetson是一個強大的邊緣AIoT應用平臺，提供一系列針對AI和深度學習任務量身定製的硬體和軟體解決方案。它以緊湊的外形提供高效能計算能力，使其成為機器人、智慧城市和醫療保健等應用的選擇。
-
谷歌Coral
Coral致力於將AI處理擴充套件到邊緣裝置。為此，它提供了Coral Dev Board和USB Accelerator等模組，以及用於AI推理的TPU。谷歌Coral與TensorFlow Lite配合使用，使開發人員能夠更輕鬆地部署模型。
-
AWS IoT Greengrass
AWS IoT Greengrass是一種將AWS雲服務擴充套件到邊緣裝置的技術，使它們能夠在本地對其生成的資料採取行動。它支援機器學習推理、資料處理和裝置之間的安全通訊。
-
Microsoft Azure IoT Edge
Microsoft Azure IoT Edge是一項完全託管的服務，透過在IoT裝置上直接部署和執行AI、Azure服務和自定義邏輯，在本地提供雲智慧。它採用了一系列開發應用程式，並且還與Azure機器學習相容以進行模型部署。
-
英特爾OpenVINO
英特爾OpenVINO（開放式視覺推理和神經網路最佳化）工具包透過其設計加速了英特爾硬體上的AI工作負載。它專注於深度學習模型，並能夠分發到各種邊緣裝置。OpenVINO支援計算機視覺和自然語言處理應用程式，因此，它也可以被視為醫療保健、零售和工業自動化等行業進行AI開發的多功能工具。
-
IBM Edge應用程式管理器
IBM邊緣應用程式管理器是用於安裝和執行基於AI的邊緣裝置應用程式的全套解決方案。此工具是自我管理的，使用者可以在出現新版本或更新時進行部署。IBM的Edge Cluster Manager平臺提供了各種用例場景，例如工業自動化、能源管理和遠端生產力工具。
-
索尼Spresense
Spresense是一款專為邊緣計算應用而設計的小型開發板。它由多核微控制器構建，支援多個AI框架，因此非常適合音訊處理、計算機視覺操作和其他AI用途。
寫在最後
隨著邊緣AI的迅速發展，TinyML正迎來一個全新的時代。
高通對Edge Impulse的收購，不僅彰顯了行業巨頭對TinyML和AIoT的高度重視，更預示著邊緣AIoT平臺競爭的加劇。未來，隨著5G、IoT等技術的進一步普及，邊緣AI將在更多領域大放異彩。
最後，值得一提的是隨著TinyML已成為許多嵌入式邊緣用例的常態，TinyML基金會進行了品牌重塑。該基金會已更名為Edge AI基金會，以便更好地與生態系統合作伙伴一起，實踐在邊緣提供可擴充套件、低功耗AI的承諾。
參考資料：
1.Our Next Chapter: Edge Impulse is Joining Forces with Qualcomm Technologies，作者：Zach Shelby，來源：Edge Impulse
2.The Ultimate Guide to Edge AI，來源：Edge Impulse
2.The Ultimate Guide to Edge AI，來源：Edge Impulse
