雖然應用側落地的痛點一直困擾著產業鏈，但具身智慧概念的出現讓機器人，尤其是人形機器人的量產及產業化落地正在超出預期地加速發展。在今年的北京2024世界機器人大會上，眾多人形機器人紛紛亮相，數量創下歷屆大會之最。

同時，今年也是端側AI蓬勃發展的一年，從晶片製造、作業系統開發到終端裝置開發、應用開發等各個環節都在不遺餘力地進行端側AI技術的融合，AI得以持續向端側應用發力，各類AI智慧終端產品在市場上湧現並迅速佔領份額。

端側AI在消費電子領域的火熱進展自是不必多說，機器人也開始越來越多地與端側AI技術結合，向更高階的智慧化升級。黃仁勳曾表示，AI下一個浪潮將是“具身智慧”，即能夠理解、推理並與物理世界互動的智慧。體現在終端裝置上，智慧機器人是最通用的具身智慧終端形態，甚至人形機器人可能成為真正意義上的自主智慧終端，而這一願景離不開背後機器人與AI技術的深度融合。

作為集前沿科學技術於一身的產品，機器人的感知層、決策層、執行層等等每一類技術框架裡都有著大量可智慧化的空間。我們把切入點縮小一些，著重從感知層面來看感測與人工智慧的結合到最後實現具身智慧感知。

機器人任務流程的正確執行，其源頭都是機器人對其自身狀態、操作物件以及作業環境有正確的認知。這依賴於機器人搭載的感測系統能蒐集足夠的內外部資訊以便決策層進行運動規劃。這一點和我們人類是相通的，機器人的感測系統就是人類的感官，一方面收集周圍環境資訊，一方面進行自身狀態的感知。通常在一個機器人端側系統中，會用到感測器、主控以及必要的通訊連線功能，感測器負責採集真實物理世界的訊號，然後將資料傳遞到主控中進行處理。

對於像工業機器人這樣的傳統機器人而言，感知部分是較為單一的，有位置感測器用於運控即可，發展到後來部分工業機器人也僅需要少數的感知單元來完成一些額外的功能。而且傳統的機器人感測器定位僅僅是一個單純用於感知器件，屬於完全的被動方，只以旁觀者的視角對目標量進行記錄，功能點明確且單一。

隨著機器人整體軟硬體技術的完善與發展，越來越多功能得以實現，機器人本身也成為感測器高度整合的端側裝置，小到電流感測器、溫度感測器，大到IMU、編碼器、視覺、雷射雷達等等一系列感測器從各個維度豐富著機器人對環境對世界的感知。

更重要的是，感測器不再只是被動地去記錄目標引數，而是變得更主動、更智慧，能夠基於收集到的資料主動去做融合、分類和預測等等一系列此前無法實現的功能。

這些改變都得益於AI相關技術的引入，如果說此前這些升級與革新只是錦上添花的話，到了現在人形機器人具身智慧時代，端側裝置上感測器與AI的結合絕對已經成為必不可少的技術棧。

因為具身智慧與傳統智慧差別在於具身智慧是具有主動性的第一人稱智慧，能夠在與環境的互動感知中將資料的採集、模型的學習、任務的執行融為一體實現自主學習，感知層不與AI深度結合難以實現這種主動智慧。

從具身智慧整個實現的技術框架來看，仍舊是感知、決策、執行三個核心技術環節以及配套的通訊與互動技術。具身感知是後續環節的支撐，包括對世界模型的全感知及與環境的即時互動感知，可以結合真實互動反饋資料不斷自主修正預先構建的資料庫，獲得更精確的世界理解與模型建立。而後透過構建模擬引擎，對具身任務進行模擬，結合感知資料進行想象操作，為機器人具身執行提供支撐。

可以說，具身感測是具身智慧機器人的基礎，只有一套完整的具身感測系統才能讓機器人實現真正具身智慧，透過感知的傳遞完成對運動控制的指導。具身智慧機器人需要多種感測器，感知帶動運動控制的正規化變化。例如在抓取物品的時候，會先利用感測器組合判斷方位，再識別物品的大小，調整伸手距離等，再透過力/觸覺感測器調整抓握力，進而完成一系列動作。其中每一個環節，都有著AI能夠助力的空間。

端側的AI與感測器融合是機器人發展較為迅速的一個領域，不少感知方向的感測都已經有了明顯的智慧化提升。各個不同維度的感測方向，都有相關技術力量在推動。

1. 機器視覺

AI＋3D視覺主導的機器人視覺感測已經在行業內發展了很多年，是AI與感測器結合得較為成熟的賽道。以往更多的是在即時收集真實資料後不斷在雲端最佳化視覺演算法。端側AI的興起，開始直接在端側進行資料處理，降低了可能因傳輸資料造成的延遲與可靠性問題。

同時基於獲取到的點雲/影像資訊，端側能夠直接進行一定計算量AI功能實現，如進行姿態識別、手勢識別、人臉識別等等。此外，機器人向具身智慧的發展更強調感測器對3D空間和動態環境有更深入的理解。端側的視覺資訊收集只是第一步，後續要進行視覺感知和推理，理解場景中的3D關係，並基於視覺資訊預測和執行復雜任務，最終形成主動的視覺感知，結合真實互動反饋資料不斷自主修正完成從模擬到現實的跨越。

根據Yole的調研資料，3D視覺感測市場在2022年的收入已達到82億美元，並預計到2028年將翻倍增長至172億美元。同時，MarketsandMarkets的預測顯示，到2028年全球AI感測器市場規模將達到221億美元，相比2022年的30億美元，年複合增長率高達41.6%

2. 語義識別處理

端側AI在自然語言處理NLP領域上的優勢也正在被機器人應用起來。藉助端側的大模型進行自然語言識別來做語音互動、語音喚醒、聊天問答等等功能只是最基礎的一部分，也只是第一步。

被下達任務指令的機器人，大語言模型識別完成後自動拆解出涉及的機器人技能與子技能，根據給定的最終目標任務進行自主地從Language到Action模型構建，在端側AI使能下自主編排複雜任務才是具身智慧機器人更前瞻的方向。

國內NLP市場規模於2021年達到181.3億元，在AI技術不斷融合與迭代升級的背景下，國內NLP市場將於2026年達到836.6億元。隨著人工智慧技術的不斷融合與提升以及高度智慧化機器人發展，NLP技術的應用邊界仍在不斷拓展。

3. 機器觸覺與多模態感知

嗅覺和味覺較少在機器人中提及，而觸覺作為人類感知世界的重要手段，在機器人中相比於視覺與聽覺的進展則慢得很多。即便到現在，對觸覺的感知也很難稱得上完備。

觸覺本身就是多模態的，對力的感知的確佔據了很大一部分，但並不是全部，材質、溫度、滑動、回彈等等物體觸覺資訊都囊括在其中。想要完整對觸覺進行定量的標註，需要對感測器收集到的大量資料進行處理。一些感測器廠商會將原始訊號的複雜解析函式對映到一維線性空間完成力學訊號的快速求解，這樣能降低算力需求，但其他維度的資料仍舊需要後期處理。

藉助端側AI硬體，多模態觸覺感知會變得更加簡單，以資料為驅動算力的加持能快速分類各維度訊號，解析出完備的多模態引數。前端更快的反應速度也讓機器人的觸感反應速度能媲美人類。據知名國外諮詢機構VMR預測，2028年觸覺感測器市場將達到260.8億美元。

這些外部資訊感知都已經開始與端側AI結合，機器人內部感知同樣不例外。例外意法半導體早在2019年就推出了整合ML核心的感測器，能夠執行一些簡單的AI模型。後續又在機器人核心的IMU器件上更新了加持DSP的ISPU（Intelligent Sensor Processing Unit），能在端側自動分析處理機器人位置資料。

感測器上的AI算力的增強實現了海量資料處理的分割槽，根據演算法難度調配算力資源，大幅提升整個端側系統的能效，讓整個感知更加智慧。

智慧決策感知先行，具身智慧概念推動著機器人向更自主更智慧的未來發展，為打好具身智慧感知基礎，感測器技術與端側AI技術結合得越來越緊密。日後，機器人會透過視覺/觸覺等感知方式識別建立並不斷修正具身多模態基礎模型，透過聽覺理解指令，並理解自身的狀態，以實現複雜的互動和操作。

同樣，具身智慧下的機器人感測，始於感知但又不只是感知。感測器也將不再只是用於感知的硬體，而是在即時精準多維感知的基礎上，拓展更多和AI相關的功能，借力端側AI提供更多資料處理、分類、融合的價值，最終透過融合的多模態感測資料來增強智慧體的理解和決策。

當然，現階段端還面臨著如何更好地融合感測器與端側SoC兼顧效能與成本的難題。雖然機器人並不像其他端側裝置對成本很敏感，但對於想要落地的機器人來說，這一問題遲早也會面對。雖然多位科技行業巨頭都表示未來人形機器人會像汽車一樣普及，但機器人的商業落地仍舊要考慮這些實際問題。

從傳統感知到機器人具身智慧感測，機器人感測器延展出了更多地和AI相關的計算、融合的功能。在端側AI時代，感測器將提供更多的資料處理的價值，透過互動感知、自主挖掘為機器人構建起不斷最佳化的真實世界模型，推動具身智慧目標的實現。