DeepSeek的爆火，再次給“人工智慧+”注入了強大力量，物聯網產業界也高度關注這一領域的發展。具有高階自然語言處理能力的大語言模型（LLM）為業界帶來很多好處，將其整合到物聯網系統中，可以有效發揮改進使用者互動、增強的資料分析和上下文感知服務的能力，讓物聯網系統的智慧化和互動體驗得到大幅提升。隨著大模型的發展，應用場景需求不斷拓展，IoT-LLM之間如何融合互動成為一個重要研究方向。從當前初步探索看，IoT-LLM融合呈現雙方互為驅動的兩個方向。

大模型可以理解和處理複雜的人類語言，使物聯網裝置更加使用者友好，並能夠智慧地響應語音命令和文字輸入。目前，大量廠商在多個場景中開始探索，例如，將大模型用於智慧家居中的語音啟用控制和個性化使用者體驗，工業物聯網中的預測性維護、異常檢測和報告分析，醫療健康物聯網中的患者監控和即時資料分析。此外，也有廠商基於大模型，透過智慧聊天機器人和虛擬助理來增強客戶服務，為使用者提供及時和上下文相關的資訊。隨著物聯網廠商的不斷探索，大模型的整合將在推動創新和提供更智慧、響應更迅速、更高效的物聯網解決方案方面發揮至關重要的作用。

結合物聯網“雲-邊-端”的架構，前期探索中均實現了大模型在“雲-邊-端”側有相關的部署方案和案例。

物聯網雲平臺已加快部署，例如，日本物聯網虛擬運營商Soracom宣佈推出服務，將大模型更深入地嵌入物聯網連線和服務平臺中，來加速更大、更復雜物聯網專案的部署，這兩項服務分別是Soracom Flux和Soracom Query Intelligence，前者是一個低程式碼應用構建器，透過定義感測器、攝像頭、執行器、GenAI引擎和雲之間的資料流，讓即使是非技術使用者也可以即時構建整合人工智慧的物聯網應用，後者透過自然語言網路資料分析簡化大型物聯網部署的管理。無源物聯網領域知名創業企業Wiliot去年也宣佈釋出首個生成式人工智慧聊天機器人WiliBot，透過這一對話機器人，客戶可以問答的形式查詢他們的產品和供應鏈狀況，例如，向WiliBot提問：該產品的保質期是多久？它是如何到達商店的？下一步我應該採購哪種產品，原因是什麼？儲存這種物品安全嗎，為什麼？該產品的碳足跡是多少，是什麼因素導致它如此之高或如此之低？

邊緣側和端側大模型部署是當前的熱點，透過裁剪、蒸餾等技術，實現大模型能夠在邊緣側和端側部署，或者採用輕量化的小模型。例如，高通公司加速推動AI在端側落地，已推出面向PC、手機、汽車、XR等終端的產品；美格智慧、廣和通等物聯網模組廠商也推出了AI模組，模組中集成了CPU\GPU\NPU等多種計算單元，可進行通用計算和異構計算，用於零售、汽車、雲伺服器、無人機、機器視覺等場景；多家智慧家居企業也推動大模型或小模型在家居終端和閘道器等邊緣裝置的部署。

然而，將大模型整合到物聯網尤其是端側涉及多個挑戰，包括大模型所需的計算能力和能耗，這可能會使物聯網裝置的有限資源緊張；在平衡邊緣和雲計算時，即時處理需求帶來了延遲問題；鑑於物聯網資料的敏感性和大模型易受惡意攻擊的脆弱性，確保資料隱私和安全至關重要；確保跨不同物聯網平臺的相容性和整合增加了複雜性；實施和持續運營的高成本使整合變得更加複雜。應對這些挑戰需要人工智慧、硬體、軟體和網路安全的進步，才能釋放大模型增強物聯網系統的全部潛力。

其中，針對在資源受限的物聯網環境中減少大模型訓練、微調和推理的計算和記憶體佔用的最佳化，以及針對在邊緣或裝置端部署大模型進行最佳化，以減少推理延遲並提高物聯網應用中的即時處理能力，是當前物聯網領域擁抱大模型需要破解的突出難題。

眾所周知，低功耗廣域網路（LPWAN）和無源物聯網讓資源極度受限的終端能夠實現連線，使得萬物網際網路成為現實，目前很多輕量化的物聯網終端，僅有MCU單元，計算能力非常有限，那麼，為實現萬物智慧，是否需要更加輕量級的AI模型？目前，已有TinyML來實現低功耗物聯網終端的智慧化部署，大模型能夠輕量化到什麼程度？能夠覆蓋這些資源極其受限的終端上嗎？這個可能是未來研究的重要方向。

南洋理工大學和南京大學的研究人員此前發表的一篇論文指出，大模型在文字和視覺領域表現出非凡的能力，但經常產生違反物理規律的輸出，揭示了它們對物理世界的理解存在差距。受人類認知的啟發，研究人員探索使用物聯網感測器資料和物理世界中物聯網任務推理的相關知識來增強大模型的感知能力，最終實現較好的效果。

研究人員首先提出，處理密集的資料和複雜的時間序列輸入是大模型面臨的重大挑戰，因為它們無法捕捉上下文，它們無法在不同的環境中進行歸納，而這是現實世界中有效推理能力所必需的特徵。例如，在像Chat-GPT 4這樣的大模型中，在處理原始物聯網資料後，僅實現了40%的活動識別準確率和50%的機器診斷準確率。

研究團隊提出了一個IoT-LLM框架，從而使用三步定製方法增強大模型在監控真實世界場景中的推理能力。

第一步是預處理：將原始物聯網資料預處理成大模型易於理解的格式，這個過程簡化和豐富了資料，為大模型提供了更多的上下文。

第二步是常識知識啟用：在這個步驟中，使用了思維鏈提示，以便更好地推理和解釋處理過的資料，複雜的任務被分解成更容易處理的任務，反映了人類的認知思維。在這些大模型中使用了固有的常識，並且專門的角色定義指導模型更好地理解上下文。

第三步是面向物聯網的檢索增強生成：在這一步中，大模型使用檢索增強生成模型來動態檢索特定於上下文的理解，該模型可以有效地使用當前上下文和先前獲得的知識，這種結合有助於快速適應物聯網環境的即時變化。

這三個步驟的整合提高了大模型的能力，其中所有三個步驟的改進使任務準確度比使用其他傳統模型可達到的準確度高65%。總體來看，新的LLM-IoT框架解決了物聯網環境下的任務推理能力問題，尤其是優化了大模型在處理物聯網資料方面的缺點，提升了大模型的推理能力。

總體來看，IoT-LLM融合沿著大模型賦能物聯網和物聯網賦能大模型兩個方向。未來，物聯網終端數規模依然會實現快速增長，在萬物互聯的基礎上，努力推動萬物智慧的實現。