近日，北京大學李廉林教授和和東南大學崔鐵軍院士團隊合作，提出並實現了電磁物理空間的具身智慧體 metaAgent，這一系列研究主要包含三方面的具體成果。
圖 | 李廉林（來源：李廉林）
其一，他們構建了基於基礎大模型的電磁語義化表徵與處理的控制模型，利用該模型將電磁觀測訊號轉化為便於推理決策和人機互動的自然語言，進而在此基礎上發展了包含電磁模態的多模態資訊處理模型和方法。
其二，他們提出了語義可控現場可程式設計數字編碼超表面的概念，這種超表面在上面大模型的支撐下，能將包含電磁在內的多模態觀測以端到端的方式直接轉化為物理層電磁操控的超表面編碼，實現電磁物理空間的波束波形的語義操控。此外，為了增強大模型數字域與電磁物理域的適配，他們也構建了電磁物理空間的語義地圖（即構建了一個初步的電磁空間世界模型）。
其三，他們構建了超材料具身智慧體的框架。其中，大腦由包含電磁在內的多模態大模型構成，負責語義提取、推理、任務規劃和決策；語義超表面為小腦，負責連結物聯網物理節點，執行復雜環境中的定位、感知、導航、通訊、電子對抗等電磁任務。在具體實現上，本次工作有兩個關鍵技術：在物理層，課題組引入了多頻段、分散式的超表面，藉此實現了大視角、透視式、多尺度的數字空間-物理空間連結；在數字層，課題組借鑑了自動控制和多智慧體討論的模式，實現了高穩定度的推理和任務規劃。
最後，本次工作推出了面向智慧家庭的超材料智慧體平臺，這個平臺可推廣至智慧工廠和認知雷達等應用場景。據該團隊瞭解，這也是首個電磁物理空間大模型具身智慧體的工作。
（來源：Light: Science & Applications）
本次論文涉及到三位審稿人，他們都給出高度評價。例如，其中一位審稿人給出的正面評價是：“論文作者將現有大容量基礎模型和超材料相結合，提出了一個非常迷人的超材料概念：超材料智慧體。該工作把超材料和超表面顯著地推動為電磁空間具身智慧體。此外，實驗結果展示了該智慧體能夠自主規劃和組織一系列可執行的結構化任務，從而能夠響應真實物理環境的動態變化和使用者需求。”
李廉林相信本次成果在多個方面具備應用前景。論文中的演示案例是智慧家庭和智慧工廠等 5G/6G 室內網路場景。目前，李廉林也正和工業界和投資界的同仁們推動這方面的落地應用。
他補充稱：“我還想舉一個室外場景應用例子：認知雷達場景。我的理解是：認知雷達與這幾年火爆的具身智慧的核心思想是一樣的。”認知雷達透過對歷史和當前環境的檢測、分析、學習、推理和規劃，結合先驗知識，對感知資訊進行推論、做出決策、執行決策、自適應調整系統的接收和發射，使用最適合的系統資源配置，達到與外部環境和目標狀態相匹配的效果，進而實現最佳效能。
現階段認知雷達具有一定智慧性，但它們是基於專家知識庫技術，無法自主地應對日益複雜的電磁環境和作戰需求，因此存在兩方面難題亟待解決：1）由於使用相對簡單的自適應演算法，無法自主地與周圍環境互動，智慧水平有很大的提高空間；2）由於數字系統和射頻系統獨立設計，因此雷達系統響應時延較大，無法快速響應環境變化。此外，現階段認知雷達採用非常昂貴的相控陣天線或非常耗時的合成孔徑系統，在成本、能耗和效率等方面存在一系列難題亟需解決。
而本次工作的超材料智慧體與認知雷達的需求完美契合，並且在解決認知雷達上述難題方面具有得天獨厚的優勢，例如：
1）超材料智慧體融合了大模型技術，能綜合處理包含電磁觀測的多模態感知輸入，能快速響應動態環境變化和使用者需求，並根據環境變化自主地進行類人推理、決策和行動；
2）超材料智慧體脫胎於智慧超材料，採用物理域與數字域的一體化設計，具有低成本、低能耗、低延時、高效率等優點。
（來源：Light: Science & Applications）
順應 AI 潮流開展超材料研究
據李廉林介紹，有三方面主要原因驅動了本次的研究工作。
一方面是來自賦智賦能超材料和超表面的研究驅動。超表面是二維化的超材料，超材料是物理波場操控的強有力工具，是人工材料領域百年發展的里程碑式進展。毫無疑問，超材料的“智慧化”是大家追求的“北極星”，其突破將顛覆性推動感知、通訊、計算等現代電子與資訊領域的發展。在此背景下，東南大學崔鐵軍院士提出並主導構建了智慧超材料和資訊超材料。
“我特別感慨的是，我能非常幸運、也非常榮幸跟隨崔院士學習智慧超材料和資訊超材料概念雛形（現場可程式設計數字編碼超表面）的第一手材料，共同構建智慧超材料和資訊超材料體系。”李廉林表示。
智慧超材料具有靈活強大的電磁物理和資訊操控能力，是連結真實物理世界和虛擬數字世界的橋樑。但是，現階段超材料高度依賴人為干預，其智慧僅停留在感知層面，不具有認知特性，無法自主地與物理環境互動、推理和決策。超材料的智慧亟需從感知層向認知層發展，最大程度地降低人為干預，推動物理世界與數字世界的一體化發展。
“他山之石，可以攻玉”。大模型表現出驚人的零樣本學習、上下文推理和自主進化能力，為超材料的認知智慧發展提供了重要契機。鑑於此，本次工作將超材料和大模型融合，嘗試為電磁超材料開啟通向認知智慧的大門，以及為推動物理空間與數字空間一體化發展提供新思路。
另一方面是來自大模型人工智慧技術紮根物理的研究驅動。大模型人工智慧技術是新一輪科技革命和產業變革的重要驅動力量。然而，現階段大模型亟需理解物理定律、紮根於物理世界、與物理世界互動。電磁空間是人類現代日常生活和工作賴以生存的一大物理空間。但是，電磁空間是現階段大模型尚未開墾的處女地，具有非接觸、私密性、透視性等非類人的操控和感知特點。電磁物理空間將擴充套件現有大模型的感知空間、推理空間和動作空間，有望解決現有大模型在幻覺和泛化性方面的難題。
鑑於此，本次工作將大模型與電磁學融合，提出超材料智慧體，為大模型具身電磁物理本體、通向外部真實物理世界開闢了新通道，也為大模型理解物理世界和紮根物理世界提供了重要途徑。
第三方面是來自智慧機器人的研究驅動。智慧機器人的研究在環境感知、資訊互動和計算等方面，存在一系列關鍵問題亟需解決。例如：1）在感知方面，現階段智慧機器人主要使用光學感測器，因此對燈光和顏色非常敏感，感知距離和感受視野有限，且無法感知障礙物背後的物件。最新報道的若干智慧機器人安裝了毫米波雷達等透視性感測器，但受制於機器人有限容積，這些透視性感測器的感受視野非常有限，嚴重製約了機器人效能；2）在人機互動方面，基於光學感測器的智慧機器人通常會遭遇隱私倫理的難題；3）在資訊處理方面，作為終端裝置，機器人不僅能源非常有限，且其算力受到嚴重製約，從而極大限制了輕便型移動機器人的功能。
鑑於上述原因，該團隊提出了智慧超材料機器人的概念。在這一工作的基礎上，其融合大模型技術開展了超材料智慧體的工作。“用一句話總結是，本次研究是我們團隊順應大模型人工智慧的發展潮流而開展的。”李廉林說。
（來源：Light: Science & Applications）
已收到來自政府、企業和投資機構的合作意向
李廉林表示：“本次工作的前期研究是上面提到的超材料機器人的工作，負責這項工作的是我的兩個博士研究生趙晗汀和胡生國。”
在進一步的推進中他們遇到了一個難題：超材料機器人執行電磁任務規劃幾乎依賴於人為預設，沒有自主性也沒有智慧性。李廉林記得在 2022 年底，他和團隊在一學期一次的工作總結會上，重點討論了這個難題。
“那時我們想了若干方案。例如：機器學習領域的強化學習、生物學領域的 Friston 擴充套件自由能模型等。開完會後，就放寒假過年了。”其表示。
但是在過年期間，ChatGPT 橫空出世。李廉林關注了 ChatGPT 的相關新聞和文獻，覺得大語言模型為解決研究人員超材料機器人的難題提供了完美方案。於是，在寒假期間，李廉林和學生拉個微信群開線上會議，大家意見完全一致，即決定開學後把大模型和超材料機器人相融合。
2023 年初，新學期開學後李廉林和崔鐵軍院士交流了設想，後者認為這是一個 Big Idea。於是，該團隊幾乎 All-in-AI，啟動超材料智慧體的研究工作。
（來源：Light: Science & Applications）
為了推進本次工作，課題組組建了兩個小分隊。
一個小分隊由胡生國、許嘉文和李茗逸等組成，這個小分隊主要攻克系統實現和平臺建設，他們也是相關論文的共同第一作者。
該團隊主要研究電磁學專業，大語言模型對他們來說絕對是一個新生事物，因此他們需要理解大語言模型和電磁學融合的基礎機理。於是，他們組建了第二個小分隊，由張洪瑞、陳延錦、馬傑等組成，負責構建語義電磁學框架，旨在深入理解電磁學與大語言模型的融合機制，解決大語言模型處理電磁模態的基礎理論和方法。
2023 年，研究人員基本上完成預期目標，兩個小分隊都交出了各自的階段性成果。其中，第一個小分隊實現了超材料智慧體系統和平臺建設；第二個小分隊初步構架了語義電磁的模型和方法體系。
日前，相關論文以《電磁超材料 agent》（Electromagnetic metamaterial agent）為題發在 Light: Science & Applications（IF 20.60）[1]。
圖 | 相關論文（來源：Light: Science & Applications）
李廉林表示，這一系列工作只是一個開始，未來還有很多問題亟待深入研究。例如，目前超材料智慧體的電磁空間世界模型容量相對較小，需大刀闊斧地改進完善。比如，要針對更復雜的應用場景開發更有效的端到端系統與演算法；要構建更緊湊、更高效的類人的推理-規劃-決策方案；以及要更加直觀、更加可解釋地將電磁模態與其他模態進行融合。
與此同時，課題組已經收到來自政府、企業和投資機構等的合作意向，目前正在協商合作協議，預計在 2025 年上半年會敲定合作細則。
參考資料：
1.Hu, S., Li, M., Xu, J.et al. Electromagnetic metamaterial agent. Light Sci Appl 14, 12 (2025). https://doi.org/10.1038/s41377-024-01678-w
排版：劉雅坤