多模態和Agent成為大廠AI的新賽點

來源丨窄播（exact-interaction）

作者丨李威

圖源丨midjourney

大模型落地C端場景的核心，就是讓大模型的能力越來越接近人。沿著這個主旋律，可以劃分出兩個進化方向：一個是持續降低使用者與大模型進行有效溝通的難度；另一個則是讓大模型具備執行更復雜任務的能力。前者的實現，需要給到大模型多模態能力；後者則需要依託於Agent產品生態的不斷成熟。

多模態方面，位元組、百度、谷歌、OpenAI都在近期推出了多模態能力更強的基礎大模型產品，為相應的應用創新帶來了可能。阿里旗下的AI to C產品夸克，就在本週上線了基於「通義推理及多模態大模型+後訓練」實現的「拍照問夸克」功能。

代理執行層面，在Manus指出方向之後，類似的通用Agent產品也在近期紛紛上線。其中就包括了位元組旗下的扣子空間、百度的心響App、360的奈米AI、前百度高管的Genspark等。這些產品都主打一站式完成使用者透過自然語言佈置的複雜任務，並且都具有編寫程式碼和連線第三方資料、工具的能力。

相比國內，海外巨頭會更傾向於打造服務於單一場景的Agent。Notion推出了AI驅動的電子郵件服務Notion Mail，幫助使用者組織電子郵件、起草回覆、搜尋訊息等。OpenAI此前推出的Operator和Deep Research也分別聚焦在操作瀏覽器和研究領域。X AI則增加了Grok Studio，用來協助使用者生成文件、程式碼、報告和小遊戲。

從目前能夠體驗到的產品來看，多模態能力和代理執行能力的提升，確實為使用者帶來了更低門檻、更高效率的AI使用體驗。套用微軟CEO納德拉誇讚自家Copilot體驗的話，具備執行能力的通用Agent就是在為使用者搭建一個腳手架，並在上面放好趁手的工具，助力使用者完成日常工作、學習、生活相關的任務。

當這個產品成熟時，人們會發覺自己的工作、學習、生活的體驗可能已經被其改變。但改變不是一個短期過程。這些還處於早期探索階段的產品，在細節上差強人意，需要一段時間去打磨，從使用者意圖理解、第三方工具呼叫和相應內容的生成等方面，全方位提升產品體驗。

從現階段看，模型能力的強弱依然非常重要。大模型能力的提升和成本的降低，確實刺激了AI應用的爆發，也再次讓人們看到了百度創始人李彥宏口中「應用統治未來世界」的可能。

但是，大模型技術還在持續突破，目前我們看到的Agent的不足之處，很多需要依靠模型能力的提升來完善。甚至未來有可能會實現「模型即應用」，畫圖有畫圖的模型，分析圖表有分析圖表的模型。現在看，OpenAI有向這個方向前進的傾向。

Agent的終局到底是什麼，現在看來尚無定論。

多模態正在滲透進現實場景

從近期的大模型釋出來看，多模態是重要的能力培養方向。位元組旗下火山引擎釋出的豆包1.5深度思考模型，能夠結合視覺理解能力完成看圖分析地貌、生成專案流程圖等工作。李彥宏在介紹文心4.5 Turbo時，透過識別馬拉多納「上帝之手」的照片和水槽實驗影片中的不同顏色物體，展示了影像和影片的理解能力。

此外，OpenAI最新發布的o3和o4-mini也都具備看圖表和自己畫圖的多模態理解能力。OpenAI稱其首次實現了「用影像思考」。谷歌釋出的首個混合推理模型Gemini 2.5 Flash能夠比較精準地分析股票走勢圖，並能根據給到的素材圖生成遊戲場景設計圖。

不斷提升多模態推理能力的同時，各個廠商都在為這種能力尋找第一塊試驗田。夸克在推出AI超級框概念之後，最新上線了拍照問夸克功能，就是在將大模型的多模態能力注入到AI超級框中，讓使用者不但能夠透過文字完成與AI超級框的互動，還能實現圖文並茂的溝通。

在實際的使用過程中，我們發現拍照問夸克功能基本可以滿足「拍照搜尋」的體驗，比如拍攝一個梅瓶的陳列，夸克可以回答出梅瓶的由來，以及它在宋朝會被用來盛酒。使用者還可以拍攝照片，讓夸克根據照片生成文案，或者識別食物的卡路里、辨別景點並給到遊玩攻略。

透過加入影像，夸克可以讓使用者給AI下達更加精準的任務，然後呼叫夸克積累的Agent和原子功能，更好地完成任務。

這其實是在讓攝像頭成為使用者賦予AI的眼睛，未來可能不止依靠拍照，還會有直接透過攝像頭進行的即時互動。這也是谷歌試圖實現的多模態互動體驗。

在谷歌多模態搜尋產品負責人Rajan Patel的暢想中，多模態能力的融入，會讓搜尋變得毫不費力。使用者在谷歌可以打字、可以說話、可以拍照，可以對著攝像頭說自己需要什麼，而谷歌將利用大模型、產品能力，幫助使用者快速連線到相關且正確的資訊。

也因此，多模態能力的提升，會影響到AI眼鏡的進展。一位AI硬體創業者告訴《窄播》，現在之所以沒有選擇AI眼鏡的方向，是因為多模態大模型還不成熟，他無法根據使用場景去進行產品定義。但是面向未來，類似使用者與拍照問夸克的互動可能會從手機遷移到眼鏡。

代理執行需要三個能力

多模態提升的是交流效率，Agent的重心則在於執行。

在2024年下半年，具備任務執行能力和系統操控能力的Agent就已經成為一門顯學。但當時有兩個問題尚待解決：一個是Agent產品的形態應該是什麼樣？另一個則是Agent與第三方資料、工具之間應該如何實現連線？

Manus的出現為大家指出了前進方向——透過對話方塊+工作區的方式，呈現Agent的工作場景，然後基於大模型能力理解、拆分使用者任務意圖，呼叫不同工具模組，協同完成任務。雖然會被人稱作「縫合怪」，但是Manus確實讓面向C端使用者的通用Agent產品的雛形顯現出來了。

近期釋出的扣子空間、心響App、奈米AI的Agent能力以及Genspark基本都遵循了這個雛形模版。釦子空間分為三個部分，左邊部分是任務目錄，中間部分是任務互動區，右邊可以展開一個Agent的工作空間。同時，釦子空間還會支援新增擴充套件，以及選擇探索和規劃兩種思考深度不同的模式。

從使用上看，釦子空間更擅長完成文字梳理工作。但在將梳理出的文字轉化為網頁時，釦子空間的效果會打折扣。我們嘗試讓釦子空間生成了一份騰衝旅遊攻略、一個展示秦滅六國過程的網頁和一次AI新聞彙總。文字版的騰衝旅遊攻略要更詳細，轉化為網頁後，資訊量會被稀釋，美食的配圖也會出現問題。後兩個任務也不太令人滿意。

百度的心響App的特殊之處是選擇了在移動端上線，相對可以完成的任務就會更輕量化和生活化，其推薦任務中不僅有旅遊攻略、資料分析等通用Agent產品常見的任務，還會有數學解題、AI相親、例行任務等類似聊天機器人的功能。整體感覺，心響App是文小言的Agent進化版。

我們認為，目前想要最佳化具體的任務體驗，通用Agent們需要持續培養三個關鍵能力。

第一個是，能否連線足夠數量的第三方資料和工具。MCP（Model Context Protocol，支援大模型與外部資料、工具整合的開源協議）和A2A（Agent2Agent，智慧體協作協議）的推出，不但讓第三方資料、工具有了順暢接入通用Agent的統一介面，還賦予了Agent與Agent之間的互動、協作能力。

目前，國內廠商基本都接受了這種連線解決方案，接下來需要解決的是，如何擴充有效的工具箱。

奈米AI主打的賣點是「MCP萬能工具箱」，號稱接入了近百個優質第三方工具。釦子空間的擴充套件相對要少很多，而且有些只具備簡單功能。以騰衝攻略為例，我可以用釦子空間裡的墨跡天氣擴充套件將天氣預報新增進攻略中，但沒有成功利用高德地圖擴充套件生成每天的景點路線圖，大部分嘗試中，都只顯示了騰衝在地圖上的位置。

編碼則是通用Agent需要培養的第二項能力。AI程式設計為Agent解決複雜任務提供了一個通用的有效工具，無論是ppt、網頁、圖表的生成，還是小遊戲的創作，都需要依賴編碼能力來執行。有訊息顯示，OpenAI正在討論用30億美元收購AI程式設計初創公司Windsurf，藉此來提升AI的編碼能力。

第三個也是最底層的，是大模型的任務理解能力。只有具備更強的任務理解能力，通用Agent才能讓更多人依賴其去完成任務，並保證任務的完成水準。這也是大廠在多模態能力之外，著力在提升的另外一項大模型能力。OpenAI在推出o3和o4-mini時，就強調這是一個知道去上網查資料、執行Python程式碼的「大腦」。

從目前的佈局來看，OpenAI期待這個「大腦」在未來能夠精準排程Operator和Deep Research等職業身份不同的Agent，前者是操控瀏覽器的司機，後者則是負責做研究的學者。未來可能還會有擅長程式設計的程式設計師，擅長講故事的作家等Agent。

位元組的扣子空間、百度的邏輯是像開發API一樣開發Agent，需要有釦子、秒搭等Agent或工作流的搭建平臺提供支援。而OpenAI的路徑是按照職業去培養Agent。這是API邏輯之外的另一種更加擬人化的Agent生態培養模式。兩個模式都是為了呼叫Agent生態，去完成不同的任務。

在OpenAI給到投資者的預期中，AI Agent及其他新產品合計銷售額將在2025年末超越ChatGPT，達到30億美元，到2029年Agent業務將為其貢獻290億美元的收入。這是一個非常樂觀的預期。國內的通用Agent們也有可能從Agent體驗升級中，奠定面向C端使用者的收費模式。

實現這一預期的前提是，通用Agent們能夠將多模態能力與Agent的執行能力結合起來，成為未來的底層入口。