大模型落地中的狂奔、踩坑和突圍

作者 | 褚杏娟

“員工月均加班超 100 小時，部門負荷已達極限。”在業務競爭壓力急劇增加的今天，大模型落地不再是“趕時髦”，而是企業亟需 AI 大模型在降本增效（如流程最佳化、決策加速）上突破現有困局。

企業希望憑藉大模型的資料分析、邏輯推理與自動化處理能力，破解企業效率瓶頸，在諸如高效整合多維度資料資源將繁瑣、重複性工作轉化為智慧化操作，透過精準捕捉市場動態與使用者需求在業務各環節實現精細化運營等方面，釋放人力價值、顯著降低運營成本並提升服務質量。

當前，已經有大批企業進行了大模型落地，這個過程中取得了一些成就，也會遇到一些問題。在日前 QCon 全球軟體開發大會·北京站的“企業 AI 落地中的戰略、組織、與人才”閉門會上，來自不同行業的負責人就大模型落地中的成熟場景、踩坑經驗及組織人才等問題進行了深度探討。

以下內容經 InfoQ 編輯、提煉和總結，希望為大家提供參考。

落地演變

總體看來，傳統行業對 AI 應用呈現階段性變化：早期更多是嘗試性探索，近幾年則轉向務實路線，聚焦成熟度高的技術，例如影像識別、視覺演算法、OCR 以及自然語言處理（NLP）等，在企業內已有廣泛應用。

對於大模型應用，在去年和今年就呈現出了完全不一樣的態勢。去年，企業推進可能還會面臨“有資源卻求人用”的困境，大模型的成熟度未達企業落地門檻，因此多以探索和小規模 Agent 應用為主。而在今年，國產大模型（如 DeepSeek、通義千問）能力快速提升，普及了大家對 AI 的認知，已呈現“需求井噴”現場，有一定技術儲備的企業已逐步具備快速切換技術方案的能力。

落地要“價值導向”

具體來說，在新興技術的發展初期，企業可以容忍短期低迴報率，鼓勵內部試點與概念驗證（POC）。

到了應用落地階段，核心就是要圍繞“價值導向”做判斷。不同於追求技術前沿，企業更看重短期內能否產生實效，尤其對於成熟技術來說，要看在六個月到一年半內的時間裡能否得到可量化的投資回報，尤其如果在前六個月產生效果會被特別重視，這類專案要佔到 80%，超長週期專案則謹慎推進。

落地過程中，企業會明確使用者體驗紅線：禁止將使用者視為“小白鼠”。所有正式上線應用需嚴格滿足以下指標：業務側，提升效率或資料質量的可量化驗證；技術側，Token 響應速度、系統穩定性等硬性標準；體驗底線：避免使用者感知為“人工智障”。

成熟應用場景的三個特徵

下面是當前大模型落地中，常見的相對成熟的應用場景。這些場景背後有三個共性：重複性強、具備一定創意需求和正規化可沉澱，這決定了其最為適合用大模型或 Agent 切入，並儘早產出價值。

知識問答。很多企業以聊天機器人的形態引入大模型，有的直接接入大模型，有的則在此基礎上融合內部知識庫，構建更符合企業需求的問答系統，這類場景尤其在大型企業中率先落地。
智慧客服。真正用大模型去完全替代傳統基於規則的技術來做智慧客服，效果比以前好很多，這個場景相對成熟。
物料生成。涉及多模態能力的應用，包括文生圖、文生影片等。許多電商企業需要製作大量 SKU 圖文內容，現在基本用 AI 完成，人力只負責流程管理和後期修正。這個場景已經相對成熟。
資料分析。企業對資料分析的需求越來越多樣，小型公司可能用 chat-Excel 這類工具應對輕量級需求（比如 100 個表以內的資料），而企業級使用者則更依賴 Data Agent 類產品。該場景的核心是數倉治理、指標治理和口徑規範性，否則難以支援上層應用。
操作自動化。可以看作是傳統 RPA 的升級版，可以在其中加入 planning 的能力，向行業 Agent 演進。這一類的 Agent 不是簡單的流程自動化，而是具備一定決策能力的智慧代理。
程式碼生成。程式碼補全是較為成為的應用。但在企業看來，20%~30% 的 AI 程式碼貢獻率並不是很理想，因為開發人員每天真正寫程式碼的時間可能也只有 20%~30%，大部分時間用在溝通、需求理解等方面。另外，Cursor 等在跨職能協作場景中應用效果較好，但還難以用在核心業務領域中。

對於企業來說，AI 應用並不是要做“替代”，而是用來最佳化日常運營體系的方式，從流程自動化到互動智慧化，都是企業效率升級的重要路徑。

組織架構

沒有 AI 基礎的企業，通常需要進行架構調整來推動 AI 落地。而對於有一定 AI 技術積累的企業，則在架構上的調整較少。

架構調整模式選擇

通常，企業有兩種調整模式：成立大規模專職 AI 團隊推動轉型；要求現有業務團隊自主擁抱 AI。但直接要求業務使用 AI 存在一定阻力，或者認知不夠不響應，或者在興趣喪失後放棄等，後者方式都比較難以推行。因此，經過摸索後，有的企業選擇成立幾人規模的 AI 小組，該小組專注賦能而非擴張，職責包括引入 AI 工具並培訓業務團隊、聯動業務團隊及業務種子使用者共同探索。

另一種情況是，企業發現現在單兵作戰模式、小規模研發難以適應疫情後的技術爆發節奏，因此將過去分散的 AI、大資料及企業架構等賦能型團隊集中起來，攻克重點技術領域。企業在找到一些較成熟的落地場景後，再分散推進各個業務部門進行快速複製。

無論何種選擇，大部分企業都開始組建專門的 AI 團隊來推動企業內部的落地，最終可能形成“混合型”的架構模式：一方面，一個精幹的小團隊走在探索前沿；另一方面，推動產業團隊去擁抱 AI。

在落地過程中，人才也是關鍵的一環。但要招到真正懂 AI、尤其是懂大模型的頂尖人才，難度是非常大的。

當前，企業 AI 人才包括外部引用和內部轉型兩種方式。外部頂尖人才的引入是常用的方式，企業希望頂尖 AI 人才可以帶領團隊系統性推進 AI 與大資料佈局。隨著業務的“跨界”屬性越來越強，企業更傾向兼具 know-how 與技術實踐能力的複合型人才。同時，企業也會讓原來相關團隊逐步向 AI 團隊轉型，比如一些自動化團隊、語言團隊等。

年輕化招聘導向

“招人難”是普遍現實，尤其是大模型和 AI Agent 等方向的人才，本身就極度稀缺。對於非網際網路背景的企業來說，想招到這類頂尖人才難度更高。

很多真正懂技術的人是剛畢業幾年、來自頂尖高校的年輕人，因此一些企業把招募重心放在這類年輕實習生身上，希望他們能透過參與前沿專案逐步成長，並最終留到公司。

實習生招聘難度雖然較小，但普遍缺乏業務理解，因此企業會採用“實習生 + 資深業務同學”搭配的模式，由後者幫助他們理解痛點、抽象問題，再由實習生進行技術實現。這個過程中也遇到一些問題，比如實習生常常對 AI 技術過於樂觀，即使在已有侷限性的問題上也堅持嘗試，這時就需要技術負責人具備判斷力，適時止損，確保資源聚焦在真正有價值的方向上。

專家表示，培養年輕人才的關鍵在於給予他們信任、成長空間以及挑戰性課題。如果計算資源有限，但只要課題有吸引力，依然可以激發他們的熱情與投入。

此外，為彌補內部人才不足的缺陷，企業也會引入乙方專家陪跑，透過篩選案例經驗豐富的服務商，由其專家與企業專案組共同落地場景。

落地經驗

不要盲目追求模型微調

一上來就要求“用自有資料微調開源大模型”是最典型的誤區。表面看似乎一舉三得：獲得自主智慧財產權、向上彙報有成果、體現團隊技術價值，實則從技術角度存在致命問題：微調需要高質量標註資料、算力資源及工程化能力，而企業往往會低估資料治理成本和模型維護難度，最終導致投入產出嚴重失衡。

專家給出的建議是分階段構建能力。

第一階段：搭建企業知識治理平臺。這一階段的核心目標是將分散的業務資料（文件、資料庫、員工經驗等）轉化為結構化知識庫。其中最大的挑戰是清洗非結構化資料（如合同掃描件、會議紀要）、將隱性知識顯性化（如老員工經驗萃取）。這項工作必須由一把手推動，先選擇垂直場景小步驗證（例如客服知識庫），同步建立資料標註、更新和許可權管理機制。

第二階段：構建企業智慧體平臺。這一階段的重點是如何用大模型對企業內部大量的 SOP（標準操作流程）進行重構，以提升效率，如自動生成巡檢報告、智慧審批工單等效率提升場景。技術實現上，短期以 RAG（檢索增強生成）為主流方案，解決知識即時性問題，而未來，多模態大模型將催生新型 Agent 正規化（如結合圖紙識別的工程質檢 Agent）。今年，在多模態能力支援下，會不會出現適合企業內部的新型 Agent 正規化是非常值得關注的。

此外，底座模型更新迭代很快，企業幾個月做的功能可能在一個新模型版本上線就被直接替代了。這時，AI 負責人很容易在內部“背鍋”，被質疑是否在浪費資源。最好是讓模型跑在自己的軌道上，企業在旁邊做補充性的能力建設，實現“水漲船高”的效果。

繫結業務深度參與

站在岸上的人永遠不會說“這個 AI 方案我滿意了”。AI“最後一公里”一定是在業務中完成的，需要產品、業務和 IT 團隊等的深度協作，一起推進試點、一起閉環場景。比如業務方需承擔場景配置責任（如行業黑話翻譯、分析正規化定義）。否則，最後的反饋可能是：“有點用，但 20% 的關鍵場景跑不通”，這種局面對於整個專案是非常危險的。

成功場景均依賴業務一把手的支援，但需避免過度干預，例如強求 100% 準確率導致專案僵局。理想的模式是業務領導提供資源支援但不干涉技術決策。

具體落地過程中，專家建議雙軌並行的策略推進 AI 落地。

第一條腿是“速贏模式”，即選一個關鍵場景做快速試點，讓組織內部的關鍵人、決策者、業務方儘快嚐到 AI 的甜頭。這種試點要選切口小、閉環快的專案，一般建議控制在半年到一年內能看到效果。試點專案不用多，關鍵是請到業務中的 KOL 參與，讓他們對 AI 形成預期。

第二條腿是“AI Ready”，即做好企業內部的準備工作。無論何種場景，最終都需要企業內部私域知識、私域資料的結構化支援。比如資料分析場景裡，企業要先把數倉建設好，梳理清楚指標體系和資料模型，這樣 data Agent 接入後才能真正跑通。

AI Agent 落地的核心

如今企業落地中，Agent 是一個繞不過的話題。

2024 年被視為 AI Agent 的爆發起點，矽谷超 80% 的新創公司在佈局 Agent 領域。但長期來看，“Agent”可能像“App”一樣不再被刻意強調，而是成為技術應用的底層形態，其本質是大模型能力的延伸，最終融入具體業務中而非停留在概念層面。

Agent 的三大核心能力包括：

任務規劃（Planning）：分解使用者意圖，分步驟執行復雜操作（如訂外賣、訪問網頁）。
長距離推理（Long-Horizon Reasoning）：突破大模型“next token prediction”侷限，在長對話中保持上下文一致性，實現持續需求追蹤。
長鏈條工具呼叫（Long-Horizon Tool Using）：串聯多系統工具 /API，完成端到端任務閉環，標誌從“生成式 AI”到“代理式 AI”的跨越。

當前，業內更為看好 Agent 在 B 端的應用，可以透過聚焦垂直場景（如客服、財務分析），替代傳統 SaaS，透過深度整合實現長鏈條推理與工具呼叫。但在 C 端（如通用型 Agent Manus）的形態還未明確，可能向寫 PPT、資料分析等場景擴充套件，需用“不設限”策略吸引專業消費者。

Agent 落地的核心是解決高價值問題（如週報自動化淘汰低效團隊），而非技術本身。企業需算清“問題價值 vs 解決成本”的經濟賬，避免過度投入大模型，而應專注在場景問題上。

未來，Agent 可能成為類似微信的“超級 App”，整合多模態入口（如 AR 裝置），構建 Multi-Agent 協同系統。在智慧城市、車路協同等領域或誕生“市政超級 Agent”，即時聯動基礎設施與決策。

結語

總之，企業在走過了初期對大模型抱有過高期待的階段後，現在已經逐步冷靜探索大模型的能力邊界。在落地過程中，首先合理評估模型的能力，同時結合自身業務需求接入應用。大模型應用整體上還不成熟，但可以從容應對個別“點狀”場景，未來形成成熟的“網狀”應用場景還需要全行業的持續探索。

活動推薦

AICon 2025 強勢來襲，5 月上海站、6 月北京站，雙城聯動，全覽 AI 技術前沿和行業落地。大會聚焦技術與應用深度融合，匯聚 AI Agent、多模態、場景應用、大模型架構創新、智慧資料基建、AI 產品設計和出海策略等話題。即刻掃碼購票，一同探索 AI 應用邊界！