在不久前舉辦的 AICon 全球人工智慧開發與應用大會上智源研究院大模型行業應用總監周華為我們帶來了精彩專題演講“智源技術分享：大模型行業應用新模式和關鍵實現路徑”，演講分析當前行業企業在大模型落地過程中技術團隊普遍會遇到的問題和障礙，結合智源研究院在大模型產業落地過程中的實踐經驗，總結幫助企業跨越大模型應用技術障礙的以大模型為核心新型技術路徑，涵蓋資料、模型評測、模型訓練和應用整合，並針對行業落地過程中突出的資料問題給出資料生產流程的構建技術建議，最後向各行業的大模型應用開發者分享智源研究院在大模型行業應用方向上的最新開源技術成果。

內容亮點：

去年，我們經歷了一場被稱為“百模大戰”的激烈競爭，這場競爭主要在通用領域展開。然而，從今年開始，我們注意到眾多企業，包括央企和國企，以及中小企業，都開始著手將這些模型應用於具體的行業實踐中。

儘管行業落地的挑戰顯而易見，但我們可以認為，我們的大模型應用的發展已經進入了一個新的階段，也就是所謂的行業落地“深水區”。下面，我將與大家分享一個我在過去兩年中一直在研究的話題，即《大模型在行業應用中的新模式和關鍵實現路徑》。

回顧歷史，早期計算機系統進入企業時，主要是以流程為中心，強調企業流程的最佳化和支援複雜流程的實現。進入 21 世紀，隨著網際網路尤其是移動網際網路的興起，架構逐漸轉向以服務為核心。

對於資深從業者來說，可能還記得 AWS 早期提出的企業部門間以 API 的服務形式對外的理念，這一理念經過多年實踐已經得到了很好的執行，特別是在微服務架構的落地上。

到了 2010 年左右，雲計算和大資料技術成為主流，企業開始以資料為核心，大量大資料平臺應運而生，主要處理結構化資料，同時也涉及非結構化和半結構化資料。資料被視為企業的重要資產。

ChatGPT 的出現標誌著一個新的轉變，我們正在進入一個以大模型為核心的時代。但這並不意味著資料將不再重要，實際上，資料和大模型是相互結合並行發展的。

未來，大模型將進一步整合資料和服務，利用其強大的泛化能力，支援系統執行許多以往需要人工完成的任務。智慧系統不再是單純的工具，而是成為一種能夠主動學習、自適應和協調的智慧體，支援企業 IT 系統的發展。因此，以大模型為核心的系統將成為企業 IT 系統發展的重要方向。

以 AI 和大模型為核心的應用系統正在經歷一場演進。在沒有大模型的時代，使用者使用 IT 系統的過程是手動的：使用者需要設定任務目標，規劃流程，分析資訊，執行路徑，最終獲得所需結果。在這個過程中，使用者需要與系統互動，瞭解系統功能，並選擇相應的功能來提出請求，獲得請求結果，然後決定選擇下一個應用功能。開發人員的主要任務是從功能上實現整個 IT 系統服務，這是當前傳統的模式。

隨著大模型的引入，我們看到了一種新模式的出現。在許多企業應用中，多智慧體助手成為核心，它們背後依託的是行業大模型。使用者只需設定任務目標，智慧體助手將負責執行使用者想要的操作，並最終提供任務完成的結果。智慧體助手將接管任務分解、規劃和執行的工作。

在 ChatGPT 剛出現時，我們可能直接與模型對接，進行問答形式的互動，大模型還無法與 IT 系統進行整合。要讓大模型真正融入 IT 系統，必須與現有的 IT 系統對接。智慧體透過函式呼叫或工具呼叫與 IT 系統對接，這一過程與使用者與系統的互動過程非常相似，實際上是讓多智慧體助手幫助使用者發起請求、獲取和處理請求。

應用開發者不僅要維護現有的 IT 系統，還需要實現智慧體應用。同時，演算法工程師這一新角色變得非常重要，他們負責訓練驅動行業應用智慧體的核心大模型，並提供模型服務。

智慧體與傳統系統之間的分工是，智慧體完成專業的認知任務，而非認知性的，程式化的任務則保留在傳統系統中，透過原有介面和工具執行。在這種分工趨勢下，許多應用系統都將朝著這個方向發展，智慧體和傳統系統將共同協作，為使用者提供更加智慧化的服務。

實現以大模型為核心的企業 IT 應用系統的關鍵路徑可以分為以下幾個主要模組。首先，我們需要進行需求分析和方案設計，這是實現系統的第一步。接下來，在完成方案設計後，我們將並行進行模型訓練、資料工程和智慧體應用系統的開發。在整個過程中，資料工程被視為核心，因此被放在中間位置。

具體來看，需求分析和方案設計階段與我們傳統的 IT 系統設計相似，但存在一些差異。首先，我們需要進行可行性分析，這是任何專案啟動前的標準步驟。然後，我們要梳理模型的業務需求，這是確保模型能夠滿足實際業務需求的關鍵步驟。

接著是模型能力的定義，這一點與傳統 IT 系統不同，需要明確系統的應用場景，並梳理出哪些任務可以由模型執行，哪些仍需依賴現有的 IT 系統。最獨特的地方在於評測體系的建立。

在傳統的 IT 系統中，我們通常透過測試用例來進行測試，但現在我們需要構建一套測試集來評估模型或基於模型的智慧體，因為模型或基於模型的智慧體的輸出並不是完全確定的。能夠成功完成任務的評估結果可能以百分比形式呈現，一般而言都不是絕對的 100%。最後，我們需要確定總體的應用方案，這是需求分析和方案設計階段的總結。

在實現以大模型為核心的企業 IT 應用系統中，模型訓練、資料工程和智慧體應用開發是三個關鍵環節。首先，我們來看資料工程。企業擁有大量資料，但關鍵在於如何收集資料、判斷哪些資料有用。

這需要根據模型的能力需求來確定資料的方向。資料分為外部資料和內部資料，外部資料主要是行業通用的專業知識，需要有獲取渠道；內部資料則是專業的業務資料，需要盤點並進行文件預處理和資料集製作。文字資料和多模態資料的處理也包括在內。

此外，如果應用需要向量資料庫，就需要進行資料拆分。如果向量模型的準確率和召回率不高，還需要準備微調資料。對於大型專案，可能還需要製作繼續訓練的資料集和微調的指定資料，甚至是人力對齊的資料。資料工程強調的是瞭解資料位置、盤點資料以及獲取外部專業資料的渠道。

接下來是模型訓練，AI 大模型的應用系統中模型訓練常被首先提及，但實際上它並不是一個非常難的環節，因為模型訓練的方法在通用領域已有解決方案，我們只需遵循即可。模型訓練有兩個分支：RAG 方向和 CPT（繼續預訓練）或 SFT 方向。

RAG 方向的模型訓練是指標對 Embedding 模型在專業領域效能下降的問題，需要使用企業專業資料進行 Embedding 模型微調的訓練。模型訓練的關鍵在於模型的選型，需要根據業務場景選擇最合適的模型，並考慮模型在系統中的能力要求，選取適合評估相關能力的評測指標，並選擇評測指標強的模型。

最後，使用準備好的資料進行模型訓練，這個過程可能需要多輪迭代，如果評測結果不佳，可能需要回到資料層面解決能力問題。

最後是智慧體應用的開發，這與傳統模式有所不同。需要根據需求明確智慧體應用的功能，設計整體架構，以及執行流程，可能是順序執行或層級執行。同時，需要提出智慧體核心模型的需求，並設計和管理提示詞庫，建議統一管理提示詞並進行集中評測和最佳化。記憶體的設計也非常關鍵。

在完成這些準備工作後，將流程串聯起來，實現智慧體與現有 IT 系統的對接，並進行測試評估。這不僅僅是軟體測試，更多的是評估智慧體是否達標，如果不達標，可能需要進行迭代最佳化。

最後要說明的一點是，智慧體應用的發展目前剛剛起步，各種框架實現群雄逐鹿，生產環境可用性需要開發團隊有很大的耐心去試錯填坑，並且智慧體應用的工程化實現的思路和傳統軟體工程化實現思路差異還是比較大的，這也是未來智慧體應用開發者們要解決的問題。

在完成模型訓練、資料工程和智慧體應用開發這三個關鍵任務之後，我們進入最後的部署階段。這包括模型的生產部署、檢索正向庫的構建、智慧應用體的生產系統整合，以及系統的上線。

專案完成後，我們可以進行 demo 展示或者實現專案的結算結項，這是整個實現路徑的最終步驟。

上述所有這些實現過程與傳統的 IT 系統實現有著相似之處。我們需要定義系統的能力，即需求，從模型的能力出發去訓練模型。

以一個具體的例子來說，如果我們要在醫療行業應用大模型，我們不僅需要通用的語言能力和安全價值觀，還需要將醫療業務能力整合進去。這種業務能力是層級性的，需要逐步分解。

從最頂層開始，逐步細化，直至分解為一個個具體任務。每個任務對應需要的資料型別和評測效能的標準。

總之，我們需要從能力出發選擇合適的模型，根據能力需求收集或製作訓練資料，並指導模型訓練。這個過程要求我們不僅要關注技術實現，還要深入理解業務需求，確保大模型能夠真正融入並提升企業的 IT 系統能力。

對於企業 IT 系統的未來，它肯定會朝著以大模型為核心的應用體系架構發展。大模型的能力決定了我們系統的能力上限，因此我們的評測也主要是針對模型的能力來進行。

多智慧體系統的開發和應用將拓展大模型的能力，不再侷限於簡單的問答，而是與 IT 系統聯動，極大擴充套件模型的能力。我們需要以使用者助理的視角來理解新的業務和技術特點，而不僅僅是作為開發者解決使用者的功能需求。

對於關鍵路徑而言，需求和業務場景是引領整個關鍵路徑的核心。工程、資料工程、模型訓練以及多智慧體應用開發需要齊頭並進，其中業務場景和資料工程可能在企業應用智慧化改造的前期過程中是最為重要的。