AI 和大模型方興未艾，我們每天都在看到和嘗試不同版本、不同品牌的大模型產品，它們的能力各不相同。無論是個人還是企業，都在思考如何儘早地參與進來到大模型的浪潮當中來。

目前，一些先鋒企業已經將 AI 和大模型融入到他們的日常業務和產品中，並取得了不錯的效果。但更多企業仍處於觀望或迷茫狀態。在有限的預算內，企業要怎樣進行 AI 和大模型的商業化或投資？該選擇怎樣的大模型融入業務？帶著這些問題，InfoQ《極客有約》特別邀請了廣東 CIO 聯盟會長、前海爾集團 CIO 李洋老師和北京中關村科金公司 CTO 李智偉老師，與 InfoQ 社群編輯張凱峰一同探討企業如何在眾多大產業和大模型產品中做出合理的選擇。對話內容部分亮點如下：

● 企業開發大模型應用時，應該更多地考慮使用者體驗；

● 企業需要對應用場景有深入理解，並從試點開始逐步推廣；

● 對於面向 C 端的應用，“+AI”是個不錯的選擇；

● 企業在進行系統建設時，必須考慮到未來的可替代性。

以下為訪談實錄，經編輯。完整影片參看：

李智偉 ：透過檢視最近 ChatGPT 一週的資料，可以發現其使用者活躍數量超過了一億。雖然這一數字很高，但大部分使用者使用的都是 To C 的一些應用程式。國內的一些應用程式使用者數量也很多，從使用者教育角度來看，進展比較快。C 端應用程式的發展將會非常迅速。目前廣泛使用的 agent 平臺或 model builder 平臺，都面向企業提供服務，提供公共雲服務或者私有化服務。國內大部分公有云上的託管服務都由個人或小微企業進行使用。國內比較好的頭部企業，其訓練的模型約有 1.3 萬個。

同時，透過檢視今年 1 到 6 月份的公開招標網資料，我們可以看到大企業招標的情況。今年上半年到 6 月中旬，整個公開招標數量約為 234 件。其中，60% 以上的專案來自央國企。預計今年大企業客戶對大模型的商業化使用將加速。

從 C 端來看，很多客戶已經理解了大部分內容，但 B 端的進展仍然處於早期階段。

李洋：從目前的趨勢來看，人工智慧是一個新質生產力，是工業革命的一部分。從國際上來看，人工智慧的浪潮也比以往席捲得更快。其原因在於，它是由 C 端發起的。目前可以感知到的是，要把科技的生產力提高民眾的感知度。對於企業來說，可能包括員工、客戶以及上下游。C 端這種蜂擁而來的趨勢就奠定了這次人工智慧浪潮會高於前幾次的基礎。

對於 To B，我認為應該是未來科技革命所產生的生產力要兌現的一個非常重要的路徑。目前可以看到的很多一二級市場的投資，對 C 端的投資還在逐漸增長。但如果缺乏一定的殺手級應用，甚至沒有持續的宣傳和科技元素的不斷注入，這種熱度很快就會退去。

對於 OpenAI 或國內許多做大模型的企業，無論是自研還是開源，要在 C 端實現商業變現都很難。因此，在 C 端鞏固之後，隨著大模型的成熟，To B 的發展應該會逐漸加速，但未來是否一定會發展成大模型還有待觀察。

張凱峰：可見，C 端市場和 B 端市場所面臨的情況、消費習慣以及背後的經濟投入都是完全不同的。對於企業來說，AI 和大模型的應用還處於初級階段。是否是因為滿足 C 端服務更容易，但企業側複雜的業務需求和市場競爭等因素，導致企業在接納 AI 和大模型方面比 C 端更困難？這將具體表現在哪些方面呢？

李智偉：我認為這個問題與大模型的能力有關。大語言模型的技術能力可能更多地體現在知識的理解和生成方面更加成熟，因此在構建 C 端應用的場景中，它的融入是比較快速的。

對於知識的獲取，大模型本身也採用了推薦的方式來提供服務。這種方式的技術更加成熟，能夠更好地與使用者互動。許多類似的 APP 或個人助手都提供了知識獲取的功能。Perplexity AI 和國內的一些創新者正在開發類似搜尋的應用，並且致力於提升 C 端使用者的體驗。當它面向 B 端企業滲透時，我們需要考慮其商業化能力。目前，商業能力主要集中於網際網路、教育、金融和政企服務等行業。這些行業有一個共同點，即服務於大量 C 端使用者。

面向個人使用者的體驗一定會延伸到企業端的員工使用中。在當下這一波浪潮中，當企業開發大模型應用時，應該更多地考慮使用者體驗。這也是我們一直致力於做的事情，因為我們是一家傳統的營銷和客戶服務類產品公司，我們基本上都在開發互動類產品。

我們之所以非常重視大模型技術，是因為我們認為這項技術實際上是對整個互動體驗的顛覆性升級，這是一個未來的巨大機會市場。因此，我們基本上也是將 C 端的體驗產品能力應用於 B 端，以實現更深入的發展。

李洋：總的來說，C 端和 B 端的觸點不太一樣。以我個人為例，作為一個純粹的 C 端使用者，我對新科技產品的需求更多關注於體驗感、科技感以及方便易用等方面。這也包括了一些家居、生活和工作的便利性，這些方面可以歸為 B2C 類別。而從 B 端的角度來看，我們可以將大模型的應用或 AI 戰略應用於整個企業中。特別是在後疫情時代，我們需要降低成本、提高效率，甚至創新商業模式，尋找新的利潤增長點。因此，在企業內部，對於大模型或新技術的使用，其想法、構建和步驟可能會有所不同。

李智偉：我想先分享一下我們在做企業應用時遇到的問題。在過去一年多的時間裡，很多企業的決策者都在問我們如何選擇。實際上，我們並沒有給出明確的答案。我認為這是一個逐步認知和迭代的過程，與企業構建的業務場景密切相關。

但是這次的情況有所不同。在傳統 IT 系統中，我們通常以功能性為主導，根據客戶需求構建系統。但是現在，由於整個 IT 企業架構的變化，核心變成了一個模型，我們需要將之與客戶的業務深度融合，這無疑是一個很大的挑戰。目前我們面臨的衝突點是，很多企業出於自身發展或國家要求，會積極與廠商合作，很多場景都會進入。但是因為我們不熟悉所有場景，使用者有時會受到限制。

企業需要做幾個部分的工作。如果我們將這看作是一個流程，我可以提供一些具體的建議。例如，通常我們會先梳理功能性需求，但現在做法不同了。我會告訴客戶，首先要進行認知對齊。如何讓不同的人對大模型的認知保持一致呢？首先，參與專案的人員需要具備大模型的基本原理和能力；其次，客戶方也需要有懂得大模型應用的專業人士。

其次，我們需要選擇一些小的場景作為試點，以便快速響應市場變化。對於供應商來說，他們需要擁有敏捷的工具鏈和 demo 系統來幫助他們進行試點。去年，我們建立了一個工具鏈平臺，並在官網上開通了線上 demo 系統。客戶可以在瞭解系統之前先進行試用，確保能夠接受它的外觀和效果。試點是一個雙方共創的過程，試點結束後，需要進行效果評估，然後雙方再對產品進行規劃並分段實施，最後總結反饋。大模型應用更注重端到端效果的最佳化。企業需要對應用場景有深入理解，並從試點開始逐步推廣。從這個角度看，市場上可供選擇的選項並不多，對於企業來說，雖然我們正在努力加速商業化，但更合理的是要看到其中的節奏。

李洋：在企業中使用 AI 和大模型的切入點比較多。建議企業在做這方面時，先確認需求，再定義相應的工具。在我的數字化轉型工作中，我把它分為延產供銷服務、運營風控等方面。不同行業的側重點會有所不同。

當然，不僅限於 AI，還有區塊鏈、雲計算、大資料等技術，它們與我們所說的業務數字化層面和流程有關，以及我們所說的痛點或難點，哪些可以使用大模型或 AI 來解決？從目前的情況來看，我非常同意李總的觀點。現在的問題可能是，由於大模型的火爆程度超出了某些企業的承受範圍，導致我們的應用目標本末倒置。我們不應該拿著錘子去找釘子，而是應該根據釘子的特點選擇合適的工具，包括大模型。

今天我還與一些企業進行了交流，他們認為，傳統的機器學習、簡單的規則和深度學習的神經網路也可以解決問題，不一定非要使用高量級的大模型，特別是那些對算力和資料要求很高、成本也很高的模型。因此，我認為我們應該從業務數字化和智慧化的方向出發，進行全面規劃，然後逐一比較，看看哪些問題可以使用人工智慧工具來解決。在使用人工智慧工具時也必須考慮成本、效率和效益等核心指標。

李智偉：對於這個話題，市場上有不同的提法，如“+AI”或“AI+”。“+AI”是指在現有能力的基礎上新增相應的能力，而“AI+”則指下一代能力系統。我認為，對於面向 C 端的應用，加入 AI 是個不錯的選擇。對於 B 端應用而言，企業通常需要考慮如何重新利用現有的 IT 資產，使用 AI 原生技術的成本很高。

對於初創公司來說，重新構建企業架構的成本是難以承受的。因此，我們更傾向於鼓勵企業採用 AI 技術來增強自身能力，這也是一種很好的 IT 演進思路。

李洋 ：現在大模型的應用模式一般分為以下幾種：

● 提示詞工程：使用大模型不需要重新訓練或者構建資料集，但由於大模型自身的泛化能力和通用能力，企業可以透過提示詞來進行引導，從而使得模型生成解決方案、文案等。

● RAG，可作為大模型的補充。作為外掛，在檢索或提問過程中可以將資料融合到模型中，並生成相應結果。

● 微調，或稱精調：企業可在確保質量過關的情況下，使用小部分資料，挑選出自己的模型，並將專業知識和私有資料融入其中。

● 預訓練：如金融行業中的一個不普遍的領域，為了訓練這種行業大模型，企業需要將購買或開源的大模型中的資料重新進行訓練，使其獲得具有金融行業或其他專業領域知識的行業模型。基本上可以參考以上幾種方式來使用大模型。在封裝開源模型的過程中，可能需要採用一些綜合應用的方法。如在前期使用一些提示工程，在後期新增微調。

李智偉：對於企業來說，是否需要大模型，以及大模型的數量多少問題，需要看具體場景。在書寫公文或者分析金融報告時，可以使用一個模型，無論是 prompt 還是 FT。而對於更加專業的領域而言，可能需要使用 FT，併為每個任務提供精標資料進行訓練。對於整個企業來說，必須採用多模型。在小模型時代，我們在構建基於模型的軟體和系統架構時，就已經採用了多模型組合的方式。而現在，更加明確的是，從擴充套件架構的角度來看，應該採用大模型、小模型和 RAG 的組合方式。

企業不能只依賴一個模型。現在的模型架構是大模型負責排程編排，小模型負責完成特定任務，任務完成後，我們需要把所有輸出彙總並呈現給終端使用者使用。目前來看，RAG 增強技術也不需要模型了，大部分只需要做 prompt。小模型的獲取方式有兩種：利用原有 IT 資產中的小模型，即資產再利用；另一種是在基於大模型訓練後，透過剪枝和蒸餾等技術將神經網路縮小，得到小模型。去年，很多企業都認為一個模型可以解決所有問題，甚至花費數千萬購買大模型。但現在人們已經轉換了思想。例如我們在去年一直為一家零售客戶製作電銷大模型，由於我們公司在過去十幾年中一直從事客服工作，所以我們使用小模型實現智慧撥打電話，而大模型出現後，我們認為大模型對我們的業務更加有利，進行了替換。

大模型的應答效果和對話效果都比小模型要好，但是在效率方面存在問題。當時我們的做法是加大量的 GPU，提高併發性。但是現在看來價效比極低。從整個 IT 構建來看，只能先解決準確率問題。但是需要考慮到，長此以往，價效比是支撐不住的。我們需要考慮小型化的問題，比如透過模型的裁剪或者蒸餾來實現小型化。我們甚至需要將原本使用的小模型加入到中間過程中。例如在完成某項特殊任務時，小模型效果比較好，可以使用小模型來儘可能地減少大模型進行互動判斷處理的工作量。隨著時間的推移，我們的整體成本和算力需求正在逐步下降。

相比之前使用純小模型，目前我們整體的外呼發起率可以提升到 30%，大屏通話也能增長 50%，這都是大模型帶來的好處。此外，使用大模型與使用傳統的人工呼叫相比，也有利於降低客戶不滿意度。

李智偉：關於這個話題，實際上受到兩個因素的影響。

第一個方面是，早前在大模型 GPT3.5 釋出那時候，一些開源模型也隨之出現，但我們當時使用下來發現這些開源模型其實效果達不到預期。為了達到我們想要的效果，還是需要重新做 SFT，當時的想法是所有的模型都是需要做訓練的。但是隨著基礎模型的發展，特別是 ChatGPT 4o 的釋出，現在國內的開源模型已經可以滿足基礎的需求。在過去的半年中，市場上訓模型這件事其實慢慢變少了，基礎模型可以直接用於一些常規場景，甚至進行資訊的獲取和整理。

第二個方面，目前國內雖然有約 200 家大模型和各種模型的生產公司，但都沒有成熟的商業模式。市場上既存在開源模型，也有閉源模型。大多數大公司都傾向於閉源，但實際上這些做閉源的公司都希望透過消耗更多的雲算力來盈利，這比銷售單個模型更加有利可圖。但這也帶來了一個問題，如果一個企業的供應商消失了，其發動機怎樣進行維修呢？

因此，企業在進行系統建設時，必須考慮到未來的可替代性。這意味著企業必須要在前期就考慮這個問題。在建構整個架構時，需要考慮到兩個方面：

首先，我們需要一套供應鏈，以便在未來能夠更換其他供應商。

還需要重點考慮一個問題。例如，去年我們開始訓練大模型，並且為企業提供了許多輸出。但是年初開始，當我們意識到這個問題後，就投入了大量的研發精力來開發模型部署工具鏈。它可以幫助企業監控和運營多個模型，甚至可以輕鬆地替換、上線和下線部署託管。一套標準化的能力體系可以對未來產生最大價值。這可以保證基礎模型趨向標準化。企業可以在任何時間選擇最適合自己的資產，還可以使用更加強大的模型來替換現有最低版本。

第二種情況是，企業針對自己的行業知識進行訓練，這要求企業具備快速部署和完成的能力。此外，企業未來的混合部署需要一定的工具鏈支援。

李智偉：除了要考慮價效比之外，企業還需要考慮準確性、魯棒性和穩定性等因素。在選擇模型時，企業需要考慮其應用場景。例如，線上系統需要更高的時效性，因此可能需要混合性模型部署。這是第一個。

第二個是，由於模型的泛化可能會帶來負面影響，比如幻覺問題，因此在嚴肅場景之下，必須進行針對性資料增強訓練。然而，增強訓練會帶來一個問題，隨著模型引數的增加，其準確性和嚴肅性會提高，但效率也會降低。因此，需要採取一些措施，例如進行裁剪或蒸餾，以提高效能。但是在非嚴肅場景下，需要的是模型的泛化性，對效能指標的要求會降低。

近期我還非常關注模型的安全和合規，目前大模型在安全合規方面還有待提升。企業需要考慮到個人隱私保護問題。有多少企業的原始資料經過了嚴格的隱私清洗和認證呢？

另一個是多模態大模型問題。目前，多模態對資料的使用更加深入。此前，大語言模型更多關注到的是文字類理解使用。但涉及到多模態，就要考慮對於視覺、音訊和影片的理解和使用，在這個過程中，資料安全是極其重要的。需要企業完成兩個任務：第一，採購大模型時，需要考慮其合規性和安全性；第二，大模型使用必須經過備案，並接受審查。

李洋：人工智慧領域，特別是現在的大模型和未來的發展方向，可能會像雲計算一樣。隨著大資料等新興技術的發展，網路安全合規方面也會有相應的審查標準。例如，如果大模型的服務提供商類似於我們的公有云提供商，作為租戶，呼叫大模型時，租戶與平臺之間的責任共擔和舉證是非常重要的。此外，在選擇大模型時，還需要考慮運營團隊的能力。

大模型需要具備底座和二次開發及最佳化能力，但建立大團隊不太現實，因此需要依賴服務商提供的人工智慧，包括架構師和科學家的能力。人工智慧的發展具有不確定性，可能會出現幻覺、誤導或暴力等後果。我們需要考慮到的是，如何訓練、採購和使用大模型，以及如何對其進行完善實施和調整。平臺提供方仍在不斷改進中，因此需要一個團隊的支援。

李智偉：在 B2B 領域，現在還處於早期階段，各家還沒有實現盈利的商業模式。

這次技術革命將帶來許多新機會。我們以前在做內容稽核時，會使用小模型。例如，做內容稽核需要積累大量資料並訓練專家。如果想稽核某個涉政類的內容，就需要儲備很長時間。但是，如果使用多模態大模型，就可以快速進入稽核市場。這是對以前技術的一種彎道超車的機會。

在 B2B 領域盈利，對於企業來說，是一個非常多元化的機遇。但在中國市場，能否盈利仍然存在很大的不確定性。這種多元化的機會也帶來了一些好處，比如以前從未涉足的新市場會帶來新的機遇。

多模態模型和大語言模型在這一過程中都已經被開源甚至公開化了。因此企業可以更容易地進入這個市場並積累財富。

李洋：首先，AI 作為一種科技手段，只要能起到促進作用，它一定會促進原本產業的發展。比如在抖音、微信運營或公眾號運營過程中，如果能在原有產業中嵌入 AI 元素，或者透過大模型實現促進，那麼就可以實現盈利。但另一方面，提供大模型的公司只要向 B 端或 C 端提供相應的應用程式，就能盈利。例如，Stable Diffusion 平臺或 OpenAI 開發的類似 GPT 的大模型應用程式或產品，只要被騰訊、抖音等公司採用，就可以利用大模型盈利。但是還有一個問題，在數字化和智慧化的過程中，能否創造出新的盈利模式。例如華為、四大諮詢公司（麥肯錫等）提供的諮詢服務，如果企業能將這些諮詢服務整合成一個大模型，並利用大資料分析技術，那麼實施週期和效率可能會比傳統方式更快。此外，還需要解決資料脫敏和隱私保護等問題。

企業應該將這種科技手段與所有產業結合起來。從第一次工業革命到第四次工業革命，我們一直在追求生產力的提升，但我們仍然需要抓住自己的主業。

在主題演講環節，我們已經邀請到了「蔚來創始人 李斌」，分享基於蔚來汽車 10 年來創新創業過程中的思考和實踐，聚焦 SmartEV 和 AI 結合的關鍵問題和解決之道。大會火熱報名中，7 月 31 日前可以享受 9 折優惠，單張門票節省 480 元（原價 4800 元），詳情可聯絡票務經理 13269078023 諮詢。