答AI的6000億美元問題：LLM應用會如何崛起？｜AGIX投什麼

01.

企業側 GenAI 滲透速度比想象中更快

1. 企業部署 GenAI 的速度在加快

雖然訓練、推出新一代 SOTA 模型的週期在拉長，但大企業採用 AI 並沒有降速。

2023 年是 AI 在企業端滲透率最快的一年。在麥肯錫的調研中，AI 在企業側的滲透率從 55% 增長到 72%，增長了 17 個百分點，如果把 AI 縮小到 GenAI 的範圍，則速度更加驚人，過去一年從 33% 增長到 65%，增長了一倍。

Source: The state of AI in early 2024: Gen AI adoption spikes and starts to generate value, May 30, 2024|Survey, McKinsey & Company

企業分配給 AI 的預算支出也在增加。根據 Morgan Stanley 釋出的 2024Q2 US Tech Report，2024 年Q2，企業 AI/ML 相關的專案預算增速為 16.3%，Q1 時為 13.7% 。企業前 10 大專案開支中增速沒有下降的只有 CRM Application（+2.3 個百分點）和 Storage HardwareData（+1 個百分點），而這兩個板塊也是企業部署 AI 的關鍵設施。

Source：2Q24 CIO Survey – Stable Budgets, Nervous CIOs, Morgan Stanley

2. 2025 年將迎來 GenAI 在企業側的 massive adoption

即便所有受訪企業都已經認知到 GenAI 的重要性，但不同規模企業部署 AI 的階段不同。

根據 UBS 釋出的企業在 AI 領域的支出調研，絕大多數中大型企業用 GenAI 的狀態主要集中在研究 use case 做概念驗證和小規模測試部署這兩個階段。其中， 45% 的大型企業已經開始小規模測試部署，40% 的大型企業已經明確了自己的 use case 並開始進行概念驗證，中型企業在這兩個階段分別為 44% 和 38%。

小型企業則恰恰相反，主要集中在兩端。在調研中既有 25% 的小型企業已經進入到規模化部署階段，也有 25% 還處於調研階段。之所以有更高比例的小型企業能快速規模化部署 AI 可能和企業規模小帶來的決策靈活性、工作流相對而言並不複雜、更加成本敏感等因素有關，而另有 25% 仍處於調研環節則可能和企業的技術儲備、自身業務發展 roadmap 相關。

Source: U.S Software, AI Survey of Enterprise Execs, June 2024, UBS

但總體上，我們可以樂觀預計，到 2024 年末，會有更多中大型企業擴充套件 GenAI 在企業內的部署規模，甚至開始將其應用到更廣泛的業務流（In production at scale across units）當中，2025 年會迎來 GenAI 在企業側的 massive adoption。

如果不能正確認知模型“漸進式解鎖”的特點，就會高估短期內的模型能力進展，和 LLM 真正作用於實際業務的速率。這一點也體現在 CIO 們 AI/LLMs 真正應用到企業生產的時間線的預期變化上。從 2023 年 Q3 到 2024 Q2，CIO 們對於用 AI 的時間線預估明顯在放緩。

在2023 年 Q4 的調研中，市場對於 GenAI 的應用週期最為樂觀：1/3 的受訪者認為，半年後 GenAI 就可以被用於企業的實際業務生產中（in production），與此同時， 1/3 的企業表示對於如何使用 GenAI 還沒有任何計劃。

到 2024 Q1 和 Q2時，企業對於 timeline 的判斷則趨於審慎樂觀，在 2024 Q2 最新的調研中，受訪者中，26% 的人預期在 2025 年後才會看到 AI/LLMs 進入到企業生產流程中，25% 的人認為會在 2024 H2 出現。

Source：2Q24 CIO Survey – Stable Budgets, Nervous CIOs, Morgan Stanley

3. 中短期內，企業的 GenAI 用例還是集中在內部場景

在過去 4 個季度中，企業使用者對於如何在內部使用 AI/LLM的觀點也在發生變化：

• 將內部生產力提效作為部署 AI/LLM 目標的企業從 15% 增長到了 23%，從第 3 提升至第 1；

• 將 AI/LLM 用於最佳化勞動力成本（例如客服、財務等板塊業務流程的簡化）的企業從 10% 提升至 18%；

• 雖然仍舊是前 3 大用 AI/LLM 部署的方向，但提升客戶滿意度目標預期則從 19%下降至 15%，從第 1 降至第 3 位。

Source：2Q24 CIO Survey – Stable Budgets, Nervous CIOs, Morgan Stanley

這一變化相當有趣，企業對於 GenAI 的預期從偏對外的、前臺業務場景轉向了內部降本增效，側面反映出在過去 9 個月的企業的 AI/LLM 嘗試在哪個場景任務中更加有效。在這種共識下，我們預計，中短期內，企業還是會更多的將 AI 用於內部場景中。

儘管 Gen-AI 的潛力正被普遍認識，但 Bain 調研顯示目前只有約 35%的公司能清晰描述如何從 Gen-AI 中創造商業價值。從探索階段向大規模實施的完全轉變，可能不會像我們預期的那樣迅速，而是一個 3-5 年的漸進過程。

為了量化 GenAI 的價值潛力，麥肯錫選擇用 GenAI 會帶來的影響金額、以及對功能性支出（funcitonal spend）的影響佔比對企業不同 GenAI 用例場景進行預測分析。

在所有的功能板塊中，GenAI 對市場營銷與銷售（Sales & Marketing）、軟體開發（Software Engineering）、企業內 IT（Corporate IT）和客戶運營（Customer operations）以及產品研發（Product R&D）等幾個板塊產生的影響最明顯，在 GenAI 每年帶給企業影響總規模中，這幾個板塊總共佔到了 75% 左右。

Source：The economic potencial of generative AI, June 2023, McKinsey & Company

除了能直觀感受到用例集中外，我們也發現，客服、軟體開發、企業 IT 服務這幾個板塊的 GenAI 價值潛力既體現在帶來的影響金額足夠大，也體現在這些金額佔 functional spend 的比例足夠高（達到 30%～40%）。而 Sales & Marketing 的 GenAI 價值潛力則主要來自於這兩類 use case 帶來的絕對金額。

4. “如何才能用好 AI？”是企業大規模部署 GenAI 的阻礙

在前面我們提到，企業規劃部署 GenAI 的目標時，增長最快的板塊是內部生產力的降本增效部分，而直面客戶、提高使用者體驗則從 2023Q3 的第一名（佔比 19%）在 2024Q2 下降至 15%，這一變化也是不同用例在過去一年中實際效果和使用者滿意度的結果體現。

比如，在 Bain 的 AI Survey 中，從 2023 年 10 月到 2024 年 2 月，企業使用者對銷售運營、軟體程式碼開發、市場營銷、客戶服務等領域的 AI 應用滿意度有一定提升，其中，銷售運營從 76%提升至 82%，軟體開發從 77%提升至 81%，但在法律、運營和人力資源等領域，企業使用者對於 AI 效果的滿意度下降卻十分明顯，法律從 71%下降至 53%，運營從 81%下降至 65%。整體上，企業對於 AI use case 的滿意度相對於 2023 年末略微下降。

Source：AI Survey: Four Themes Emerging, June 2024, Bain & Company

企業對 AI 在不同任務上滿意度的變化其實也反映了當下企業部署 AI 的會遇到的最大的摩擦力：預期和模型能力之間的不匹配。

對於文字屬性強、簡單重複性工作，LLM 基本能夠滿足使用者預期，但涉及到複雜推理、domain knowledge 和複雜 context 的任務，受到模型能力的限制，這種預期偏差會更加明顯。

對於 AI use case 沒能達到預期主要原因，企業使用者認為是模型效能和輸出質量是主要因素，分別有 43%和 42% 的受訪者提到了這一點，但需要指出的時候，從 2023 年 10 月到今年 2 月，這兩個因素佔比其實是下降的，其中輸出質量這一因素下降了 9 個百分點，模型效能則下降了 1 個百分點。

相較於模型能力對 AI use case 負面影響的下降，“如何用好 AI”反而逐漸成為新的阻礙因素。例如，受訪者中有 38% 的人認為，之所以 AI 的使用不及預期是因為“使用者對如何有效利用 AI 工具的理解不夠”，這一佔比上升 10 個百分點，增長最多的則是“沒有滿足企業用需求 AI 的 vendor 或工具”，有接近 1/3 的受訪者提到了這一點，相較於 2023 年 10 月增長了 16 個百分點。

Source：AI Survey: Four Themes Emerging, June 2024, Bain & Company

也正因為目前還沒有足夠好用的工具滿足企業用 AI 的需求，因此在佈局 AI 時，企業選擇自建（Do-it-yourself application）的比例高於選擇現成產品（Off-the-shelf application）。但這一偏好根據細分場景和任務有所不同：

• 在軟體開發、營銷與銷售以及知識工作者提效等通用性較強的領域，第三方解決方案相對成熟，因此企業自行開發和採購第三方方案接近 1:1，並且隨著第三方方案的不斷進步和成熟，預計未來將有更多的企業選擇現成方案，以提高 GenAI 的實施效率，我們相信，能率先做好這類通用任務的軟體將會更快獲得企業使用者；

• 當涉及到具體的 domain knowledge 或者企業敏感資料、複雜 context 等非通用型任務時，企業明顯會更偏好自己開發對應工具。

Source：AI Survey: Four Themes Emerging, June 2024, Bain & Company

Klarna 就是一個典型的例子，Klarna CEO 表示，團隊內部的 AI Assistant Kiki就是 Klarna 團隊自己開發的。除了因為當時市場上並沒有滿足需求的產品外，我們認為，還有一個因素在於 Kiki 以及其他類似的 AI 專案都是團隊內自下而上的試驗，所以不太存在先爭取預算購買 vendor 服務或產品，再開發內部 AI 工具的流程。

資料完備度（data readiness）是企業 AI 用例部署速度、實施效果的重要影響因素。根據 Bain 的 AI Survey，截止 2024 年 2 月，僅有 5% 的企業覺得自己的在資料網完備度上已經準備充分，67% 的科技公司和 69% 的非科技公司認為自己的 data readiness 還不夠，資源、資料安全這兩個影響因素情況類似。可以預見的是，為了更好地部署 AI，企業會在資料相關領域持續投資。

Source：AI Survey: Four Themes Emerging, June 2024, Bain & Company

02.

企業是如何用 AI 的

按照場景劃分，目前企業的 LLM 用例主要在以下幾方面：

1. 企業搜尋：最 LLM-native 的場景

2. AI 客服：LLM 滲透最快的場景

• Walmart :

用 AI chatbot 響應、解決需求也可以用在業務合作場景中。Walmart 也在嘗試使用 chatbot 自動化供應商談判。在與 89 家供應商的試驗中， chatbot 與 64%的供應商成功達成了交易，平均節省了 1.5% 的成本，並延長了 35 天的付款期限，加強了供應鏈效率。

3. Sales & Marketing：

不論是 CIO 調研，還是海外獨角獸團隊的實際訪談中，都能明顯感受到 Sales and Marketing 都是 LLM 應用比較廣的場景：

• Sales & Marketing 相關任務和 LLM 的文字生成能力相當契合；

• 這些場景下，文字需求量極大，例如，SEO 這類任務中需要大量的內容產出；

• 和客服場景的“降本”動機不同，Sales & Marketing 中引入 LLM 還包含有企業獲得收入增長的預期，例如透過給 sales 提供 AI copilot 來實現更高的銷售轉化率。

Use Case:

• Walmart “Ask Sam”：

Ask Sam 是 Walmart 為店員工設計的智慧助手，它能夠回答員工的各種問題，比如在店內找到特定商品、查詢價格等。這個工具不僅提高了員工的工作效率，還優化了店內的操作流程，讓員工能夠更快速、更準確地完成日常任務。

4. 產品開發：和生產力最近的場景

產品開發可以分為兩類，一類是涉及到程式碼相關的任務，一類則非程式碼類任務，在這兩類場景中，我們也都分別都觀察到了 LLM 用例。

程式碼生成

程式碼生成是普及度最廣的 LLM use case，雖然目前模型的程式碼生成能力還不能直接代替工程師，但對程式碼寫作效率的提升已經得到驗證。在 Duolingo 的案例中，因為引入 GitHub Copilot，內部開發速度提高了 25%，程式碼審查的響應時間縮短了 67%，Duolingo 的 CTO Severin Hacker 強調，對於管理著龐大程式碼庫的企業來說，GitHub Copilot 尤其有效，它能幫助團隊更高效地管理和擴充套件技術棧。

Github Copilot 在 2021 年 10 月初次推出，當時是基於 120 億引數量的 OpenAI CodeX，隨著 GPT 的不斷迭代，Github Copilot 的程式碼能力不斷提升，也從自動補齊滲透到更多開發環節中。Github Copilot 是目前使用最多的 Coding 工具，在 UBS 調查中佔 65%。Copilot 對於 GitHub 的增長推動也很明顯，現在 GitHub 的年收入已達到 20 億美元，佔今年 GitHub 收入增長的 40%以上。

Source: U.S Software, AI Survey of Enterprise Execs, June 2024, UBS

5. 垂直場景：

因為構建垂直場景下的 LLM Copilot 要求更多的行業 knowhow，並且在一些情況下還需要考慮到企業資料安全等問題，因而現階段， LLM 在這些場景中提供的功能仍圍繞通用任務和場景展開，但也正如在 CIO 調研中呈現的，金融、法律等場景下，LLM 已經顯現出成本降低的效果。

Use Case:

•電商：

Sidekick 是 Shopify 開發的 AI 助手，是一個 all-in-one 的電商 copliot，底層模型是在 Llama2 的基礎上結合 Shopify 自有資料 fine-tune 。

對於商家來說，Sidekick 除了能幫助實現庫存管理、商品上架、物流追蹤等後臺任務自動化之外，還能提供更智慧的業務和訂單分析，並且在 Q&A 的方式就可以完成，能夠理解、解決商戶的個性化問題。

03.

AGIX Top Picks:

除了模型服務外，微軟也正從企業對資料管理需求的增長中獲益。隨著客戶尋求更全面的整合解決方案，微軟 Synapse 數倉產品與 AI 技術棧一起銷售的策略佔據優勢。同時，與 Databricks 的緊密合作，可能會增加客戶對 Azure 核心資料儲存服務的需求。

應用端，GitHub Copilot 也推動了 GitHub 的增長，GitHub 年收入達到 20 億美元，而 Copilot 佔 GitHub 今年收入增長的 40% 以上。不過，微軟 365 Copilot 短期 Adoption 可能並不理想：雖然微軟 CEO Satiya 在最新的電話會議中表示老客戶訂閱在增加，但沒有透露任何資料。

•Amazon( AMZN)

我們看好 AMZN 的邏輯和 MSFT 相似。首先，AWS 是最大的 CSP，根據 UBS 的調研，AWS 是企業使用者在 GenAI 場景下僅次於 Azure 的選擇，並且在市場份額上還在追趕，在模型服務層，AWS 和 Anthropic 的合作相當深度，Anthropic 的 Claude Sonnet 3.5 釋出後在開發者端迅速收穫了高口碑，而 3.5 系列模型的陸續釋出極大可能會推動 AWS 獲得更多客戶和市場份額。

•Cloudflare( NET)

Cloudflare 的核心業務是提供 CDN、網路安全、DDos 防禦和域名服務，全世界有 20%的網際網路流量都經過了 Cloudflare 的網路代理。

在 GenAI 主題下，Cloudflare 也推出了一系列產品，其中最核心的是 Workers AI。Workers AI 可以讓使用者將一部分主流開源模型部署在 Serverless GPU 上面，為客戶的 AI Chatbot 嵌入提供支援。在 FY2024 Q2 中，Cloudflare 官方披露，Workers AI 推理請求環比增長 700%，平臺上的活躍開發者數量增長至超過 240 萬，四個月內增長了 20%。隨著企業部署 AI 的滲透率不斷提升，Workers AI 明顯可以受益於這部分需求的增長。

Cloudflare 的另一個受益點則來自於 Apple Intelligence 帶來的潛在增量。根據 Apple 官方資訊，Apple Intelligence 採用了一個名為 PCC（Private Cloud Compute）安全方案，在 PCC 的設計中，資訊傳輸環節，加密後的 AI 請求不會直接被傳輸到計算裝置上，先轉去一個三方 OHTTP ，隱藏裝置的源 IP 地址，從而防止攻擊者利用 IP 地址來識別請求或將請求與裝置使用者聯絡起來。

Apple 官方 blog

在此之前 Cloudflare 已經和 Apple 在 iCloud 隱私服務 iCloud Private Relay 上達成了合作，因此，市場普遍認為，PCC 方案中的 OHTTP 合作方也極大機率是 Cloudflare。

隨著 Apple 在今年秋天逐步推出 Apple Intelligence，端側的 AI 請求都會成為 Cloudflare 的增量。

•Elastic( ESTC)

Elastic 主要為企業提供搜尋內建解決方案，圍繞搜尋，又延展出了可觀測性（Observability）和安全（Security）服務。2023 年，公司抓住了搜尋和 GenAI 的結合，推出了一系列搜尋相關的產品和服務，其中最核心的是 Elasticsearch Relevance Engine （ESRE）。