引言

基礎設施層

I. 關鍵要點：

• 我們正在見證新的基礎設施正規化的曙光。在現代歷史上，只有兩次完全重新定義了全新的基礎設施和計算堆疊——20 世紀末的網際網路和電信繁榮，以及雲計算和 SaaS 的興起。現在，隨著生成式 AI 的發展，我們正在進入第三階段。

• 生成式 AI 的發展仍處於早期階段。在網際網路建設期間，1996 年至 2001 年間投資了超過 1 萬億美元的資本。目前的生成式 AI 建設在過去兩年中僅投資了 3000 億美元。以此衡量，我們仍處於早期階段。（關於這個話題的更多細節，請參閱我深入比較當前 AI 週期與網際網路泡沫週期的文章，https://kelvinmu.substack.com/p/ai-are-we-in-another-dot-com-bubble）。

• 對推理（inference）的需求才剛剛開始。由於Scaling Law正在放緩，對訓練的需求可能正在成熟（稍後會詳細討論），但對推理的需求才剛剛開始。大致來說，有三個原因：

• 早期採用。企業對生成式 AI 的採用仍處於起步階段，但正在迅速加速。OpenAI  提供了一個有用的指標：儘管過去一年每 token API 成本降低了 10 倍以上，但其收入從 10 億美元增長到 40 億美元的年運轉率，這意味著使用量增加了約 40 倍。*這種增長水平表明我們仍處於採用的早期階段。

• 多模態用例即將推出。目前大多數生成式 AI 應用都是基於文字的。多模態用例（例如，文字到影片、文字到 3D）在很大程度上仍未被開發，但它們對計算資源的需求要大得多。例如，生成 AI 影片所需的能量大約是等效文字文件的 100 倍。如果廣告、媒體和娛樂等整個行業採用生成式  AI ，這將對推理產生指數級的需求。隨著多模態 AI 的最新進展，這可能很快就會實現。

• 模型架構的演變。像 OpenAI o1 這樣的推理模型正在轉向更多的推理時間的邏輯推演（也稱為測試時計算），結合了思維鏈和強化學習。這種架構本質上為模型提供了額外的處理時間來思考和完成任務，但這同時也意味著更高的計算需求。例如，新的 o1 模型每個 token 的成本比 GPT-4o 高出 3-4 倍。隨著越來越多的工作負載轉向這種模型架構，對推理的需求將持續增長。

• 衡量當前基礎設施建設的投資回報率（ROI）是困難的。今年夏天，紅杉發表了一篇文章，質疑 6000 億美元的收入從何獲取，以證明當前 AI 基礎設施建設的合理性。一個合理的解釋是，當今的大部分計算能力都在支援內部專案，而不是新的創收產品——比如 Notion 的生成式 AI 功能或 Klarna 的 AI 客戶服務代理。這些專案提高了運營效率，而不是創造新的淨收入，這使得它們的 ROI 更難量化。作為背景，6000 億美元僅佔全球 100 萬億美元 GDP 的 0.6%——這可能低估了 AI 的長期潛力。

• AI 雲市場正變得越來越分散。

• 雖然超大規模企業（亞馬遜、谷歌、微軟）繼續主導當今的  AI 雲市場，但 CoreWeave、Lambda Labs 和 Tensorwave 等新興企業正在提供具有成本效益的專用 AI 基礎設施。Pitchbook 的 Brendan Burke 估計，這個新的  AI  雲市場目前價值 40 億美元，並將在 2027 年增長到 320 億美元。

• 像 Nvidia 和 AMD 這樣的晶片製造商也在投資這些專業供應商。其中一個原因是，這些晶片製造商希望減少對超大規模雲服務提供商的依賴，而這些超大規模雲服務提供商同時也在開發自己的晶片。例如，谷歌的 TPU 晶片現在已被蘋果等公司採用。AI 雲市場的進一步碎片化似乎不可避免。

• AI 硬體初創公司面臨高資本支出要求。

• 越來越多的初創公司正在為 AI 工作負載設計定製的 ASIC 晶片（例如Groq、Cerebras）。這些公司不僅在晶片開發方面，而且在資料中心建設方面都面臨著巨大的資金需求。

• 硬體初創公司涉足資料中心建設是必要的，因為超大規模公司擁有自己的晶片研發能力，不太可能在其自己的資料中心採用第三方初創公司的晶片。例如，晶片初創公司 Groq 最近宣佈，他們正與 Amarco Digital 合作在沙烏地阿拉伯建設自己的推理資料中心。

• 這些初創公司能否從現有企業那裡奪取市場份額還有待觀察。到目前為止，在這些初創公司中，Cerebras 似乎領先一步，2024 年上半年收入為 1.36 億美元，但這仍然僅佔英偉達資料中心收入的 0.1%。

II. 未來值得關注的趨勢：

• 資料中心 2.0。目前，資料中心的全球電力使用量約佔 1-2%，但預計到 2030 年，這一數字將上升到總電力的 3-4%，主要由 AI 驅動（在美國，這一比例接近 8%）。總體而言，麥肯錫估計資料中心的容量從現在到 2030 年之間以 22%的複合年增長率增長。

• 專門用於 AI 的資料中心與傳統的雲計算資料中心有很大的不同，主要是因為其更高的功率密度，這推動了諸如下一代液體冷卻等創新技術的需求。AI 訓練和推理的特殊需求還要求高頻寬、低延遲的網路連線。這推動了下一代網路和互連技術的發展，以減少多 GPU 叢集中的瓶頸。

• AI 本身可以用於最佳化資料中心，例如在預測性維護、動態工作負載分配和能源效率方面。例如，Phaidra是一家正在研究使用強化學習（RL）進行資料中心自主控制冷卻系統的初創公司。

• Nvidia 在硬體領域的主導地位。Nvidia 現在是全球市值最高的公司，今年納斯達克的漲幅中有 40% 歸功於這一家公司。然而，歷史上很少有公司在整個過程中保持 90% 以上的市場份額。

• Nvidia 在可預見的未來可能會繼續主導市場，但競爭可能會更加激烈。一個競爭對手是 AMD——AMD 的資料中心業務目前只有 Nvidia 的 10%（35 億美元對 308 億美元），但同比增長了 122%。該公司也在大型企業中取得進展——例如，Open AI  最近宣佈將開始使用 AMD 的 MI300，聯想表示對 AMD 的 MI300 的需求創歷史新高。

• 另一個主要的競爭來源是超大規模企業本身。他們的一大優勢是內部對  AI  訓練和推理的巨大需求。在 CSP 中，谷歌領先最多，新的 TPU V5p 比上一代產品提供了 2 倍的 FLOPs 和 3 倍的高頻寬記憶體（HBM）。

• 邊緣 AI 和邊緣/雲協作將獲得更多關注。這裡有一個有趣的事實：全球計算能力（以 FLOPs 衡量）中，不到 1% 由超大規模提供商擁有。雖然這乍看之下可能令人驚訝，但當你考慮到包括筆記型電腦和智慧手機在內的邊緣裝置數量時，這就說得通了。釋放這種潛在的計算能力可能會成為改變遊戲規則的關鍵。我們已經見證了可以在邊緣裝置上部署的小型語言模型（SLMs）的爆發。

• 一些專家認為，最終可以將高達一半的 AI 工作負載從雲端轉移到邊緣。我見過的一個早期想法是構建一個雲/邊緣路由器，可以根據功耗、成本和延遲要求等標準動態地在雲端和邊緣裝置之間路由 AI 工作負載。最後，邊緣 AI 還可以透過減少傳送到雲端進行處理的資料量來幫助推測性解碼。

• 中國在 AI 領域的跟進。圍繞 AI 晶片的出口管制可能會在短期內阻礙中國的進展。但從長遠來看，這可能會迫使中國在基礎設施和模型方面更具創新性。例如，最近有報道稱，中國已經在多個數據中心和 GPU 架構上訓練了一個單一模型，這是首次有國家這樣做。儘管計算能力有限，中國的 LLM 已經證明他們可以與最好的閉源模型競爭。特別是，阿里巴巴的 Qwen 模型和 DeepSeek 模型已經顯示出它們可以與西方的 GPT-4o 等模型相匹敵。這表明，儘管硬體限制可能帶來一些挑戰，但中國實驗室正在找到解決辦法，並繼續保持跟進。

• AI 對可持續性的影響：超大規模企業到 2030 年已做出氣候承諾。例如，微軟設定了到 2030 年實現碳負排放的雄心勃勃的目標。然而，AI 能源消耗的快速增長正將這些承諾推向錯誤的方向。例如，微軟最近報告稱，自 2020 年以來，二氧化碳排放量增加了近 30%，主要由資料中心擴張推動。同樣，谷歌 2023 年的溫室氣體排放量比 2019 年高出 50%，很大程度上也是由於 AI 資料中心。我們認為，這一趨勢將迫使企業決策更加關注可持續性。從長遠來看，那些希望瞭解 AI 的人也需要了解能源市場。

III. 值得關注的初創公司：

• AI 雲和計算：
• Coreweave、Crusoe、FoundryML、Lambda labs、Rescale*、SF Compute、Shadeform*、Tensorwave*、Together  AI

• AI 晶片公司：
• Blaize、Cerebras、D-Matrix、Etched、Groq、Graphcore、Lightmatter、Rebellions、SambaNova、Tenstorrent、Hailo

• 資料中心外設：
• Celestial AI 、Corintis、Liquidstack、Jetcool、Phaidra、Thintronics*、Xconn Technologies*

模型層

I. 關鍵要點：

• 對小型語言模型（SLMs）的關注日益增加。去年，我們預測 SLMs 將出現增長趨勢，但它們的快速進步已經超出了我們的預期。今天，一個 30 億引數的模型可以與原始的 1750 億引數的 ChatGPT 模型相媲美，在短短 24 個月內，引數效率提高了 50 多倍。這一顯著的進步源於更好的壓縮技術（例如，蒸餾、量化、剪枝）和高質量合成數據的使用。2023 年的一篇論文“超越神經縮放定律”研究表明，透過精心選擇資料集並移除低質量資料，可以用小得多的規模實現更好的效能。這是 SLMs 背後的核心理念。

• 因此，邊緣 AI 變得越來越可行。隨著 SLM 效能的提高和邊緣硬體（CPU、NPU）變得更強大，在邊緣部署  AI  工作負載變得越來越可行。如今，7B 模型可以在筆記型電腦上高效執行。值得注意的 SLM 包括微軟的 Phi-3 模型、谷歌的 Gemini Flash 以及 Llama 1B 和 3B 模型。邊緣  AI  還具有提高隱私和安全性、降低延遲和成本的優勢。這特別適用於即時語音識別或離線設定等用例。有關裝置上語言模型的全面綜述，請參閱 Meta 和 Nexa AI 的論文（https://arxiv.org/pdf/2409.00088）。

• 我們正在轉向複合型模型網路。LLM的架構正從大型單體系統演變為較小的、專業化的模型（類似於 MoE 方法）組成的分散式網路。這涉及到一個主模型協調這些較小的、專用模型之間的任務。Meta 最近的研究表明，平行使用多個較小的模型可以持續超越單一的大型模型。這種方法類似於人腦，人腦不是一個單一的均勻結構，而是由海馬體（記憶）、額葉（邏輯）和枕葉（視覺）等專業化區域組成。我們還相信這種架構也將適用於 AI 智慧體（稍後詳述）。

• 模型正朝著更多推理時間的邏輯推演方向發展。OpenAI 的最新 o1 模型標誌著使用諸如思維鏈和強化學習等技術向推理時間的邏輯推演轉變。o1 模型透過試錯學習最優路徑，就像人類解決問題時涉及大量的自我反思和錯誤糾正。這使得模型在複雜的推理任務中表現出色，例如數學、程式設計和科學查詢。然而，這種能力是有代價的，o1 的每 token 價格比 GPT-4o 高 3-4 倍。另一個類似的模型是中國實驗室 DeepSeek 的 R1-lite-preview。與o1 的簡明摘要不同，R1-Lite-Preview 會即時向用戶展示其完整的鏈式思維過程。這種對推理時邏輯推演的日益重視可能會增加對低延遲計算的需求。

• OpenAI 經歷了內部動盪。今年，OpenAI 經歷了很多內部動盪，包括 Sam Altman 作為 CEO 的突然被解僱和隨後的復職。在原始創始人中，只有 Greg Brockman 和 Wojciech Zaremba 仍然留在公司，而像 Ilya Sutskever、John Schulman 和 Mira Murati 這樣的關鍵人物都已離開。儘管面臨這些挑戰，OpenAI 在最新一輪融資中以 1500 億美元的估值籌集了 65 億美元，並有望成為歷史上增長最快的科技公司，遠遠超過了亞馬遜、谷歌和 Meta 的增長速度。

• Meta 的開源策略正在取得成效。Meta 繼續其大膽的開源方法，扎克伯格承諾向 Llama 和 Meta 更廣泛的生成式  AI  計劃投入數十億美元。這種方法被證明是有效的，Llama 模型今年的下載量接近 3.5 億次——比去年增長了 10 倍以上。在 C 端使用者方面，Meta 正在將 LLM 整合到現有的消費者應用程式中，如 Facebook 和 Instagram，以防止競爭對手構建獨立的 LLM 介面，如 ChatGPT 或 Perplexity。在企業方面，Meta 已經與 AT&T、DoorDash 和高盛等大型企業合作。看來，閉源專有模型和開源模型之間的差距已經大大縮小，這在很大程度上要歸功於 Meta 的努力。

• 在過去的一年裡，OpenAI 與其他研究實驗室之間的效能差距已經縮小。儘管 OpenAI 仍然領先，但其主導地位已不如以前顯著。在初創企業中，Anthropic 因其在模型升級、產品釋出和人才引入方面的顯著進展而脫穎而出，並且據傳其收入執行率接近 10 億美元。看來，在 AI 時代，先發優勢可能不會那麼持久。一種假設是，在當今這個互聯互通的世界中，成熟的通訊基礎設施如網際網路和社交媒體使得專有技術和知識的傳播比以往任何時候都要快，從而減少了技術壁壘。因此，模型效能越來越依賴於資本和計算能力的獲取，而不是任何專有技術。在這方面，明年值得關注的一家初創企業是 xAI ——他們已經擁有世界上最大的超級計算機之一，擁有超過 10 萬個 H100（據馬斯克稱，很快將達到 20 萬個）。馬斯克暗示，他們即將推出的模型 Grok 3 可能已經是最先進的，並且可以與 GPT-4o 相媲美。

• 基礎模型公司在短期內可能會保持虧損狀態。據 The Information 報道，OpenAI 的訓練和推理總計算費用預計將達到 50 億美元，超過其 40 億美元的收入。假設推理和託管成本構成了銷售成本的大部分，OpenAI 的毛利率約為 40%。這與其他基礎模型公司的情況一致，但遠低於軟體業務中通常看到的利潤率。

• 低利潤率的一個原因是，模型提供商之間的持續性 token 價格戰，這使得今年的價格下降了 10 倍以上。除了計算成本外，其他支出似乎相對較低，員工工資、一般和管理（G&A）費用以及銷售和營銷費用合計僅佔收入的 40%。展望未來，隨著行業的成熟，基礎模型公司是否最終能夠實現類似軟體的利潤率將值得關注。無論如何，我們認為短期內不會實現盈虧平衡。

• 對模型公司多元化的需求日益增長。隨著基礎模型層的日益商品化，AI 實驗室可能需要多元化其業務。token 價格正在下降，但採用率和收入增長的提高目前有助於抵消這一下降。例如，儘管 token 價格大幅下降，OpenAI 今年的收入仍預計增長 4 倍，而 Anthropic 據傳增長了 10 倍。然而，從長遠來看，模型公司可能需要考慮垂直整合以抵消模型層的商品化。

• 在基礎設施層，OpenAI 正與 Broadcom 和 TSMC 合作開發其首款自研晶片。此外，它還與微軟合作開展“Project Stargate”專案，這是一個 5 GwH 價值 1000 億美元的資料中心計劃。

• 在應用和工具層，OpenAI 正在擴充套件到新產品，如 ChatGPT 搜尋、類似 Perplexity 的搜尋工具和 OpenAI  Swarm，這是一種構建智慧體的框架。為了確保長期增長，基礎模型公司可能需要從純粹提供模型轉向開發工具和終端使用者應用程式。

• 來自中國的模型正在變得越來越好。中國的 AI 實驗室繼續推出令人印象深刻的模型，如阿里巴巴的 Qwen 系列和 Deepseek。阿里巴巴最新的 Qwen 2.5-Coder 系列和 QwQ-32B-preview 是頂級的開原始碼模型，其能力可與 Open AI  和 Anthropic 的模型相媲美。QwQ-32B 預覽版和 Deepseek 的 R1 在 MATH 和 AIME 等流行基準測試中擊敗了 OpenAI 的 o1。

• 規模擴充套件定律可能很快達到頂峰。最近的發展表明，規模擴充套件定律可能很快達到其極限，這些定律歷史上透過更大的預訓練資料集推動了模型的改進。Ilya Sutskever 最近在接受路透社採訪時也表達了這一觀點。大約在同一時間，The Information 發表了一篇文章，討論了 OpenAI 的下一個旗艦模型 Orion 可能無法實現早期迭代中所見的顯著效能飛躍。這種轉變表明，簡單的擴充套件可能正在讓位於模型創新的新正規化。

• 新模型開發正規化：推理（inference）優先於預訓練。展望未來，模型效能將不再那麼依賴於大量的預訓練資料，而是更多地依賴於推理時的高階邏輯推演能力。像 o1 這樣的模型正在使用思維鏈和強化學習，這賦予了模型更高階的邏輯推理能力。除了明顯的效能優勢外，另一個好處是它允許客戶根據任務的複雜性來選擇模型。需要複雜邏輯推理的任務，如併購談判的助手，可以選擇最大限度地利用推理時間的邏輯推理。而像摘要這樣的簡單任務，則可能尋求最小化推理時邏輯推理。這種方法為終端使用者提供了更多的靈活性，並有助於降低總體成本。

• 合成數據的角色。隨著公開可用的訓練資料逐漸耗盡，合成數據將發揮更加重要的作用。合成數據在預訓練和後訓練中的使用越來越廣泛。無論是較小的微軟 Phi 模型，還是 OpenAI  和 Anthropic 的最大模型，都在訓練中融入了合成數據。然而，保持合成數據集的分佈和熵以確保模型的魯棒性是具有挑戰性的部分。

• 無監督/強化學習在模型開發中的作用。現在 LLM 已經內建了一些基礎智慧，我們認為 RL 將在它們的發展中發揮更大的作用。Genie（在 ICML 2024 上獲得最佳論文獎）透過建立一個 110 億引數的“世界基礎模型”展示了這一點，該模型能夠從無監督訓練中生成互動式環境，訓練資料來自未標記的網際網路影片。這種無需任何真實值或標記資料的訓練方式將是大型模型開發的未來。隨著時間的推移，模型將開始在正反饋迴圈中自我改進，解鎖之前不存在的新可能性。

• LLM 的演變反映了人類認知發展的各個階段。第一階段主要依賴於擴充套件和預訓練，類似於胎兒或新生兒大腦的早期發育——專注於擴充套件和構建基礎結構。現在，我們正進入第二階段，模型的“幼兒期”大腦超越了其有機的基礎結構。在這個階段，它透過試錯學習、觀察和積極探索其環境來變得更聰明——這實際上就是 RL。

• 多模態 AI 的進步。多模態 AI 有望成為下一個主要的計算需求驅動力。儘管採用仍處於早期階段，但它正在迅速擴充套件。OpenAI 的 Sora 在今年早些時候釋出時吸引了整個行業的關注。隨後，Runway、Luma、Pika Labs 和 Genmo 等初創公司也推出了自己的文字到影片模型。然而，到目前為止，這些模型的使用主要侷限於專業消費者市場，因為它們缺乏企業級所需的穩健性。另一方面，語音/文字到語音的應用正在企業中獲得顯著採用。這些應用包括內容創作和客戶服務。該領域的領導者之一 Elevenlabs 據傳其收入執行率接近 1 億美元。另一家上市公司 Soundhound（Translink 投資組合公司）預計在 2025 年將產生 1.55 億至 1.75 億美元的收入。

• 專用模型的崛起。隨著通用模型的規模越來越大，我們預計，專用模型也會相應增加。這些模型並不總是基於文字的。一些更有趣的領域包括：

• 時序模型——作為時序分析的基礎模型，如亞馬遜 Chronos，將時間序列資料視為可以使用 transformer 架構建模的“語言”。時間序列模型的一個關鍵優勢在於它們能夠應用遷移學習——利用來自不同領域的多樣化資料集來提高泛化能力。我們認為，時間序列預測的基礎模型代表了一個尚未完全探索的令人興奮的前沿領域。然而，它的主要挑戰在於獲得足夠的訓練資料。與通用 LLM 不同，後者可以依賴公共網路進行預訓練資料，大多數時間序列資料可能被鎖定在企業內部。

• 物理學/世界模型——從定義上講，大型語言模型具有有限的歸納偏見——因此，對現實世界物理學的理解有限。為了解決這個問題，像 World Labs 這樣的公司正在開發能夠理解和與 3D 物理世界互動的模型，類似於人類的空間智慧。這在機器人技術等領域尤為重要。這一任務尤其重要但具有挑戰性，因為我們認為物理世界運作在一個遠比語言世界更高維度的空間中。考慮一個看似簡單的動作，比如從 100 米高的建築物上掉落一個球：雖然重力（9.8 m/s²）是一個已知的基本因素，但許多其他因素如球的重量、空氣阻力（海拔、溼度等）、風等都會起作用。考慮到這些隨機因素，使得理解和模擬物理世界異常具有挑戰性。

• 另一個世界模型的例子是微軟的 Aurora 模型——一個基於超過 100 萬小時的天氣和氣候資料預訓練的環境基礎模型。Aurora 模型在不到一分鐘的時間內生成 5 天的全球空氣汙染預測和 10 天的高解析度天氣預報，其表現優於最先進的經典模擬工具。雖然其最明顯的影響是改善天氣預報，但還有更多潛在應用，如保險和風險評估、金融交易和農業管理。

• 生物學模型——以生物學為重點的基礎模型，如 AlphaFold 3，代表了結構生物學的突破性進展。這些模型可以準確預測複雜生物分子（包括蛋白質、核酸和小分子）的聯合結構，使科學家能夠生成全新的蛋白質序列。在 AlphaFold 等模型出現之前，確定單個蛋白質結構可能需要博士生花費整個研究生涯——通常為 4-5 年。相比之下，AlphaFold 在不到一年的時間內預測了超過 2 億個蛋白質結構，這一成就從根本上改變了我們理解生命基本構建單元的能力。隨著這些模型的不斷發展，它們將革新藥物發現和個性化醫療等領域。有關此主題的進一步閱讀，請參閱 Rob Towes 在 Radical Ventures 發表的這篇 Forbes 文章（https://www.forbes.com/sites/robtoews/2023/07/16/the-next-frontier-for-large-language-models-is-biology/）。

• 從長遠來看，基礎模型可以用於進行科學研究和發現新知識。一個這樣的潛在例子是由東京的 Sakana AI 開發的“ AI 科學家”。AI 科學家是一個全面的系統，用於自動化科學發現。它自動化了整個研究生命週期，從生成新的研究想法、編寫和必要的程式碼、執行實驗到以學術報告的形式呈現發現。正如 AI 開始自己學習程式設計和生成軟體一樣，我們相信 AI 的新興能力將擴充套件到更廣泛的科學知識和發現領域。這樣的進步可以透過加速多個科學學科的發現步伐，從根本上重塑人類進步的軌跡。

III. 值得關注的初創公司：

• 基礎模型/研究實驗室:
• 01.AI、Anthropic、Deepseek、Imbue、MiniMax、Mistral、Moonshot AI、OpenAI、Reka AI、Safe SuperIntelligence、Sakana  AI*、Stability  AI、xAI、Zhipu

• 小型語言模型（SLMs）：
• Arcee.AI、Bespoke labs、Nexa AI、Predibase

• 多模態（影像和影片）：
• Black Forest Labs、Genmo、Higgsfield、Luma AI、Midjourney、Pika labs、Runway ML、Stability AI、Tavus、Twelve Labs

• Multimodal （voice）:  多模態（語音）：
• Assembly AI、DeepL、Deepgram、Elevenlabs、PlayHT、Poly AI、Resemble AI、Suno、Symbl.AI、Udio

• 專用基礎模型：
• Archetype AI、 Cradle、Cusp AI、EvolutionaryScale、Formation Bio、Generate:Biomedicines、Hume AI、Illoca、Luminance、Nabla Bio、Orbital Materials、Pantheon AI、Physical Intelligence、Silurian AI、Synthefy、World Labs

工具層

I. 關鍵要點：

• RAG 是目前大多數公司使用的主要技術方法。根據 Menlo VC 的最新報告，檢索增強生成（RAG）的採用率已增加到 51%，而去年為 31%。與此同時，微調仍然不常見，只有 9% 的生產模型進行了微調。隨著基礎模型的不斷改進，我們預計這一趨勢將繼續有利於 RAG。

• RAG 提供了顯著的優勢，但也帶來了自身的一系列挑戰。RAG 的主要優勢在於將模型的推理層與資料層分離，使響應能夠基於即時的真實世界資料，並最小化幻覺的風險。然而，RAG 仍然面臨諸如缺乏領域特定知識和上下文不足等問題，這可能導致檢索準確性降低。最佳化分塊和檢索在這一點上仍然更多是藝術而非科學，最後一英里尤其難以正確實現。

• 許多人正在將基於確定性的結構與 RAG 結合，以幫助提高效能。為了解決其中的一些挑戰，許多公司正在將確定性結構或本體論與 RAG 結合，以增強效能。例如，知識圖譜在資料點之間添加了一層結構化的語義關係，使得為給定查詢檢索精確和相關資訊變得更加容易。這與傳統的 RAG 形成對比，後者通常僅基於資料點之間的距離來衡量相似性，缺乏更深層次的語義理解。結合這些結構可以提高檢索的整體準確性，特別是在醫療保健、金融服務和法律等對準確性要求較高的領域尤為重要。

• 越來越多的企業選擇內部構建解決方案。Menlo 報告顯示，近一半的生成式 AI 解決方案現在是內部開發的，而去年這一比例僅為 20%。我們聽到的最常見的企業選擇內部構建的原因之一是，他們不願意將資料交給第三方。另一個原因是，希望進行更多的定製以滿足特定的業務需求。隨著開源模型逐漸縮小與閉源模型的差距，我們預計內部構建的趨勢將持續下去。

• 企業面臨的最大瓶頸通常是資料管理和準備階段。現在眾所周知， AI 團隊大部分時間都花在資料準備上，而實際的模型開發和部署時間則較少。組織可獲得的大部分資料都是非結構化資料，佔當今總資料的約 80%。這些資料可以是電子郵件、文件、合同、網站、社交媒體、日誌等形式。將這些資料轉換為可用於機器學習部署的格式需要進行大量的清理和標準化。一旦收集並清理了資料，就必須將其向量化，通常透過利用向量資料庫來實現。這些步驟並非微不足道，需要深厚的技術和領域專業知識。

• 工具層的商業化有時會很具挑戰性。商業化通常很困難，原因包括競爭激烈、開源替代品的可用性以及已有玩家進入市場。例如，儘管 Pinecone 被廣泛認為是向量資料庫的領導者，但它面臨著來自 Milvus（Zilliz）、Weaviate、Chroma 和 Qdrant 等開源專案的競爭。此外，MongoDB 和 Elastic 等主要資料庫公司都引入了各自的向量搜尋功能，進一步加劇了競爭壓力。

• 此外，雲提供商也涉足這一領域。像 AWS Sagemaker、Azure Machine Learning 和 Google Vertex AI 這樣的產品都提供了完全託管的服務。這些端到端的解決方案是構建、訓練和部署機器學習模型的一站式平臺。

• 推理最佳化一直是熱門且競爭激烈的領域。在過去的一年裡，我們看到四家推理最佳化公司被大型公司收購——Run:AI 、Deci 和 Octo AI 被 Nvidia 收購，Neural Magic 被 Red Hat 收購。Deci 的投資者可能表現良好（收購價格為 3 億美元，而總融資額為 5700 萬美元），而 OctoAI 的投資者可能回報有限（收購價格為 2.5 億美元，而總融資額為 1.33 億美元）。

• 其他值得注意的參與者包括 BentoML、Baseten、Fireworks、Lamini 和 Together AI 。其中一些公司選擇透過自己購買 GPU 並提供更全面的解決方案來採取更整合的方法。這些公司是作為獨立的上市公司蓬勃發展，還是最終像他們的同行一樣被收購，仍有待觀察。

II. 未來值得關注的趨勢：

• 評估仍然是生成式 AI 中的一個重要但未解決的問題。為了類比，考慮信用評分，其中像 Experian、Equifax 和 TransUnion 這樣的信用機構評估人類的信用度。評估信用度相對直接，因為決定信用度的因素是明確定義的，且人類的金融行為大致相似。這使得建立標準化的指標成為可能。

• 與信用評分不同，評估 LLM 要複雜得多，因為問答、總結、程式碼生成和創意寫作這樣的應用是多樣化的，且通常具有行業特性。例如，醫療保健所需的評估指標與法律行業不同。因此，沒有一種“一刀切”的指標能夠有效評估 LLM 在所有環境中的表現，這與信用機構使用的標準化方法不同。此外，與基於客觀指標的信用評分不同，LLM 評估涉及諸如創造力和獨創性等主觀因素，這些因素更難以量化。

• 初創公司和 AI 實驗室正在積極應對評估挑戰。一些初創公司，如 Braintrust 正試圖建立一個更加領域無關的端到端平臺，配備自動評估功能。OpenAI  最近也釋出了 SimpleQA，這是一個簡單的評估模型，用於檢查響應的事實性。儘管做出了這些努力，但尚未建立普遍接受的框架來有效評估LLM。

• AI 工具的未來很可能會圍繞智慧體展開。不過，構建支援充滿智慧體世界的基礎架構是第一步。以電子商務智慧體為例——這些智慧體有一天可以代表你自主進行購買，使這樣的智慧體能夠工作遠比僅僅賦予其搜尋和推理能力要複雜得多。它需要一個強大的支援基礎設施：智慧體如何安全地提供憑證？如何確保適當的認證以驗證智慧體是否合法地代表個人行事？需要什麼樣的新支付系統/軌道來促進智慧體交易？我們認為，圍繞智慧體的支援基礎設施，而不是智慧體本身，將成為廣泛採用的最大瓶頸。

• 智慧體之間的協作也將在未來佔據中心位置。就像我們有系統和框架來評估人與人之間的互動一樣，我們也需要類似的系統來管理智慧體之間的互動。需要一個智慧體編排層來協調智慧體之間的通訊。它還可以負責評估智慧體效能、設定防護欄以及確保遵守其預期的授權。隨著智慧體獲得更多的自主權，確保資料安全和隱私將變得越來越重要。將需要新的標準和法規來管理智慧體行為，就像 GDPR 和類似的框架指導人類資料使用一樣。（請參見下圖以瞭解智慧體框架的一個示例）

• 最後，為了讓智慧體在大規模應用上取得成功，我們必須開發有效的反饋和學習機制。智慧體需要從成功和失敗中學習，以不斷改進。這將需要一個強大的反饋系統，使智慧體能夠在保持安全和合規的同時動態改進。

III. 值得關注的初創公司：

• 資料：
• Cleanlabs、Datalogy AI、Hugging Face、Marqo、Scale AI、Shakudo、Snorkel AI、SuperAnnotate、Unstructured.io、Weka、Zillis

• RAG / 模型定製：
• Cohere、Contextual AI、Upstage AI、Vectara

• 向量資料庫 / 嵌入模型：
• Chroma、Milvus、Pinecone、Qdrant、Voyage AI、Weaviate

• 模型服務：
• Anyscale、Baseten、BentoML、CentML、Clika AI、Fireworks、Lamini、Lightning  AI、Modular、OpenPipe、Replicate、TensorOpera、Together AI

• 評估與可觀測性：
• Arize AI、Braintrust、Dynamo AI、Fiddler AI、Galileo、Galileo AI、Observe、Weights and Biases、WhyLabs

• 安全性：
• Calypso AI、Grey Swan、Hidden Layer、Protect AI、Robust Intelligence (acquired by Cisco)、Troj.AI

• 智慧體編排/工具：
• Emergence AI、Langchain、MemGPT、Tiny Fish、UnifyApps

應用層

I. 關鍵要點：

• GenAI 的採用正在迅速增長。Menlo估計，2024 年在生成式 AI 應用上的支出為 46 億美元，比去年的 6 億美元增長了近 8 倍。我們預計，隨著許多目前處於概念驗證階段的專案轉化為全面部署，增長將在明年繼續。這在情理之中，因為當 ChatGPT 在 2022 年 11 月推出時，大多數公司的 2023 年預算已經最終確定。因此，2024 年是公司真正有預算進行 AI 實驗的第一年。展望未來，我們預計 2025 年及以後的 AI 相關預算將進一步擴大。畢馬威對 225 名高管進行的一項調查顯示，83%的受訪者計劃在未來三年內增加對 GenAI 的投資。

• 程式碼生成——在谷歌最近的財報電話會議上，透露出該公司目前有 25% 的程式碼是由 AI 生成的。這個領域的領頭羊微軟 GitHub Copilot 已達到約 3 億美元的年經常性收入（ARR），現在佔 GitHub 收入增長的 40%。包括 Cursor、Poolside、Codeium 和 Cognition 在內的幾家初創公司也已進入市場，共同籌集了超過 10 億美元，以挑戰 GitHub 的主導地位。雖然一些初創公司取得了令人印象深刻的進展（年經常性收入超過 5000 萬美元），但大多數仍處於商業化的早期階段。

• 搜尋——Perplexity 已經成為生成式 AI 領域最知名的新創公司之一，並迅速推出了 Perplexity Finance 和 Perplexity Shopping Assistant 等功能。然而，隨著 OpenAI  推出 ChatGPT 搜尋和 Meta 引入自己的 AI 驅動搜尋引擎，競爭預計將加劇。Perplexity 據傳的 5000 萬美元年經常性收入對於與其創立時間相似的初創公司來說是一個令人印象深刻的里程碑，但這僅佔谷歌 2000 億美元搜尋收入的 0.025%，這既突顯了競爭的規模之大，也表明了其巨大的增長潛力。Perplexity 在廣告領域的推進能否幫助其進一步侵蝕谷歌在搜尋市場的份額，還有待觀察。

• 智慧體——智慧體初創公司正在獲得關注，特別是在客戶支援、銷售與營銷領域的公司。像 Sierra、Maven AGI 和 Ema 這樣的公司瞄準了企業級市場，而 11x、Artisan 和 Style AI  等公司則更多地關注中小企業和中端市場。大型玩家也在進入這一領域，通常採用更廣泛的平臺方法：谷歌有 Vertex AI Agent Builder，微軟有 Copilot Studio Agent Builder，亞馬遜有 Amazon Bedrock，Salesforce 有 Agentforce。目前，我們看到的智慧體只能處理相對簡單的任務，但隨著基礎模型的改進，特別是像 OpenAI 的 o1 模型這樣的高階邏輯推理能力，我們預計它們將變得更加有能力。

• GenAI 正在改變 SaaS 業務模式。Wing Capital 的 Tanay Jaipuria 在他最近的文章中指出（https://www.tanayj.com/p/the-evolution-of-saas-pricing-in），GenAI  正導致公司採用更多基於使用的定價。例如，Salesforce 每次對話收費 2 美元，而 Intercom 每解決一張工單收費 0.99 美元。正如 SaaS 透過將技術創新與商業模式創新（從許可和維護轉向定期訂閱）相結合，徹底改變了軟體行業一樣，我們認為 ，AI 也有潛力推動另一波商業模式創新。

• 企業從生成式 AI 中實現真正的投資回報。AI 正在為企業帶來切實的價值。例如，Klarna 報告稱（https://downloads.ctfassets.net/4pxjo1vaz7xk/161qRVqB2B2N8MYwLl9x5A/abcc53df5acfac3fa4bb36d4621db99c/Klarna_Holding_AB_Interim_Report_2024__ENG_.pdf），其 AI 驅動的智慧體完成了相當於 700 名客戶服務代表的工作。儘管收入增長了 27%，Klarna 還是將其員工人數從 5000 人減少到 3800 人，並計劃進一步減少到 2000 人。這些裁員並非由於增長放緩，而是由於 AI 帶來的效率提升。如果類似的生產率提高（約 5%）被複制在全球 2000 強企業（這些企業共同創造了約 52 萬億美元的收入），潛在的價值創造可能達到 2.5 萬億美元。

• 最終，投資 AI 應用公司與傳統軟體投資並沒有太大不同。在投資 AI 應用初創公司時，我們自問的一個關鍵問題是，基礎模型的改進是否會令初創公司受益或受損。那些主要依賴底層模型實力的簡單包裝公司可能會被淘汰；然而，我們認為那些從深入瞭解客戶旅程和相關工作流程開始的公司可能會受益。這就像製造汽車：首先專注於開發周圍的元件——底盤、內飾、軟體等——然後隨著更好的發動機出現而簡單地進行更換，而不是試圖自己製造發動機。

• 對於一家 AI 原生應用公司而言，其關鍵區別因素與傳統 SaaS 應用公司並無不同——關鍵在於真正理解使用者的需求痛點，滿足他們的需求，併為他們提供愉悅的體驗。AI 只是一個推動者，而不是區別性因素。

• 機器人領域正煥發新機，這得益於開發類似於 LLM 的基礎模型的潛力。最新一代的機器人初創公司正在遠離基於啟發式和規則的程式設計，轉而專注於端到端的神經網路。特斯拉最新的 FSD 軟體就是一個端到端神經網路的例子，主要依賴於視覺和資料，而不是明確編碼的控制。

• 然而，機器人技術繼續面臨顯著的資料瓶頸，研究者正在探索各種技術來應對這一挑戰。

• 雖然模仿學習和遠端操作提供了高質量的資料，但它們可能無法單獨擴充套件。最近，使用影片和模擬進行訓練成為另一個有前景的方向，英偉達 Isaac Sim 和一些初創公司正在這方面進行研究。從概念上講，谷歌的 RT-2 模型透過利用在網際網路規模的視覺和語言資料上訓練大型模型，並使用較小規模的機器人資料進行微調，展示了通用機器人效能的潛力。

• 在模擬中的主要挑戰在於建立逼真的地面實況表示，以最小化模擬到現實的差距。這尤其困難，因為機器人具有多樣的實體和形態，使得資料收集和標準化具有挑戰性。最終，我們認為沒有單一的方法能夠解決所有這些挑戰；需要結合遠端操作、模擬和影片等多種技術才能使其發揮作用。如需進一步閱讀此主題，請參閱 Spectrum.ieee 的文章（https://spectrum.ieee.org/solve-robotics）。

II. 未來值得關注的趨勢：

• “軟體即服務”——AI 不僅為顛覆 4000 億美元的全球 SaaS 市場提供了機會，也為顛覆 4 萬億美元的服務市場提供了機會。如今許多工作涉及重複性任務，使它們成為 AI 驅動自動化的理想候選。考慮到這些市場的規模，潛在影響顯而易見：

• 總計，這代表了約 1.2 億工人和近 4 萬億美元的薪資。對於這一主題的更詳細分析，請參閱 Foundation Capital 的 Joanne Chen 和 Jaya Gupta 的文章（https://foundationcapital.com/ai-service-as-software/）。

• “計算機使用（Computer Use）”是一個重要的轉折點——Anthropic 最近引入了“計算機使用”，這使得開發人員可以指示 Claude 以智慧體方式使用計算機——點選按鈕、輸入文字等。Claude 檢視使用者可見的螢幕截圖，然後計算需要移動多少畫素才能將游標移動到正確的位置點選。（有關計算機使用的深入案例研究，請參閱論文https://arxiv.org/pdf/2411.10323）

• 總的來說，使能 AI 智慧體執行任務有兩種方法。第一種是基於 API 的方法，將任務分解為子任務並透過串聯 API 呼叫來執行。第二種方法，如 Anthropic 的“計算機使用”，是基於 UI 的方法，利用視覺和強化學習直接與瀏覽器互動以執行任務。換句話說，它教會模型像人類一樣使用計算機。雖然後一種方法在較低級別的端到端方法中理論上更簡單，但它需要更多的訓練資料，可能計算成本更高。最終狀態可能是基於視覺的，但目前，可能需要結合這兩種方法的混合方法來最佳化效能和成本。這類似於在全自動駕駛（FSD）領域中發生的情況，完全依賴視覺的端到端神經網路逐漸取代了基於規則的控制。

• 計算機使用是機器人流程自動化（RPA）的一個重要突破。傳統的 RPA 工具由於其脆弱性，經常面臨挑戰，因為當介面發生變化時，工作流程經常中斷，需要持續的維護。透過 Anthropic 的計算機使用功能， AI  模型現在可以適應各種介面，減少了對硬編碼指令碼的依賴。這一突破已經產生了影響：在 Anthropic 宣佈計算機使用後，UiPath 迅速將其 3.5 版 Sonnet 整合到其三個關鍵產品中。這一快速採用強調了計算機使用在推動 RPA 和智慧自動化下一波浪潮中可能具有的變革性。然而，我們認為現在還為時過早——再次使用 FSD 類比，我們認為智慧自動化仍處於 L1/L2 階段。有關 RPA 的更詳細討論，請參閱 A16z 的 Kimberly Tan 的文章（https://a16z.com/rip-to-rpa-the-rise-of-intelligent-automation/）。

• 新的硬體形態。今年，出現了旨在補充甚至取代智慧手機的新型硬體形態。儘管引起了關注，但迄今為止成功有限。例如，儘管Humane 的 AI 驅動的可穿戴別針籌集了 2 億美元的資金，但其終身銷售額僅略超過 900 萬美元。更糟糕的是，據報道，每日退貨率已經超過了新銷售額。同樣，Rabbit R1 也遭遇了極其糟糕的評價。

• 一個顯著的成功案例是第二代 Meta + Ray-Ban 智慧眼鏡。這些裝置在短短幾個月內就超過了前一代兩年的銷售數字，並獲得了普遍的好評。與此同時，主要的研究實驗室和技術巨頭也在探索這一領域。例如，OpenAI 最近聘請了前 Meta AR 硬體負責人 Caitilin Kalinowski，負責其機器人和消費硬體。此外，蘋果設計偶像 Jony Ive 已與 Sam Altman 合作開展一個新的 AI 硬體專案。將大型生成式 AI 與新的硬體形態結合的潛力代表了一個令人興奮的前沿。

• 具有增強的推理時能力的模型可以應對日益複雜的科學挑戰。在這個領域中，最有希望的機會在於藥物發現/生物醫學、材料科學和物理/機器人技術。作為對開源的重大支援，Google DeepMind 最近釋出了 AlphaFold 3 的程式碼和權重。這一意外宣佈發生在系統建立者 Demis Hassabis 和 John Jumper 獲得 2024 年諾貝爾化學獎後的幾周內，以表彰他們的貢獻。

• 在科學領域，初創公司可能會追求多種商業化路徑：有些選擇將其工具作為 SaaS 平臺提供，有些則採用許可證模式，還有一些可能會作為主要智慧體，直接將其解決方案推向市場，以捕獲更大的 TAM（Total Addressable Market，總可定址市場）。

• 正如 SaaS 從橫向解決方案發展到垂直解決方案，我們預計 AI 領域也會出現類似的轉變。在一個市場的生命週期早期，由於橫向工具對廣大市場具有廣泛的吸引力而迅速獲得關注。然而，隨著市場的成熟和競爭的加劇，初創公司通常會轉向專業化的、垂直的或特定領域的解決方案以實現差異化。在 AI 領域，這種向垂直化的轉變似乎比在 SaaS 中更快，原因有幾個關鍵點：

• AI 依賴特定領域的資料：當 AI 在特定行業或用例的資料上進行訓練時，其表現最佳。許多行業擁有高度專業化的資料集，使得專業化或垂直化訓練更加有效。例如，在 RAG 中，理解領域上下文對於檢索準確性至關重要。

• 擁擠的橫向市場：與 SaaS 早期不同，許多已有的市場領導者已經在大力投資生成式 AI ，並推出橫向解決方案。這些市場領導者通常已經是他們目標用例的記錄系統，無論是 Salesforce 的 CRM，SAP 的 ERP，或其他系統。這使得市場領導者在分銷和整合方面具有顯著優勢。對於初創企業，瞄準垂直化或專業化的市場可能使它們能夠開闢出更可防禦的市場地位，從而提高成功的機會。

• 關鍵行業的監管嚴格性：受監管的行業如醫療保健、法律和金融有嚴格的監管要求。這些要求最有效地透過針對每個行業獨特需求的垂直化方法來滿足。

• GenAI 消費者公司尚未爆發。今年，許多領先的 AI 消費者初創公司最終被收購。例如，我們在消費者 GenAI 領域觀察到了兩起人才收購——Google 與 Character.AI 的交易和 Microsoft 與 Inflection 的交易。我們認為，消費者 GenAI 應用尚未爆發，主要原因是兩個：

• 首先，除了像 ChatGPT 和 Perplexity 這樣的聊天機器人之外，還沒有出現殺手級的消費者使用案例。雖然 Character.AI 可以說已經實現了產品與市場的契合，但其相對狹窄的人群吸引力——超過一半的使用者年齡在 18 到 24 歲之間——限制了其更廣泛的發展潛力。我們認為，下一個變革性的消費者應用將是一個功能強大的個人助手（一個更智慧的 Siri），長遠的願景是為每個人提供個性化的數字孿生。

• 其次，成功的消費者應用通常在初期需要病毒式採用，有時由公司提供的前期使用補貼推動。然而，目前的 token 成本——尤其是多模態模型的 token 成本仍然過高，無法實現大規模補貼的經濟可行性。隨著 token 成本的降低和/或更多工作負載轉移到邊緣，我們預計，新一代的生成式 AI 消費者公司將會出現。

III. 值得關注的初創公司：

• 開發者 / 程式碼生成:
• Augment Code、CodeComplete、Codeium、Cognition、Cursor、Magic.dev、Poolside、TabbyML、Tabnine、Tessl

• 企業生產力：
• Consensus、Dust.AI、Exa、Fireflies.AI、Glean、Highlight、Mem、Otter.AI、Read.AI、Taskade、Wokelo AI

• 消費者：
• Genspark、MultiOn、Liner、Ninjatech.AI、Perplexity、Simple AI、You.com

• 多模態：
• Black Forest Labs、Captions、Coactive、Creatify、Deepbrain、Descript、HeyGen、Ideogram、Luma、Openart.AI、Opus Clip、PhotoRoom、Runway、Synthesia、Viggle AI

• 下一代 RPA：
• Automat、Caddi、HappyRobot、Orby、Sola、Tektonic AI

• 通用機器人：
• ANYbotics、Bright Machines、Field AI 、Hillbot、Path Robotics、Physical Intelligence、Skild AI、Swiss-Miles、World labs

• 人形機器人：
• 1x Technologies、Figure AI

• 通用智慧體 / 補全助手：
• DeepOpinion、Ema、FactoryAI 、Gumloop、Jasper、Lyzr、Relevance AI、Sierra、Squid AI、Stack AI、Tektonic AI、Wordware、Writer

• 人力資源/招聘：
• Converz AI、Eightfold、Jobright.AI、Mercor、Micro1、Moonhub

• 客戶支援：
• AptEdge、Cresta、Decagon、MavenAGI

• 銷售和市場：
• 11x、Adsgency、Artisan AI、Bounti. AI、Connectly AI、Typeface、Style AI、Mutiny、Nectar AI、Nooks、Omneky、Rox、Simplified

• 產品設計與工程：
• Ambr、Skippr、Uizard、Vizcom

• 晶片設計：
• Astrus、Mooreslab

• 簡報編輯：
• Beautiful.AI、Gamma、Tome

• 垂直領域——醫療保健：
• Abridge, Ambience Healthcare、Atropos Health、C AI r Health*、Hippocratic AI、Hyro、Nabla、Scribenote、Segmed.AI、Slingshot AI、Suki AI、Tennr

• 垂直領域 – 財務和採購：
• AskLio*、Auditoria. AI、Finpilot、Hebbia、Klarity、Kipoparts、Linq Alpha、Menos AI、Rogo、Spine AI *

• 垂直領域——法律：
• Casetext (Thomson Reuters)、Cicero、EvenUp、Genie AI、Harvey AI、Leya、Robin AI、Solomon AI, Solve Intelligence*、Spellbook/Rally

• 垂直領域——教育和語言：
• Elsa、Eureka Labs、MagicSchool AI、Pace AI、Praktika、Riiid、Sana、Speak、Uplimit*

• 垂直領域——遊戲和娛樂：
• Altera、Inworld AI

• 垂直領域——合規：
• Greenlite、Norm  AI

• 垂直領域——房地產：
• Elise AI

• 垂直領域——汽車維修：
• Carvis. AI、Revv

AI投資與併購

AI投資：

• 截至今年（YTD）的 AI 投資已超過 600 億美元，佔所有風險投資的三分之一以上。最大的融資輪次繼續集中在基礎設施和模型層，主要融資來自 OpenAI（66 億美元）、x AI（50 億美元）、Anthropic（40 億美元）、SSI（10 億美元）和 CoreWeave（10 億美元）。不斷增長的計算需求仍然是關鍵驅動因素，僅 OpenAI 今年預計就將花費 30 億美元用於訓練計算。

• 一些應用公司，特別是在程式碼生成領域，也籌集了大量資金，因為他們正在預訓練自己的程式碼生成模型。其他獲得投資者廣泛關注的領域包括 AI 晶片、 AI 雲、機器人基礎模型和企業 AI 。要檢視今年籌集超過 1 億美元的 AI 初創公司完整名單，請參閱 TechCrunch 的文章（https://techcrunch.com/2024/11/15/heres-the-full-list-of-44-us-ai-startups-that-have-raised-100m-or-more-in-2024/）。

• 投資者對 AI 初創企業的需求依然強勁，許多公司在其生命週期的早期就獲得了大量資金。像 SSI 和 World Labs 這樣的初創公司已經達到了獨角獸地位，這得益於其創始團隊的卓越背景。儘管整體 AI 估值仍然很高——平均收入倍數為 26 倍——但由於大量新的初創公司在這一領域建立，投資者變得更加挑剔。例如，最近的 YC 夏季批次創業公司中中， AI 初創企業佔 75%。

併購

• “反向收購僱傭（reverse acquihires）”的興起。即現有公司僱傭初創公司大部分團隊，有時還會獲得其技術許可，從而繞過全面收購的複雜性。這種策略使大型科技公司能夠在避免監管審查的同時增強其 AI 能力。關鍵例子包括：

• 微軟 / Inflection AI——微軟從 Inflection AI 招募了關鍵人員，最著名的是執行長 Mustafa Suleyman，他現在負責微軟的整個 AI 產品組合，包括 Copilot、Bing 和 Edge，並直接向納德拉彙報。鑑於 Mustafa 角色的範圍，這個價格標籤可能是值得的。

• 亞馬遜 / Adept AI——亞馬遜收購了 Adept AI 三分之二的員工，包括執行長 David Luan，並獲得了該公司基礎模型的非獨家許可。該公司以 2500 萬美元的價格達成了許可協議，而其投資者，此前向公司投資了 4.14 億美元，將大致收回他們的投資成本。

• Google / Character.AI——透過此次收購，Google 迎來了 CEO Noam Shazeer、總裁 Daniel De Freitas 以及 Character.AI  約 30 名員工，這筆交易的估值為 27 億美元，超過該公司上次估值的 2.5 倍。

• 今年的總併購活動（估計約為 20 億至 30 億美元）相對較為平靜。

  這與去年類似，去年只有三筆重大收購（MosaicML、CaseText、Neeva）。有趣的是，今年 8 筆知名收購中有 5 筆是在工具層，其中 4 筆在推理最佳化領域（OctoAI 、Deci、Run:AI 、Neural Magic）。知名的收購包括：

• Snowflake 收購 Datavolo（金額未披露）
• Red Hat 收購 Neural Magic（金額未披露）
• Nvidia 以約 2.5 億美元收購 Octo AI
• Nvidia 收購 Deci，金額約為 3 億美元
• Nvidia 以約 7 億美元收購 Run: AI
• DocuSign 以約 1.65 億美元收購 Lexion
• 思科收購了 Robust Intelligence（金額未披露）
• Canva 收購了 Leonardo.AI （金額未披露）

• 短期內，由於收購方和初創公司之間的期望差異，我們可能會看到有限的併購活動。儘管收購方興趣濃厚，但由於估值預期的差距，併購活動可能仍會受到限制。一家領先的 SaaS 公司的企業發展主管指出，雖然他們對收購 AI 初創公司感興趣，但通常存在顯著的估值差距。現有收購方認為，由於他們已有的客戶基礎和分銷優勢，他們應該獲得收購折扣，而 AI 初創公司及其投資者則期望獲得溢價，部分原因是市場估值較高。這種期望的不匹配可能會繼續抑制短期內的併購活動。

• 併購整合可能會在 AI 週期的末期發生。在電信/網際網路時代，大多數併購交易發生在十年的後半段。僅 1999 年一年，就有超過 3 萬億美元的併購交易。通常，當經濟變得更加成熟，贏家基本確定時，整合就會發生。今天 AI 領域缺乏顯著的整合，這也表明我們仍處於 AI 發展的早期階段。

7

其他 AI 趨勢：主權 AI 、版權和法規

主權 AI：

• 隨著 AI 的普及，主權 AI 的概念正引起越來越多的關注。許多政府的核心關切是，他們是否願意讓敏感資料在像 ChatGPT 這樣的平臺上處理，而這些平臺由其他國家控制。更廣泛的地緣政治裂痕在 AI 世界的微觀層面上日益顯現，導致不同地區出現了各自獨立的 AI 生態系統。

• 一個關鍵的考慮是：主權 AI 將在 AI 堆疊的哪一層出現？當前的發展表明，它主要將在基礎設施和模型層顯現。對於投資者來說，這為支援特定地區的初創公司提供了獨特的機會，因為全球各地正在形成不同的生態系統。成功不一定需要支援全球領導者；區域冠軍也能在本地市場中脫穎而出。

• 讓我們簡要回顧一下各主要地區的一些 AI 發展和戰略：

• 美國：美國在生成式 AI（GenAI）的所有技術棧層面上繼續引領創新。像 OpenAI 、Anthropic 和 Meta 這樣的主要 AI 實驗室在深厚人才庫和世界級學術機構的支援下，主導了技術進步。在基礎設施方面，美國的超大規模雲服務提供商提供了無與倫比的計算能力，而 Nvidia 在硬體方面保持領先地位。這種整合的生態系統使美國在短期內至中期內具有顯著優勢。

• 中國：為應對半導體出口管制，中國正優先發展其國內晶片產業。5 月，政府宣佈設立 475 億美元的國家半導體投資基金，以增強其晶片產業。儘管硬體方面落後，中國的 LLM，如阿里巴巴的 Qwen 和 DeepSeek，仍然具有高度競爭力。令人驚訝的是，中國在生成式 AI 採用方面處於領先地位，83%的公司正在測試或實施該技術——超過了美國（65%）和全球平均水平（54%）。

• 歐洲：歐洲的嚴格法規，如歐盟 AI 法案，可能會抑制 AI 創新。法規已經導致包括 Meta 和 X 在內的美國科技巨頭推遲在該地區的 AI 部署。蘋果也因類似原因決定不在歐洲推出其最新 iPhone 的 Apple Intelligence。儘管歐洲擁有 Mistral AI 等傑出實驗室，但它們目前是否有能力獨立與美國的雲服務提供商和 AI 實驗室競爭仍不清楚，尤其是在監管障礙的背景下。

• 日本：日本在資料中心基礎設施方面正經歷顯著增長。甲骨文最近宣佈將投資 80 億美元建設新的資料中心，緊隨微軟 30 億美元的投資承諾。在模型層面上，Sakana AI  已成為關鍵參與者，最近完成了 2 億美元的 A 輪融資（Translink 是投資者之一）。日本政府透過寬鬆的監管和強有力的支援來促進 AI 創新，認識到 AI 是應對老齡化人口和日益增長的自動化需求的關鍵技術。巨大的市場機遇加上政府的支援，使日本成為 AI 創新和初創企業的有前景市場。

AI 和版權：

• 隨著生成式 AI 內容變得越來越普遍， AI 與版權法的交匯正成為一個關鍵問題。最近的爭議，如蘋果、英偉達和 Anthropic 被指控未經許可使用 YouTube 影片訓練  AI  模型，突顯了智慧財產權侵權的擔憂。同樣，環球、索尼和華納等主要唱片公司正在起訴 Suno 和 Udio 等 AI 初創公司，原因是這些公司使用受版權保護的音樂生成內容。這些糾紛凸顯了創新與保護創意資產之間的緊張關係。

• 新聞行業也在應對這些挑戰。新聞集團最近因涉嫌虛假歸屬和與其出版物相關的幻覺問題起訴了 Perplexity AI ，同時與 Open AI 達成了 2.5 億美元的合作伙伴關係，以提供對其檔案的訪問。這些舉措反映了 AI 對傳統媒體帶來的風險和機遇。

• 儘管存在這些爭議，一些平臺正在利用 AI 來增強創造力和合規性。例如，Spotify 正在使用生成式 AI 來個性化使用者體驗，同時遵守版權法。這表明，只要存在明確的框架， AI 和智慧財產權可以共存。

• 一些公司正在努力解決這個問題。一個有趣的初創公司是 Tollbit，它透過幫助出版商將其內容商業化，來彌合出版商和 AI 開發者之間的差距。另一個是 ProRata. AI ，它正在開發歸屬技術，以實現對內容所有者的公平補償。在創新與保護創作者權利之間取得平衡將是未來幾年的關鍵話題。

AI 法規：

• 歐盟 AI 法案發布了此類法規的首個全面框架，根據風險級別對 AI 系統進行分類：不可接受、高、有限和最小。被認為“不可接受風險”的系統，如政府的社會評分或操縱性 AI 將被禁止，而關鍵領域的“高風險”系統將面臨嚴格的要求。

• 關鍵條款包括強制性合規評估、強有力的文件記錄和歐洲 AI 委員會的監督。不合規可能導致最高 3000 萬歐元或全球收入 6% 的罰款。

• 2024 年 11 月連任後，特朗普宣佈將在上任後廢除拜登的 AI 行政命令。特朗普政府認為，現有的規定抑制了創新，給企業帶來了不必要的負擔。相反，他們主張採取更有利於行業的做法，強調自願指南和減少聯邦監管，以促進 AI 的發展。

結語

---