01.
搜尋是 LLM 初期最大的 Killer App

張小珺:對於 Perplexity 的出現,國外 Google、國內百度這類傳統搜尋公司有什麼樣的應對策略嗎?
Guangmi Li:Google 出了一個 SGE 產品,包括 Overview,但好像口碑不是很好。百度好像還沒有動作,國內好像有一個秘塔。但國內有個很現實的問題是內容是割裂的,因為中國過早的進入了移動網際網路時代,小紅書的內容很難檢索、微信的內容也很難檢索,甚至知乎的都不一定那麼開放。高質量內容的有效性是比較少的。百度搜索出來的首頁裡,百度自己的內容佔很大比例,所以中國的內容的割裂性和海外的這種 PC 形態主導模式的區別是比較大的。

02.
AI-native 應用爆發了嗎?

03.
GPT-5 與模型格局變化

張小珺:Benchmark 上看國內模型是追上來了。
Guangmi Li:模型評估是很難的,就像評估一個人一樣。Benchmark 的題目全是公開的,也都可以圍繞題目做提前的充分訓練。可以理解為這個榜單已經被 Hack 掉了。另一方面是蒸餾,國內模型做蒸餾還是比較多、比較兇的,很多人在 distill 頭部模型公司的資料。最終模型的經濟價值還是取決於是否能做任務。國內模型這麼多,其實也挺難說哪家是真的好,今天可能還是模糊的狀態。短期模型能力是不決定勝負的,還是真正看誰先做出 GPT-4 水平的模型。但是做出來 GPT-4 水平的模型又會怎樣呢?下一階段可能會是,哪家公司先能有 3000-5000 萬 DAU 的產品佔住心智,留存好、商業模式跑通,這個比較重要。
04.
大模型是一個好的商業模式嗎?
張小珺:接下來我們來聊聊大模型的商業模式和壁壘。大模型是一個好的商業模式嗎?
Guangmi Li:目前肯定沒有廣告平臺的商業模式好,訂閱還是一個比較傳統的商業模式。
ChatGPT 現在是 1 億多的 DAU,假設 10% 的付費使用者,那就是 1000 萬付費使用者,訂閱 200 美金一年,總數就是 20 億美金。假如未來能翻幾倍,那相比 Google 廣告平臺一年 2000 多億美金的營收,也還只是 Google 營收的 1%- 2%,是比較小的。
廣告平臺是一個非常成熟的商業模式,每新增一個使用者,在未來 6- 12 月肯定是能把新增使用者花費的成本賺回來的,這個 ROI 是能算得很清楚的。
但大模型投入,購買 GPU 的 ROI 是沒法計算而且很難分析的。因為這裡面兼具著很多科研屬性,而且失敗率比較高,失敗的成本其實是 GPU 的時間,一張 GPU 執行一個小時的成本假設是 3 美金,那一張卡一個月可能就是 200 多萬美金成本。用不好 GPU 就是在浪費成本。
但從另外一個角度思考, GPT-4 當年的訓練成本假設是 2 億美金,OpenAI 已經透過 ChatGPT 早就賺回來了這個錢,單看 ChatGPT 這個產品好像是盈利性很好的,他們的虧損主要還是在探索新的模型技術上。
這就很像藥企的新藥研發,也許 GPT-5 還能發現下一個新藥,也能幫 OpenAI 賺更多的錢,但從全球範圍看,可能也只有 2-3 家模型公司透過賣模型可以把訓練成本賺回來。其實很多模型公司連訓練成本還是賺不回來的。
新事物的商業模式總是要慢一些。比如 AI Agent 落地後會不會顛覆廣告平臺?使用者讓一個 Travel Agent 幫忙規劃一個義大利的旅行計劃,使用者的精力和注意力是有限的,其實是被迫看了很多廣告。那如果有一個 Travel Agent,其實就不用看太多廣告了,而是讓 Agent 幫忙比價、談價。這對傳統廣告平臺是有很大顛覆效應的,傳統的廣告平臺是建立在人的注意力和精力是有限的情況下,但未來 Agent 是 7* 24 小時工作。
包括之前播客提到未來能不能有一個 value-based 的定價,類似於在電商平臺賣掉 1 萬塊錢商品要給電商平臺付 5 個點左右的抽成。那未來用 ChatGPT 的 Agent 增加了 1 萬塊錢每月的產出,給 OpenAI 付 500 塊錢, 對應 5% 的抽成好像也合理。
而且今天模型的 API 切換成本是不高的,使用者很容易換,也因此很容易產生價格戰,整體來看感覺還不是一個最好的商業模式。
張小珺:聽起來最後好的商業模式還是建立在產品和應用上,那會是什麼樣的產品?如果 AI 助手的產品都是幫助使用者節約時間,那它就讓廣告投放天然會變得比較差?
Guangmi Li:是的,任何一個偉大的公司都是建立在極好的商業模式之上的。廣告、類似 Apple 這種科技消費品、公有云平臺,都具有規模效應,包括電商平臺。AI 公司想成為偉大公司,還是要有極好的商業模式。今天商業模式的 0 到 1,這個 1 我覺得還是沒有跑通的。
張小珺:產品角度跑通了嗎?AI 助手是不是一個好的產品形態?
Guangmi Li:不知道,核心還是看是不是足夠聰明。如果足夠聰明,那就相當於 AGI 來了。很多商業模式都會從本質上發生變化,廣告平臺也發生變化了。
張小珺:大模型的壁壘在哪裡?
Guangmi Li:壁壘是明牌。第一階段就是 GPU,第一梯隊如果沒有 3.2 萬卡,今年就很難在矽谷坐穩第一梯隊。但其實背後更核心的點,是要具備 30-50 人的核心人才團隊。今天很難再重新 build 一個像 xAI 一樣團隊了,因為人才收斂比較快的,最後可能還是一個綜合的壁壘。比如說像好萊塢,有沒有工業體系和成熟的組織方式決定了效率。如果給了卡,也投入很多錢,但最後科研的效率很低,那也很容易掉隊。
張小珺:現在很多人開始說 scaling law 不一定是唯一的路徑,或者是錯誤的路徑。你覺得會有不一樣的路徑能走向 AGI 嗎?
Guangmi Li:Scaling law 是最簡單的路徑了,因為簡單粗暴地懟 GPU 就能通往 AGI,如果成功就可以造福人類,失敗也是科技巨頭買單,那其實是應該繼續加大投入的。
很多人也在關心另類的架構,其實肯定 OpenAI 是更關心另類架構的,新的架構 OpenAI 應該全都試過了,但至今是沒有發現其他新的、真的 work 的路徑的。如果有,大家肯定就撲上去了。今天還有很多人質疑 transformer ,其實是不是 transformer 也不重要了。最重要的還是什麼架構既能滿足持續的 scaling up、又能具有通用的泛化能力,這兩個能力是 transformer 最大的優勢。但 transformer 今天最大的缺點是 data hungry,其次是 compute hungry,要消耗很多的資料,消耗很多的卡。data 和 compute 效率是頭部模型公司目前在解決的。有可能未來的架構還是以 transformer 一個底座,有本身優秀的特性。上面加一些能讓 data、compute 更 efficient 的新架構。
這裡有一個高賠率的問題,是研究怎麼提高 data 和 compute 效率的問題,讓小樣本資料也能取得很好的效果。比如教一個小學生解方程,可能教個幾十次慢慢就能教會了。但是今天要教給模型,可能要教幾萬次。隨著模型能力變強,可能未來幾百個也就夠了,甚至說模型能力更強了之後可能教他兩三個就夠了,這就是一個數據的效率吧。其實在模型架構角度,像 OpenAI、Anthropic 其實對 transformer 的動刀幅度已經很大了,比如馬車早已經沒有了馬,已經變得四不像了。
其次也要看大家對 AGI 的預期。AI 並不完全需要像人,人機互補是更重要的。比如 AI 很擅長資料吞吐量特別大的工作,可以並行讀取、加工很多的資料。而且 AI 比人更擅長學習,能從大量的資料中找到最大公約數。今天 AI 資料量小的時候是不如人的,但 AI 也有更擅長,比如它可以 7* 24 小時工作、提供經濟價值。如果邏輯推理能力提升之後還可以 7* 24 小時幫使用者去執行推理的工作。
只要能創造經濟價值就好了,不一定需要完全 follow 人的工作,馬車也沒有馬,就是輪子,效率也比較高。AGI 即便無法實現,下限也是非常高的。AIGC 在資料量很大、套路很多的領域是更有優勢的, AI 提供了智慧的勞動力,人是智慧的創造力。
基於 scaling law 讓模型變大其實主要是在探索智慧的邊界,並不是模型一定要保持一直很大的狀態。未來人們把模型變小、進行大規模商用的速度也會是很快的,是一個時間和工程的問題。
張小珺:在大模型的應用側,除了 AI 軟體,其實還有通用機器人和無人駕駛,你怎麼看待這兩條腿的落地?
Guangmi Li:通用機器人的大腦未來就是多模態大模型的底座,再加一些針對機器人資料的 fine tuning,我覺得是不存在獨立的機器人大腦模型的,其中有一個難點是怎麼從大腦的智慧規劃能力轉化為控制訊號,這是未來需要大規模鋪設裝置基礎上才能繼續做的。矽谷的通用機器人公司,除了 Tesla 外,都不具備製造硬體本體的能力,硬體大機率還是中國公司的機會。控制部分比較難,中國的供應鏈優勢還是非常強的。
還有個點比較有趣的是今天想做通用機器人的公司還沒有一家能定義出來一個真正好的場景的,所以大家就只能先把通用機器人開發出來,就像當時個人電腦開發的過程一樣。大家也不知道怎麼用,最後大家發現 PC 的第一個場景是報稅,於是企業內部報稅先用起來了。
所以有可能通用機器人明年可以大規模的做出來讓大家去試,有可能餐廳老闆我能用把機器人起來,或者酒店老闆說我能用起來,到最後就是大家去試場景的過程。
張小珺:通用機器人和無人駕駛哪個會落地的更快?
Guangmi Li:自動駕駛更快。Tesla 團隊是比較自信的,覺得可能 2 年內可以結束戰鬥,通用機器人可能還需要 5 年。因為自動駕駛是一個限定領域,總共有幾個 action:往前走、剎車、左轉、右轉。但通用機器人的目標還沒有定義清楚。而且無人駕駛領域 scaling law 和成長速度還是比較快的,也比較期待接下來 8 月 8 日 Tesla Robotaxi 的釋出,可以看看到時候還有沒有方向盤,如果沒有方向盤那是真的比較自信了。
張小珺:FSD 這一年有什麼進展?兩年內結束戰鬥能結束到什麼程度?
Guangmi Li:從 Palo Alto 開車到三藩基本不用碰方向盤了,甚至不用碰方向盤了。這已經是一個挺大的進步了,FSD 的安全性已經比人要高很多了。FSD 的終局可能是Tesla 一部分車型可以沒有方向盤了,這樣的話它就可以重新定義“車”這個產品了。
05.
科技巨頭們的 AI 進展
張小珺:我們接下來聊聊過去半年巨頭都發生了什麼。OpenAI 變化也很大,Ilya 離開了,也造成了一個小的 OpenAI 離職潮,這種離職風波對這家公司影響大嗎?可以先講講怎麼看 Ilya 的離開?他的離開對於 OpenAI 的影響大不大?
Guangmi Li:有兩派觀點,一派是認為 Ilya 過去幾年貢獻不是很突出,另外一派認為 Ilya 的 research taste 非常好,講的都是未來三五年決定性的事情。
我感覺 Ilya 的離開對於 OpenAI 幾乎沒有任何影響,OpenAI 最核心 100-200 人是沒有變化的。其他的公司像 xAI、Anthropic,或者其他模型公司想挖人幾乎是挖不動 OpenAI 最核心的人的。新加入的人主要還是圍繞產品、商業、安全這些方面。最核心的底子是非常穩且非常強的。
張小珺:最近 Apple 舉辦了釋出會,大家的關注度比較高。你怎麼看 Apple 這次的釋出?
Guangmi Li:Apple 還是很穩的,未來三年手機可能還是人們最方便、最可信的裝置。今天好像看不到哪個裝置真的能夠替代手機。之前出現了很多 AI 消費裝置,但更多還是一個補充。對蘋果最重要的一個判斷是 AI 的 feature 能不能帶來手機的換機潮?這個是對 Apple 商業上最重要的一個判斷。其次是能夠加上什麼樣的新 feature?比如記憶體很大、端側模型能力足夠強,能夠刺激使用者願意買一個新的手機,或者 Siri 真的變得極其聰明瞭、有其他的 features 出現,促使使用者去買一個新的手機才是一個更大的變化。
矽谷的科技巨頭股價都已經漲了那麼多,真的要挑一個能用媽媽養老的錢買的公司股票,我可能還是願意買 Apple,雖然估值也不便宜。
張小珺:為什麼 Apple 這次釋出會以後股價大漲了 7 個點?
Guangmi Li:因為大家發現 OpenAI 沒有顛覆巨頭,並且最後都要求著巨頭。
張小珺:Google 呢?
Guangmi Li:Google 的模型進展好像是不是很樂觀。從 Gemini 1.5 之後大幅的提升是沒有的。Google 的流量優勢還是很強的,但好像模型還是差一點意思。不知道具體原因是什麼。
張小珺:英偉達呢?
Guangmi Li:英偉達現在 3 個 T 的市值和股價已經提前 price-in 了未來一年半到兩年的預期。大家對英偉達的股價爭議還是比較大的。
其實今天從股價角度討論英偉達已經超出了可分析性,有特別多人對英偉達極其有信仰,其實越來越多人今天討論英偉達和 2021 年討論比特幣一樣,都在討論信仰。但確實從實際角度來講,英偉達沒有競爭對手。全球範圍的模型公司 train 模型,除了 Google 用自己的 TPU train model 以外,幾乎所有人都是用 GPU 來 train LLM 大模型。未來兩三年的競爭格局也是極其穩的,不太會有新的公司,完全顛覆英偉達了。
但是 AI 的變化是很快的,敘事上變化也是很快的,可能會影響大家對它的預期。長期英偉達肯定還是極其重要的公司,是整個 AGI 基建中最關鍵的一個要素。就像 Elon Musk 說的 GPU 定生死,英偉達還是一個最重要的角色。
張小珺:Amazon 呢?
Guangmi Li:我們之前有一個感覺是模型 to 企業側最大的客戶是雲平臺,因為雲與企業建立了最深的信任。先前也有說法是在大模型上花一塊錢,就會在雲上帶來 5 塊錢的營收。我們一直想把這個假設調研清楚,但是一直沒有找到太多的 facts。企業除了測試以外,在 cloud spending 層面還沒有大規模的新東西出來,因此可能還是需要花一些時間。但是雲還是很穩的,很多企業客戶不是直接呼叫 GPT、Claude 的 API,而是調雲廠商的 API。因為雲更穩定,可信度更高。Azure 之前的聲音很大,但比較下來 AWS 的技術積累與客戶積累還是很 solid 的。
張小珺:Meta 呢?
Guangmi Li:Llama 3 400B 的模型一直還沒有發出來,據說是內部還沒搞清楚 MoE 怎麼做。Meta 好像一直在 train,train 到一個好的結果再發出來。這個模型不一定會開源了,因為這麼大的模型如果再開源,很多人是用不起來的,而且成本比較高,是一個 400B 的 dense model。
張小珺:微軟呢?
Guangmi Li:首先,Copilot 距離先前的預期還是要差一些。我印象最深的還是微軟和 OpenAI 提出了星際之門,投入 1000 億美金造一個最大的超級計算機,具體會怎麼實施,以及到底能帶來什麼樣的突破,這兩點會是最有意思的。
張小珺:Tesla 的變化是什麼?
Guangmi Li:EV 的銷售競爭是很激烈的,所以車本身是很被動的。FSD 每隔幾個月就有一個大幅提升, xAI 未來一段時間可能有很多間接的技術助力。我感覺 FSD 的進度可能是比 AGI 要更快的。
今天對特斯拉一個比較大的爭議是特斯拉到底是一個車的公司還是一個 AI 的公司?但目前 AI 的 revenue 還是沒有的。如果是作為車企的話那可能就是一個比較低的估值。AI 怎麼體現出來是比較重要的,而且 100 美金每個月的 FSD 定價是比較高的,如果說 FSD 免費了,或者說透過車險來間接付費,可能會是一個更好的做法。因為 FSD 對車險未來的衝擊還是比較大。
張小珺:臺積電呢?
Guangmi Li:全球 100% 的 H100 都是臺積電參與生產,這個公司的重要性是極強的,因為過去捲了雲端的資料中心,下一步又要卷手機上的晶片, Apple 還是臺積電的最大客戶。所以感覺這麼大體量了每年還能有 50%的增速是極其厲害的。臺積電未來幾年也是不可替代的。
其實我們聊的這幾個大的公司,潛在都還是受益的。拿著這幾個大的公司做一個 Passive 的指數,是能跑贏很多其他產品的,反而這一波是強者恆強的局面。AI 公司並沒有真的顛覆大的公司,而且是依附於大公司。

AGIX Index Top10 Components
張小珺:今天的 AI 公司都活在巨頭的陰影下,這是為什麼?
Guangmi Li:第一,太燒錢了。第二, AI 的能力還是一個小學生、初中生的水平,還需要時間慢慢長大,還要大公司給錢繼續再養著,估計還得養一段時間。
創業公司和大公司不是顛覆關係,而是依賴關係。第一,AI 公司還是太花錢了。第二,巨頭的卡位太好。今天 OpenAI 是沒法撒開腿跑的,因為它逃離不了幾個科技巨頭的覆蓋。GPU 受限於英偉達,如果英偉達不提前給 OpenAI 卡,或者說英偉達給第二名、第三名模型公司卡,那 OpenAI 也會卡不足。GPU 的叢集的搭建是受限於微軟的,微軟還是 49% 的大股東,金主,微軟的 Azure 是 GPT 觸達企業客戶最重要的一個渠道。
C端還是逃離不了蘋果,最後還要求著蘋果整合 ChatGPT。蘋果其實還是可以分分鐘換掉 ChatGPT 的,所以 OpenAI 如果真的顛覆,目前也只能挑戰一下。
張小珺:AGI 時代 VC 投資變難了嗎?
Guangmi Li:我覺得是變難了。現階段面對的很多問題是科學問題,不是一個可分析的數學問題或數字問題。如果今天投大模型,依然是兩條標準,第一,這個公司是不是一個做 AGI 的團隊?是不是真的奔著 AGI 在前進、 有 Vision,也有團隊基礎?第二,有沒有大腿支援做 AGI。模型公司每年要買 10- 20 萬張卡,要幾個 Billion 的投入。背後是有一個巨大、長期的資源支援問題,這個是非常重要的。AGI 競賽的正賽還沒有正式開始,大事還沒有發生。
比如很多人提 RAG,幾十家公司在做 RAG 這個方向,其實今天還是很難分析哪一家公司一定能跑出來,因為應用還沒有大爆發。那今天的 RAG 產品還沒有經歷過大的考驗,經歷過大的考驗後殺出來的公司才是比較重要的。
張小珺:為什麼突然開始提 RAG 提的比較多?
Guangmi Li:有人說 RAG 是階段性需求,因為企業內有很多樣的各種資訊要檢索, LLM 只用通用的東西是回答不了的,所以需要有檢索增強,把企業內的各種知識能檢索、排序理解得比較好。因為沒落地,那就要一個 RAG 的產品來幫它,但發現加了 RAG 之後,首先今天還沒有太多人能做好 RAG,第二,做好了之後依然還沒有弄好。RAG 做得最好的還是 Perplexity 裡,它是檢索網頁檢索的最好的。
張小珺:RAG 的核心難點是什麼?Perplexity 為什麼做得好?
Guangmi Li:RAG 是一個工程問題,有十幾個環節都要最佳化。一個公司最佳化好一個環節比較容易,但是要最佳化好 10 個環節其實是很難的。
張小珺:對比下來你看美國和國內這兩邊的創新生態在 AI 上有什麼差異?
Guangmi Li:矽谷 0 到 1 還是比較多的,而中國的創業者 1 到 100 非常多。這是一個非常明顯的體感差異,背後是資本的充裕程度。矽谷長期能 0 到 1 創新挺重要的背後是容忍了非常多的失敗。即使有人失敗了後,他的公司依然還能被收購、還能退出。矽谷的收購環境也比較好,感覺矽谷還是一個創新的溫室,很多人可以異想天開,因為有比較充足的 VC 資本支援 0 到 1 的創新。
國內 1 到 100 更多,這裡面會導致一個問題:技術辨識度還是比較低,而且創業的玩家比較多。內卷有很大的原因是技術辨識度比較低,比如今天沒有公司與 SpaceX 競爭,甚至說今天要買一個無人機,人們不知道大疆的第二名是誰?大疆是有技術辨識度的。我是期待更多的 0 到 1 創新的,創業者能提出一些更不一樣的,也需要更多長期的風險資本的支援。
張小珺:最後我們來做一個展望, 2024 年下半年你會更願意把時間花在哪裡、會重點關注哪些問題?
Guangmi Li:第一是關於成本下降,因為這是一個高度確定的事情,那我希望圍繞成本下降速度提升,哪些應用原本不 work,最後 work 了,這是值得期待的。
第二個比較期待端側,手機上能加哪些新的東西,尤其是國產手機,包括新的消費裝置,可能是對手機一個很好的補充,比如像 Meta 眼鏡可能就是一個多模態的入口,與手機有一個更好的輔助,那端側可能會出來很多東西。
第三是通用機器人,通用機器人需要的時間會很長,但是會很有意思,因為多模態模型在進步。中國創業者的機會還是很多的。
👇 歡迎掃碼訂閱收聽👇



延伸閱讀