新智元報道
新智元報道
編輯：Aeneas 好睏
【新智元導讀】「一位頂尖科學家，有數千億美元的資源，卻仍然能把Meta搞砸了！」最近，圈內對LeCun的埋怨和批評，似乎越來越壓不住了。有人批評說，Meta之所以潰敗，LeCun的教條主義就是罪魁禍首。但LeCun卻表示，自己嘗試了20年自迴歸預測，徹底失敗了，所以如今才給LLM判死刑！
憑藉著GPT/o系列、Gemini 2.5、Claude的強大能力，OpenAI、谷歌、Anthropic紛紛在AI大戰中各領風騷。
唯獨Meta，沒有走在前沿。
Llama 4自發布以來種種拉跨的表現，讓Meta在某種程度上淪為了業內的「笑柄」。甚至有離職研究者都特意在簡歷上標明，自己並未參加Llama 4的訓練。
在這樣的背景下，業內最近對Yann LeCun的批評之風，是越來越盛了。
儘管這點陣圖靈巨頭是一位頂級科學家，然而，他能夠動用數千億的資本用於計算資源和內部研究，卻仍然把Meta搞砸了。
那麼，他的問題，究竟出在哪兒呢？
有人說，Meta在LLM大戰中之所以落後，恰恰就是因為LeCun一直在積極表達自己對LLM前進方向的反感和拒絕。
如果在幾十年後回望，LeCun今天的態度或許是對的，但跟奧特曼這類持硬核態度的激進分子相比，這種心態絕對會讓Meta在當前的競爭中處於劣勢。
如果一個大公司的首席人工智慧科學家，都不相信自己正在投入工作的架構，而對於自己所信仰的架構卻沒有足夠驚豔的成果，那麼，造成目前的局面，就是顯而易見的事情了。
LeCun對於LLM路線的不看好，被很多網友評論為「教條主義」。
「許多頂尖科學家都有這種毛病：因為太過自我，認為自己才最瞭解一切，因此難以轉型。甚至有時，這些頂級人物的教條會直接影響到科學進步。」
對此，有人總結出了Meta失敗的幾大核心原因。
-
LeCun反對LLM的論調
-
Meta在MoE架構方面還是新手
-
開源釋出過早導致的失敗
-
研究產品團隊的不協調，組織和管理的不善
當然，第一代Llama的出現，依然對於開源界有著石破天驚的意義，可在每天都在大爆炸的AI圈，這彷彿已經是五百年前的事了。
接下來，除非LeCun真的能成功開闢新正規化，實現JEPA這樣的世界模型，要麼，Meta就只能繼續在AI競賽中落後。
下面讓我們看看，近期LeCun對LLM「判死刑」的種種言論。
首先，LLM已經是過去式了
在英偉達2025 GTC大會上，LeCun表示了這樣的觀點：「我對LLM不再感興趣了！」
他認為，如今LLM已經是過去式了，而我們的未來，在於四個更有趣的領域：理解物理世界的機器、持久記憶、推理和規劃。
不過有趣的是，如今Llama的下載量已經達到了十億次，這就意味著人們對LLM有強烈的需求，多少與「LLM已過時」的觀點矛盾了。
言歸正傳，在演講中LeCun表示，縱觀整個AI歷史，幾乎每一代研究者都在發現新正規化時宣稱，「就是它了！再過五年、十年，我們就能造出在所有領域都比人類更聰明的機器。」
七十年來，這種浪潮差不多每十年就出現一次，而這一波，也同樣會被證明是錯的。
所以，「只要把LLM繼續無限放大，或者讓它們生成成千上萬段Token序列，再從中挑出好的，就能獲得人類級智慧；兩年內資料中心裡就會誕生一個天才之國」的論調，在他看來完全就是胡說八道。
尤其是LLM所使用的Token，在刻畫物理世界這件事上，完全不是一種好的方法。原因很簡單：Token是離散的。
在典型的LLM裡，可選Token只有十萬級左右。於是，當你讓模型去預測文字序列的下一個Token時，它只能輸出一個機率分佈，但永遠不可能百分之百地給出那個唯一正確的Token。
對於文字來說，這套做法的問題還不大；但在影片等既高維又連續的自然資料面前，所有想透過畫素級預測影片來讓系統理解世界、構建世界模型的嘗試，幾乎全部失敗。
同樣地，哪怕只是訓練神經網路去學習影像的優質表徵，凡是依賴從損壞或變換後的影像重建原圖的技術，也基本以失敗告終。
其次，自迴歸LLM絕對「藥丸」
在今年3月底的2025美國數學會聯合會議上，LeCun則發表了一個題為「通往人類水平人工智慧的數學障礙」的演講。
在LeCun看來，如今的機器學習水平依舊拙劣。它的學習效率極低——模型往往要經歷成千上萬次樣本或試驗才能達到目標效能。
雖然自監督學習的確改變了AI，但它仍然非常有限。而動物和人類卻能極快地掌握新任務、理解世界執行方式，能夠推理、規劃，還能擁有常識——它們的行為是由目標驅動的。
相比之下，自迴歸的LLM，則是透過預測序列中的下一個詞或符號來訓練的；這個序列可以是文字、DNA、樂譜、蛋白質等離散符號。
然而，自迴歸預測存在一個根本性難題。
本質上，它是發散的：設想生成的符號是離散的，每輸出一個符號，就有多達100 000種可能。
如果把所有可能的Token序列視作一棵分叉度100000的巨型樹，只存在一小棵子樹對應於「合格答案」的所有延續。
問題在於，這棵「正確子樹」僅是整棵樹的微小子集。
若假設每生成一個符號就有獨立的錯誤機率e，那麼長度為n的序列完全正確的機率，便是(1‑e)^n。
即便e極小，該機率仍會隨n呈指數級衰減，而在自迴歸框架下，這就無從補救。
因此，LeCun的判斷是：自迴歸的大語言模型註定被淘汰！幾年後，任何一個理智的人都不會再使用它們。
這就是LLM所謂幻覺的根源：它們會胡說八道，本質上就是自迴歸預測導致的。
在LeCun看來，在構建AI系統的新概念上，我們遺漏了非常重要的東西。
僅靠把LLM塞進更大的資料集，我們永遠無法抵達人類級AI。但現在別說復現數學家或科學家，我們連模仿一隻貓都做不到。
家貓能規劃複雜動作，擁有因果模型，預知自身行為後果，而人類就更卓越了，10歲的孩子第一次就能把餐桌收拾乾淨、把餐具放進洗碗機——這就是零樣本學習。
如今，AI已能透過律師資格考試、解數學題、證明定理——可L5自動駕駛汽車在哪？家用機器人又在哪？
我們仍造不出能真正應對現實世界的系統。事實證明，物理世界遠比語言複雜得多。
這，就是莫拉維克悖論。
人類覺得麻煩的任務——比如計算積分、求解微分方程、下棋、規劃穿越多座城市的路線——對計算機而言卻輕而易舉。
這說明，若有人把「人類智慧」稱作「通用智慧」，那純屬無稽之談——我們根本不具備通用智慧，而是高度專門化。
一款典型的現代LLM，大概是在2×10¹³（約20萬億）個token上訓練的。若按每Token 3位元組計算，總量就是6×10¹³位元組，向上取整約10¹⁴位元組。要讓任何一個人讀完這些文字，得花上幾十萬年。
但一個4歲的小孩，雖然醒著的時間總共只有16000小時，但來自視覺、觸覺、聽覺等感官的物理世界資訊，讓他在這段時間裡積累的資訊量，同樣達到了10¹⁴位元組。
也就是說，如果AI無法透過觀察世界來學習其執行規律，我們就永遠到不了人類級別——因為文字裡根本沒有那麼多資訊。
在Meta，他們不使用AGI這一說法，而是高階機器智慧（Advanced Machine Intelligence，AMI）：
• 能透過感官輸入自行學習世界模型與心智模型，從而掌握直覺物理與常識；
• 擁有持久記憶；
• 能夠規劃複雜的動作序列；
• 具備推理能力；
• 在設計之初就保證可控與安全，而不是事後靠微調彌補。
LeCun預計在三到五年內，Meta就能在小規模上把這件事跑通；之後就看如何把它們擴充套件，直到真正做到人類級智慧。
AMI的認知架構，可以簡述如下。
• 世界模型；
• 若干目標函式；
• 行動體——負責最佳化動作以最小化代價；
• 短期記憶，對應大腦中的海馬體；
• 感知模組——幾乎整個大腦後部都在做這件事；
• 以及一個配置器。
所以，究竟怎樣才能讓系統從影片等感官輸入中，學到世界的心智模型？
能不能借用自迴歸預測的思路，像訓練LLM那樣訓練生成式架構，去預測影片接下來會發生什麼，比如未來幾幀？
答案是不行。
LeCun表示，自己已經在這條路上折騰了20年，徹底失敗。
它適合離散符號的預測，但我們不知道該如何有意義地在表示機率密度函式的高維連續空間中，預測一個影片幀。
而他的解決方案，就是一種被稱為JEPA（Joint Embedding Predictive Architecture，聯合嵌入預測架構）的技術。
LeCun表示，如果自己的判斷沒錯，而且採用JEPA確實比生成式架構更靠譜，那所有人就該把生成式架構徹底丟掉。
他也承認，在如今人人都在聊GenAI的大環境下，自己卻對他們說：「放棄GenAI吧！」像極了一個異類。
總之，LeCun在演講最後給出了鏗鏘有力的吶喊。
如果你對人類水平的AI感興趣，就不要專注於大語言模型。
如果你是AI領域的博士生，你絕對不應該從事LLM的工作，因為你把自己置於與擁有成千上萬GPU的大型團隊競爭的位置，你將無法做出任何貢獻。
他表示，如果我們能在接下來五年內或十年內，解決一些真正的問題，那我們就能走上一條通往能規劃和推理的真正智慧系統的道路。
而唯一可行的方法，就是開源。
LeCun表示，如果自己成功了，那AI將成為放大人類智慧的一種工具，這隻會對人類有好處。
一件積壓在心底的陳年往事
而LeCun分享一件陳年往事，則讓我們能夠些許洞察到他的內心世界。
2022年，LeCun和Meta的幾位同事訓練出了一個LLM，把能找到的全部科學文獻都塞了進去。
這個模型取名為Galactica。他們寫了一篇長論文詳述訓練過程，開源了程式碼，還上線了一個所有人都能試玩的線上Demo。
結果，這個專案就在推上被噴得體無完膚。
許多人喊著「這東西太可怕了，它會摧毀整個科學交流體系」，因為連傻瓜都可以寫出一篇聽上去像模像樣的「論吃碎玻璃有益健康」的科學論文了。
負面評論如同海嘯般襲來，可憐的同事們夜不能寐，最後只能被迫撤下Demo，只留下論文和開原始碼。
當時他們的結論是：世界還沒準備好接受這種技術，也沒人真正感興趣。
結果三週後，他們就迎來了暴擊：ChatGPT上線了，公眾的反應儼然是「救世主再臨」。
LeCun和同事們面面相覷，對於公眾突如其來的這股熱情百思不得其解。
Meta真不行了？不見得
雖然質疑聲不斷，但LeCun同樣擁有著一些堅定的支持者。
正如有人在聽完他演講後，動容地表示——
「我真心敬佩LeCun，一位現實主義者，開源倡導者，一個絕非跟風炒作的人。儘管他因為反對LLM教條而招致很多仇恨，但我仍尊重他的誠實。」
「很高興在如今這個時代，聽到有人談論LLM的侷限性，尤其是他還在為一家股東公司工作。只有我們忽略炒作，關注侷限性、失敗的可能性以及其他工程原則時，AI才會是安全的。」
即便面對如今表現不佳的Llama 4，這些支持者依然堅信，在幾個月內我們就會看到令人印象深刻的進展。
在一篇名為「即使LLM到達平臺期，也不一定意味著人工智慧寒冬」的帖子中，有人堅定支援了LeCun的路線。
在發帖人看來，雖然如今的大實驗室都在專注於LLM，但仍有一些較小的實驗室在探索替代路徑。
他表示，自己一直以為Meta的LeCun團隊是唯一一個在研究基於自監督、非生成、視覺系統的團隊。
但就在幾周前，有一群研究者釋出了一種新的架構，該架構建立在LeCun一直倡導的許多想法之上。
論文地址：https://arxiv.org/abs/2503.21796
在某些情況下，甚至超過了LeCun自己的模型。
而且，在過去幾年中，已經有越來越多的類似JEPA的系統出現，LeCun在影片中也提到過它們。
其中有些來自較小的團隊，有些則來自谷歌。
如果哪一天，LLM這條路真的行不通，陷入停滯，或許我們會看到資金投入的下降，因為當前的投資其實很多都是基於公眾和投資者的熱情之上的。
但是，這並不意味著AI寒冬。過去之所以有寒冬，是因為人們從未被AI真正「震撼」過一次。
但自從ChatGPT誕生，人們已經見到了如此「聰明」的AI，這就讓AI領域吸引了前所未有的關注，這種熱情並沒有消退跡象。
與其說我們會進入AI寒冬，不如說我們正在看到一種從主導正規化向更多樣化格局的轉變。
對於整個人類來說，這是一件好事。當涉及到像智慧這樣難以複製的領域時，不把所有雞蛋放在一個籃子裡，才是最聰明的做法。
參考資料：
https://x.com/kimmonismus/status/1913265562853011863
https://www.youtube.com/watch?v=eyrDM3A_YFc&t=6s
https://www.youtube.com/watch?v=ETZfkkv6V7Y