LeCun was heavily criticized: You messed up Meta! Burned through hundreds of billions in computing power, revealed a complete failure after 20 years of effort

唯獨 Meta，沒有走在前沿。

Llama 4 自發布以來種種拉跨的表現，讓 Meta 在某種程度上淪為了業內的「笑柄」。甚至有離職研究者都特意在簡歷上標明，自己並未參加 Llama 4 的訓練。

在這樣的背景下，業內最近對 Yann LeCun 的批評之風，是越來越盛了。

儘管這位圖靈巨頭是一位頂級科學家，然而，他能夠動用數千億的資本用於計算資源和內部研究，卻仍然把 Meta 搞砸了。

那麼，他的問題，究竟出在哪兒呢？

有人説，Meta 在 LLM 大戰中之所以落後，恰恰就是因為 LeCun 一直在積極表達自己對 LLM 前進方向的反感和拒絕。

如果在幾十年後回望，LeCun 今天的態度或許是對的，但跟奧特曼這類持硬核態度的激進分子相比，這種心態絕對會讓 Meta 在當前的競爭中處於劣勢。

如果一個大公司的首席人工智能科學家，都不相信自己正在投入工作的架構，而對於自己所信仰的架構卻沒有足夠驚豔的成果，那麼，造成目前的局面，就是顯而易見的事情了。

LeCun 對於 LLM 路線的不看好，被很多網友評論為「教條主義」。

「許多頂尖科學家都有這種毛病：因為太過自我，認為自己才最瞭解一切，因此難以轉型。甚至有時，這些頂級人物的教條會直接影響到科學進步。」

對此，有人總結出了 Meta 失敗的幾大核心原因。

• LeCun 反對 LLM 的論調

• Meta 在 MoE 架構方面還是新手

• 開源發佈過早導致的失敗

• 研究產品團隊的不協調，組織和管理的不善

當然，第一代 Llama 的出現，依然對於開源界有着石破天驚的意義，可在每天都在大爆炸的 AI 圈，這彷彿已經是五百年前的事了。

接下來，除非 LeCun 真的能成功開闢新範式，實現 JEPA 這樣的世界模型，要麼，Meta 就只能繼續在 AI 競賽中落後。

下面讓我們看看，近期 LeCun 對 LLM「判死刑」的種種言論。

首先，LLM 已經是過去式了

在英偉達 2025 GTC 大會上，LeCun 表示了這樣的觀點：「我對 LLM 不再感興趣了！」

他認為，如今 LLM 已經是過去式了，而我們的未來，在於四個更有趣的領域：理解物理世界的機器、持久記憶、推理和規劃。

不過有趣的是，如今 Llama 的下載量已經達到了十億次，這就意味着人們對 LLM 有強烈的需求，多少與「LLM 已過時」的觀點矛盾了。

言歸正傳，在演講中 LeCun 表示，縱觀整個 AI 歷史，幾乎每一代研究者都在發現新範式時宣稱，「就是它了！再過五年、十年，我們就能造出在所有領域都比人類更聰明的機器。」

七十年來，這種浪潮差不多每十年就出現一次，而這一波，也同樣會被證明是錯的。

所以，「只要把 LLM 繼續無限放大，或者讓它們生成成千上萬段 Token 序列，再從中挑出好的，就能獲得人類級智能；兩年內數據中心裏就會誕生一個天才之國」的論調，在他看來完全就是胡説八道。

尤其是 LLM 所使用的 Token，在刻畫物理世界這件事上，完全不是一種好的方法。原因很簡單：Token 是離散的。

在典型的 LLM 裏，可選 Token 只有十萬級左右。於是，當你讓模型去預測文本序列的下一個 Token 時，它只能輸出一個概率分佈，但永遠不可能百分之百地給出那個唯一正確的 Token。

對於文本來説，這套做法的問題還不大；但在視頻等既高維又連續的自然數據面前，所有想通過像素級預測視頻來讓系統理解世界、構建世界模型的嘗試，幾乎全部失敗。

同樣地，哪怕只是訓練神經網絡去學習圖像的優質表徵，凡是依賴從損壞或變換後的圖像重建原圖的技術，也基本以失敗告終。

其次，自迴歸 LLM 絕對「藥丸」

在今年 3 月底的 2025 美國數學會聯合會議上，LeCun 則發表了一個題為「通往人類水平人工智能的數學障礙」的演講。

在 LeCun 看來，如今的機器學習水平依舊拙劣。它的學習效率極低——模型往往要經歷成千上萬次樣本或試驗才能達到目標性能。

雖然自監督學習的確改變了 AI，但它仍然非常有限。而動物和人類卻能極快地掌握新任務、理解世界運行方式，能夠推理、規劃，還能擁有常識——它們的行為是由目標驅動的。

相比之下，自迴歸的 LLM，則是通過預測序列中的下一個詞或符號來訓練的；這個序列可以是文本、DNA、樂譜、蛋白質等離散符號。

然而，自迴歸預測存在一個根本性難題。

本質上，它是發散的：設想生成的符號是離散的，每輸出一個符號，就有多達 100 000 種可能。

如果把所有可能的 Token 序列視作一棵分叉度 100000 的巨型樹，只存在一小棵子樹對應於「合格答案」的所有延續。

問題在於，這棵「正確子樹」僅是整棵樹的微小子集。

若假設每生成一個符號就有獨立的錯誤概率 e，那麼長度為 n 的序列完全正確的概率，便是 (1‑e)^n。

即便 e 極小，該概率仍會隨 n 呈指數級衰減，而在自迴歸框架下，這就無從補救。

因此，LeCun 的判斷是：自迴歸的大語言模型註定被淘汰！幾年後，任何一個理智的人都不會再使用它們。

這就是 LLM 所謂幻覺的根源：它們會胡説八道，本質上就是自迴歸預測導致的。

在 LeCun 看來，在構建 AI 系統的新概念上，我們遺漏了非常重要的東西。

僅靠把 LLM 塞進更大的數據集，我們永遠無法抵達人類級 AI。但現在別説復現數學家或科學家，我們連模仿一隻貓都做不到。

家貓能規劃複雜動作，擁有因果模型，預知自身行為後果，而人類就更卓越了，10 歲的孩子第一次就能把餐桌收拾乾淨、把餐具放進洗碗機——這就是零樣本學習。

如今，AI 已能通過律師資格考試、解數學題、證明定理——可 L5 自動駕駛汽車在哪？家用機器人又在哪？

我們仍造不出能真正應對現實世界的系統。事實證明，物理世界遠比語言複雜得多。

這，就是莫拉維克悖論。

人類覺得麻煩的任務——比如計算積分、求解微分方程、下棋、規劃穿越多座城市的路線——對計算機而言卻輕而易舉。

這説明，若有人把「人類智能」稱作「通用智能」，那純屬無稽之談——我們根本不具備通用智能，而是高度專門化。

一款典型的現代 LLM，大概是在 2×10¹³（約 20 萬億）個 token 上訓練的。若按每 Token 3 字節計算，總量就是 6×10¹³字節，向上取整約 10¹⁴字節。要讓任何一個人讀完這些文本，得花上幾十萬年。

但一個 4 歲的小孩，雖然醒着的時間總共只有 16000 小時，但來自視覺、觸覺、聽覺等感官的物理世界信息，讓他在這段時間裏積累的信息量，同樣達到了 10¹⁴字節。

也就是説，如果 AI 無法通過觀察世界來學習其運行規律，我們就永遠到不了人類級別——因為文字裏根本沒有那麼多信息。

在 Meta，他們不使用 AGI 這一説法，而是高級機器智能（Advanced Machine Intelligence，AMI）：

• 能通過感官輸入自行學習世界模型與心智模型，從而掌握直覺物理與常識；

• 擁有持久記憶；

• 能夠規劃複雜的動作序列；

• 具備推理能力；

• 在設計之初就保證可控與安全，而不是事後靠微調彌補。

LeCun 預計在三到五年內，Meta 就能在小規模上把這件事跑通；之後就看如何把它們擴展，直到真正做到人類級智能。

AMI 的認知架構，可以簡述如下。

• 世界模型；

• 若干目標函數；

• 行動體——負責優化動作以最小化代價；

• 短期記憶，對應大腦中的海馬體；

• 感知模塊——幾乎整個大腦後部都在做這件事；

• 以及一個配置器。

所以，究竟怎樣才能讓系統從視頻等感官輸入中，學到世界的心智模型？

能不能借用自迴歸預測的思路，像訓練 LLM 那樣訓練生成式架構，去預測視頻接下來會發生什麼，比如未來幾幀？

答案是不行。

LeCun 表示，自己已經在這條路上折騰了 20 年，徹底失敗。

它適合離散符號的預測，但我們不知道該如何有意義地在表示概率密度函數的高維連續空間中，預測一個視頻幀。

而他的解決方案，就是一種被稱為 JEPA（Joint Embedding Predictive Architecture，聯合嵌入預測架構）的技術。

LeCun 表示，如果自己的判斷沒錯，而且採用 JEPA 確實比生成式架構更靠譜，那所有人就該把生成式架構徹底丟掉。

他也承認，在如今人人都在聊 GenAI 的大環境下，自己卻對他們説：「放棄 GenAI 吧！」像極了一個異類。

總之，LeCun 在演講最後給出了鏗鏘有力的吶喊。

他表示，如果我們能在接下來五年內或十年內，解決一些真正的問題，那我們就能走上一條通往能規劃和推理的真正智能系統的道路。

而唯一可行的方法，就是開源。

LeCun 表示，如果自己成功了，那 AI 將成為放大人類智慧的一種工具，這隻會對人類有好處。

一件積壓在心底的陳年往事

而 LeCun 分享一件陳年往事，則讓我們能夠些許洞察到他的內心世界。

2022 年，LeCun 和 Meta 的幾位同事訓練出了一個 LLM，把能找到的全部科學文獻都塞了進去。

這個模型取名為 Galactica。他們寫了一篇長論文詳述訓練過程，開源了代碼，還上線了一個所有人都能試玩的在線 Demo。

結果，這個項目就在推上被噴得體無完膚。

許多人喊着「這東西太可怕了，它會摧毀整個科學交流體系」，因為連傻瓜都可以寫出一篇聽上去像模像樣的「論吃碎玻璃有益健康」的科學論文了。

負面評論如同海嘯般襲來，可憐的同事們夜不能寐，最後只能被迫撤下 Demo，只留下論文和開源代碼。

當時他們的結論是：世界還沒準備好接受這種技術，也沒人真正感興趣。

結果三週後，他們就迎來了暴擊：ChatGPT 上線了，公眾的反應儼然是「救世主再臨」。

LeCun 和同事們面面相覷，對於公眾突如其來的這股熱情百思不得其解。

Meta 真不行了？不見得

雖然質疑聲不斷，但 LeCun 同樣擁有着一些堅定的支持者。

正如有人在聽完他演講後，動容地表示——

「我真心敬佩 LeCun，一位現實主義者，開源倡導者，一個絕非跟風炒作的人。儘管他因為反對 LLM 教條而招致很多仇恨，但我仍尊重他的誠實。」

「很高興在如今這個時代，聽到有人談論 LLM 的侷限性，尤其是他還在為一家股東公司工作。只有我們忽略炒作，關注侷限性、失敗的可能性以及其他工程原則時，AI 才會是安全的。」

即便面對如今表現不佳的 Llama 4，這些支持者依然堅信，在幾個月內我們就會看到令人印象深刻的進展。

在一篇名為「即使 LLM 到達平台期，也不一定意味着人工智能寒冬」的帖子中，有人堅定支持了 LeCun 的路線。

在發帖人看來，雖然如今的大實驗室都在專注於 LLM，但仍有一些較小的實驗室在探索替代路徑。

他表示，自己一直以為 Meta 的 LeCun 團隊是唯一一個在研究基於自監督、非生成、視覺系統的團隊。

但就在幾周前，有一羣研究者發佈了一種新的架構，該架構建立在 LeCun 一直倡導的許多想法之上。

論文地址：https://arxiv.org/abs/2503.21796

在某些情況下，甚至超過了 LeCun 自己的模型。

而且，在過去幾年中，已經有越來越多的類似 JEPA 的系統出現，LeCun 在視頻中也提到過它們。

其中有些來自較小的團隊，有些則來自谷歌。

如果哪一天，LLM 這條路真的行不通，陷入停滯，或許我們會看到資金投入的下降，因為當前的投資其實很多都是基於公眾和投資者的熱情之上的。

但是，這並不意味着 AI 寒冬。過去之所以有寒冬，是因為人們從未被 AI 真正「震撼」過一次。

但自從 ChatGPT 誕生，人們已經見到了如此「聰明」的 AI，這就讓 AI 領域吸引了前所未有的關注，這種熱情並沒有消退跡象。

與其説我們會進入 AI 寒冬，不如説我們正在看到一種從主導範式向更多樣化格局的轉變。

對於整個人類來説，這是一件好事。當涉及到像智能這樣難以複製的領域時，不把所有雞蛋放在一個籃子裏，才是最聰明的做法。

本文來源：新智元 (ID:gh_108f2a2a27f4)，原文標題：《LeCun 被痛批：你把 Meta 搞砸了！燒掉千億算力，自曝折騰 20 年徹底失敗》