Exa CEO: We are on the eve of AGI madness, programmers are entering the "paradise" era, and the most impacted are mathematicians

Exa 公司 CEO Will Bryk，在目睹 o3 模型的進展後，分享了他對 AGI 未來的一些想法，以下是他社媒上的帖子整理：

AGI 真的來了

這周我和幾個朋友聊了聊 o3 模型，他們的反應基本都是 “我的天，這真的發生了嗎？”

是的，它真的發生了。接下來的幾年將會非常瘋狂，這將是歷史性的，甚至是星際級的事件

荒謬的是，目前還沒有關於 AGI 的深度討論。AI 實驗室不能談論它，新聞幾乎沒有報道，政府也不理解它。我們竟然在一個社交媒體 meme 應用的新聞推送裏討論人類的未來，這感覺就像一部荒誕的情景喜劇，但現實就是如此

以下是我對正在發生的事情的一些想法——我對 X 平台思想深淵的貢獻

注意，這些想法都很不成熟，只是一些有趣的推測。我沒有足夠的時間去深入思考/研究所有這些問題，而且我肯定會在很多方面出錯。但我確實希望這些想法對一些正在努力理解現狀的人來説是有趣的

請享用

o3 的出現不應令人震驚

OpenAI 兩個月前就展示了測試時擴展圖，計算機的歷史告訴我們，無論趨勢線多麼令人難以置信，我們都應該相信它。真正令人震驚的是，它在兩個月內就實現了。我們只用了這麼短的時間就從大學水平的 AI 發展到博士水平的 AI。對人類來説，變化是令人興奮的，但快速的變化是令人震驚的。

接下來會發生什麼顯而易見

o3 級別的模型非常擅長優化任何你可以定義獎勵函數的東西。數學和編程很容易設計獎勵函數，小説創作則比較困難。這意味着在短期內（1 年），我們將得到 “尖峯模型”

它們在數學、編程和一般推理方面基本達到 AGI 水平，但寫出來的小説很普通。雖然更好的推理能力會讓這些模型在各方面都感覺更聰明，但它們仍然會在沒有經過強化學習的方面以愚蠢的方式失敗——也就是説，在它們的訓練數據中沒有涵蓋的方面。從長遠來看（1-3 年），我們將繼續添加新的領域來對它們進行強化學習（情感數據、感官數據等），直到彌補這些盲點，然後對除了 Gary Marcus 之外的所有人來説，這些模型都將是 AGI

Agent（智能體）真的會在 2025 年到來

o3 之類的模型不可能無法瀏覽/使用應用程序並採取行動。這些東西很容易設計獎勵模型。這也是一個巨大的市場——自動化計算機工作——因此對於需要證明其鉅額支出的實驗室來説，這是一個巨大的激勵。我猜到 2025 年 12 月，你將能夠告訴你的計算機執行任何涉及瀏覽網頁/應用程序和移動數據的工作流程

在所有知識工作者中，最受 “衝擊” 的肯定是數學家

數學家在符號空間中工作，他們的工作很少與物理世界接觸，因此不受其限制。大型語言模型是符號空間的王者。數學其實並不難，只是靈長類動物不擅長而已。正則表達式也是如此

一個很大的問題是，製作研究級別的合成數據有多難。我猜不會太難。博士水平的數學和研究員水平的數學對我們來説看起來有質的不同，但在 AI 看來可能只是程度上的差異，只需要再增加幾個數量級的強化學習。我給數學家 700 天的時間。（這聽起來很瘋狂，但 o6 不擊敗數學家聽起來也同樣瘋狂，所以我對這個預測的信心超過 50/50，就像我對這篇文章中的所有其他預測一樣）。那是 700 天后，人類將不再是已知宇宙中數學領域的佼佼者

那我們軟件工程師呢？

短期內，這將是天堂。每個軟件工程師都升職成了技術主管，幹得好。對於那些完全採用 LLM 的人來説，到 2025 年底，編碼將更像是協調一堆由小 Agent 執行的小任務。任何具有非常清晰規範的 PR 都應該可以由 o4 系統完成，而且錯誤率足夠小，可以接受。這裏的一個問題可能是上下文窗口太小，無法包含代碼庫，但像 Sam 這樣的領導者很清楚這一點

AI 會很快取代所有軟件工程師嗎？不會。軟件工程不僅僅是根據超級清晰的提示製作 PR。與數學家不同，軟件工程師不斷地與物理世界，也就是其他人互動。工程師必須與客户合作以瞭解他們的需求，並與團隊成員合作以瞭解他們的需求。當工程師設計架構或編寫代碼時，他們是在大量的組織環境下進行的。o4 無法做到這一點。但 o4 將幫助那些擁有上下文信息的工程師將速度提高 10 倍

如果軟件工程師的速度提高了 10 倍，那麼我們是否需要更少的軟件工程師？嗯，如果你考慮一家特定的公司，那麼是的，他們可能需要更少的軟件工程師，因為他們可以用更精簡的團隊實現相同的產出。然而，全世界對軟件工程師的需求可能會增加，因為世界肯定需要更多 10 倍的優質軟件。所以我認為我們將看到來自更精簡公司的應用程序的黃金時代。為每個人和每個企業提供個性化的微型應用程序

從長遠來看（超過 2 年被認為是長期，哈哈）

軟件工程將完全不同，很難説會變成什麼樣。當 o6 系統存在並完全集成到我們的應用程序中時，它怎麼可能不變呢？像前端工程師這樣的角色可能在 3 年內就不存在了。這很奇怪嗎？不盡然——30 年前也沒有前端工程師這個角色

我們應該退一步，認識到軟件每一代都會發生翻天覆地的變化。軟件一直以來都是將需求轉換成純邏輯。這種轉換過程的抽象級別從二進制代碼上升到了 Python。現在的區別在於它正在上升到英語

轉向英語讓非技術人員也能進行編程。但最好的構建者將永遠是那些能夠在不同抽象級別之間切換的人

簡而言之，因為軟件工程實際上就是通過代碼理解和解決組織的需求，所以軟件工程完全自動化的日子就是所有組織都自動化的日子

我們討論了一些知識工作者，但體力勞動者呢？

AI 也會影響到你，但速度會比較慢，因為它必須處理重力和摩擦。但是 o 類模型對機器人的幫助不會太大，因為一個需要一個小時才能完成的模型對工廠生產線上的機器人沒有幫助。基礎模型變得更智能確實有幫助，o 類模型將有助於訓練這些模型，但我認為這並不能解決機器人技術進步的最大瓶頸。我猜最大的瓶頸是硬件改進和用於感知 + 行動的快速/可靠模型。這兩方面都需要更長的時間來改進（即幾年）。只有當機器人開始製造機器人，AI 開始進行 AI 研究時，機器人技術才會出現瘋狂的快速進步。這可能來自 o 類模型，但我認為還需要幾年時間

我一直以年為單位來討論，但也許我們真的應該以計算量為單位來討論

時間決定了人類的產出，但計算量決定了 AI 的產出，而 AI 的產出在研究機構中將越來越重要。這就是為什麼各家都在競相建造超級集羣——Meta 的 2GW 集羣，xAI 新增的 10 萬塊 H100 等等

所有實驗室都將很快效仿 OpenAI 的測試時計算模型，有些實驗室最初可以通過更多的計算來彌補算法上的不足。他們會像 GPT-4 那樣迎頭趕上。要製造這些模型，需要結合一些常識和每個實驗室的秘方。目前尚不清楚 OpenAI 在 o 類模型中使用了多少秘方，但他們的改進速度表明這是一種算法上的進步（更容易複製），而不是某種獨特的數據組合（更難複製）

在測試時計算的時代，我不清楚擁有更多的計算量還是更好的模型更重要。一方面，你可以通過投入更多的測試時計算來彌補一個較差的模型。另一方面，一個稍微好一點的模型可能會節省指數級的計算量

如果 xAI 僅僅因為他們更擅長構建大型集羣而趕上了 OpenAI，那會很有趣

無論如何，模型的護城河不會持續超過一年，因為實驗室像交換棒球卡一樣交換研究人員，而且，也許更重要的是，實驗室之間的研究人員會在週末聚會，甚至睡在一起。另外，我認為研究人員太理想化了，如果事情失控，他們不會不分享信息

我們現在的處境真是瘋狂。AI 競賽就像核競賽，但美國人和蘇聯人會在週末在洛斯阿拉莫斯一起聚會，並在推特上互相嘲諷 “我賭你到 2025 年不會擁有最大的核武器，哈哈:)”

在政府介入和/或發生非常糟糕的事情之前，AI 競賽將繼續保持嬉皮士和輕鬆愉快的氛圍。

o 類模型以幾種有趣的方式改變了計算規模擴大的動態

o 類模型激勵了大規模的建設，因為它們在每個數量級的計算量增加後都有明顯的收益。計算提供商不可能要求更好的縮放定律。我猜想，當 Sam 想要一個數萬億美元的計算集羣時，他看到的正是這個定律

但這對 Nvidia 來説可能不是什麼好事。o 類模型使推理比訓練更重要。我認為超級優化的推理芯片比訓練芯片更容易製造，所以 Nvidia 在那裏沒有那麼多的護城河

非常大膽的推測：如果 o 類模型能夠利用全世界的聚合計算來訓練最好的模型，那會怎麼樣？如果開源能夠戰勝閉源，是因為我們將我們的 Macbook Pro 組合成一個推理超級集羣，那該多酷啊

除了計算之外，現在另一個新的指數級增長因素是代碼本身

如果一個實驗室對最智能的模型擁有獨特/特權的訪問權，因此他們的軟件工程師的生產力比其他實驗室高 2 倍，那麼他們就能更快地接近下一個生產力翻倍的目標。除非代碼速度達到極限，並且有大量的實驗需要運行，那麼實驗室的瓶頸又回到了計算上。（我不知道，動態很難。看看實驗室如何模擬他們在計算和人員上的支出比例會非常酷。）

儘管所有這些計算建設和知識工作自動化聽起來很瘋狂，但只有當科學家開始感受到 AGI 時，事情才會真正變得瘋狂

我指的是你們這些物理學家、化學家、生物學家

它將從任何以理論命名的東西開始。理論物理學首當其衝。如果數學真的被解決了（即使寫下這句話聽起來也很荒謬，但這並不意味着它不可能發生），那麼理論物理學也不會太遠。它也存在於 LLM 將超越人類的符號領域

當我們有一百萬個 AI 馮·諾依曼在路易斯安那州的田野裏（Meta 即將到來的數據中心）日夜工作時，會發生什麼？他們會以多快的速度閲讀過去一個世紀以來數千人撰寫的所有物理學論文，並立即吐出更多正確的標記？

顯然，故事的這一部分很難預測。理論物理學、化學、生物學——如果這些對經過強化學習訓練的 LLM 來説只是小兒科，那會怎樣？在這一點上，我們還有什麼合理的論據認為它不會是小兒科呢？是的，我們還沒有看到這些模型真正的創新，但它們大多處於高中/大學水平，而這些年齡段的人不會發明新的物理學。我們現在處於博士水平，所以我們可能會開始看到一些創造性。

一旦 AI 開始產出新的科學理論，進步的瓶頸將是物理世界的測試和實驗

那裏的瓶頸是勞動力和材料。到那時，如果還沒有能夠製造更多機器人的機器人，那將會令人驚訝。所以勞動力問題解決了。然後材料可以由機器人開採。這裏的時間線會很慢，因為建造/運輸實物需要很長時間，但需要幾年而不是幾十年。

我上面所説的一切都假設 AI+ 機器人研究/開發沒有引入新的瓶頸，並且允許模型隨意學習

這幾乎肯定不會發生。AI 進步的最大瓶頸將是人類。我的意思是監管、恐怖主義和社會崩潰

政府不會袖手旁觀，讓地球被幾家舊金山公司運營的自動化機器人開採（監管）。如果政府太無能而無法阻止它們，那麼憤怒的失業者可能會訴諸暴力（恐怖主義）。除非人們被 AI 增強的媒體弄得腦殘，以至於我們無法作為一個社會正常運轉（社會崩潰）

如果發生戰爭，我認為這不會是一個瓶頸，而是一個加速器。

事情會變得很嚴肅。2025 年可能是 AI 成為舊金山科技推特 meme 的最後一年，在那之後，穿西裝的普通人會介入，所以讓我們在還能享受 roon 和 sama 的時候好好享受吧

這會殺死所有人嗎？

我更害怕人類濫用 AI，而不是 AI 失控

我們有 5000 年的證據表明人類使用最新技術互相殘殺。二戰後的和平是一個反常現象，一旦美國失策或對手認為必須先發制人以阻止 AI 加速發展，這種和平就可能瓦解。當武器變得更致命、更自主時，風險就更高了。

另一個重大風險是 AI 造成社會混亂。AI 生成的媒體可能會造成大規模的混亂、大規模的歇斯底里、大規模的腦殘

另一個風險是 AI 失控。這意味着它會導致我們沒有預料到的滅絕級別的事情。特別是隨着強化學習的迴歸，AI 現在正在發現自己的優化方法，而不是試圖匹配人類數據（匹配人類更安全）。但到目前為止，這些模型的底層大腦仍然是 LLM，而 LLM 已經顯示出只是理解人類。就像你在提示中加入 “確保不要做任何可能殺死我們的事情” 一樣，現在你必須承擔舉證責任，證明它仍然可能殺死我們

我絕對是興奮多於恐懼

我一直想要的那種科幻世界正在到來。它比預期的來得快一點——因此也帶來了恐懼——但在所有可能的路徑中，我不確定最佳路徑會有多大改善。這是一個相當不錯的時間線

我希望在十年內出現的事情：

• 一些非常酷的物理學發現

• 最初由機器人建造的火星和月球基地

• 關於一切的完美導師/建議（即將到來，需要良好的檢索、記憶和更多個性）

• 零副作用的生物增強藥物

• 乘坐超級優化的無人機飛行

• 通過聚變、地熱和大量太陽能實現全面的超級清潔能源

• 意想不到的事情：AI 天文學家在望遠鏡數據中發現了外星信號？AI 化學家輕鬆設計出室温超導體？AI 物理學家統一了一些理論？AI 數學家解決了黎曼猜想？

這些聽起來不再像科幻小説，它們感覺像是近在咫尺的科學現實

那麼這一切將走向何方？

最終，我們將獲得超級智能，這意味着我們將獲得物理定律允許的任何東西。我想要永生，並看到其他的恆星系統。我還希望將我們的肉體升級到更好的東西。但到目前為止，我最興奮的是瞭解宇宙的起源。10 年前，我開始在日記中寫下我多麼想知道這個答案，以及 AI 將如何幫助我們找到答案，而現在它真的可能發生了，這太瘋狂了

我們現在生活在一個這一切聽起來都似是而非的世界裏

每一次新的 AI 發展都會讓更多的人意識到這一點，o3 就是最新的例子

現在，未來唯一不壯觀的原因是我們人類搞砸了。比如我們的公眾輿論、我們的下游政策、我們的社會穩定、我們的國際合作——這些是可能阻止這個壯觀未來出現的障礙

人們認為 AI 實驗室的人正在控制我們的未來

我不同意。他們的工作已經確定了。他們只是在執行模型架構，這些架構遲早會在某個實驗室中出現。

但我們的公眾輿論、我們的下游政策、我們的社會穩定、我們的國際合作——這些都是完全不確定的。這意味着我們集體是未來的守護者。

我們每個人都有責任幫助我們的世界度過未來的狂野時代，這樣我們才能擁有美好的未來，而不是可怕的未來。

有很多方法可以提供幫助

幫助構建以某種方式使社會更穩定或使人們更聰明的產品（例如：幫助人們規範社交媒體的應用程序）。幫助人們瞭解正在發生的事情（更多高質量的社交媒體評論、一個真正好的搜索引擎等）。幫助清理我們的街道，這樣邀請我們所有人進入烏托邦的城市看起來就不像反烏托邦（參與地方政治）。

幾乎所有與我交談過的人都害怕在 AI 世界中失去意義，你可能也一樣

我想對你説，這不是完全相反嗎？你生活在歷史上最重要的時刻，你有能力影響它。幫助拯救世界難道還不夠有意義嗎？你想回到一個只有你的事業在進步，而世界卻沒有進步的時代嗎？

也許人們需要做出的轉變是從通過個人成功獲得意義到通過集體成功獲得意義。我們目前的許多工作很快就會被自動化。我們將不得不適應。如果你從一項特定技能中獲得意義，那麼是的，這項技能在 5 年內可能不再需要，你就走運了。但如果你能從盡你所能幫助世界中獲得意義，那麼這永遠不會消失。

對於所有因為 o3 而得到建議的新畢業生，我的建議是：

學習如何成為 1）一個高能動性的問題解決者和 2）一個優秀的團隊合作者。你在學習過程中學到的具體技能並不重要，因為世界變化太快了。但積極解決問題和與團隊良好合作將在很長一段時間內都很重要。

你還可能需要在一個不穩定的世界裏接受不穩定的生活。事情會變得很奇怪。你可能不會在郊區有兩個孩子和一條狗。你可能在星際方舟上有兩個半機械人孩子和一條 AI 狗。

我們生活在 AGI 的前夜，在這個聖誕前夜，我請求你幫助 AGI 過渡順利進行，這樣我就可以在公元 3024 年的聖誕前夜，在一個距離四光年的行星上，圍繞着奧特曼·森陶利星向你問好

文章來源：AI 寒武紀，原文標題：《Exa CEO：我們處於 AGI 瘋狂前夜，碼農迎來 “天堂” 時代，最受衝擊的是數學家》