Not just OpenAI's "Orion"! Google's and Anthropic AI's model development has also been reported to encounter bottlenecks

本文作者：李丹

來源：硬 AI

不止是 OpenAI 備受關注的下一代模型 “獵户座”（Orion），谷歌和 OpenAI 的勁敵、另一明星人工智能（AI）初創 Anthropic 也傳出了先進 AI 模型開發遭遇瓶頸的消息。

美東時間 11 月 13 日週三，彭博社報道援引兩名知情者的消息稱，OpenAI 今年 9 月完成了獵户座的首輪訓練，希望它能大大超越此前的一些版本，更接近 AI 超越人類這一目標，但獵户座未能達到公司期望的性能，比如截至夏末，該模型在嘗試回答未經訓練的編碼問題時還表現不佳。

知情者評價，總體而言，到目前為止，相比 GPT-4 超越 GPT-3.5 的表現，獵户座和 OpenAI 現有模型相比進步沒那麼大。

報道還援引其他三名知情者消息的稱，谷歌即將推出的新版 Gemini 並未達到內部預期，Anthropic 也推遲了被稱為的 3.5 Opus 的 Claude 模型計劃發佈時間。

報道認為上述三家公司開發 AI 模型面臨多重挑戰，他們越來越難以找到尚未開發的高質量人造訓練數據。例如獵户座的編碼性能未能令人滿意就部分源於缺乏足夠的編碼數據進行訓練。即使是適度的模型性能提升也可能不足以證明，打造和運行新模型的巨大成本合理，或者無法滿足重大升級的期望。

AI 模型開發瓶頸的問題挑戰了被很多初創甚至科技巨頭都奉為圭臬的定律 Scaling law，也讓 AI 大舉投資即實現通用人工智能（AGI）的可行性遭到質疑。

華爾街見聞曾提到，OpenAI 早在 2020 年就提出的該定律是指，大模型的最終性能主要與計算量、模型參數量和訓練數據量三者的大小相關，而與模型的具體結構（層數/深度/寬度）基本無關。今年 7 月微軟的首席技術官（CTO）Kevin Scott 還為這個定律辯護，稱 Scaling law 仍適用於當前業態——在擴張大模型的同時，邊際效益並沒有遞減。

巧的是，上週就有媒體爆料，OpenAI 發現獵户座 “沒有那麼大飛躍”，進步幅度遠不如前兩代旗艦模型。這一發現直接挑戰了 AI 領域一直奉行的 Scaling law。由於高質量訓練數據減少以及計算成本增加，OpenAI 的研究人員不得不開始探討是否有其他改進模型性能的方法。

例如，OpenAI 正在將更多代碼編寫功能嵌入其模型，並試圖開發一種軟件，可以接管個人電腦，通過執行點擊、 光標移動等其他操作， 完成網絡瀏覽器活動或應用程序的任務。

OpenAI 還成立了一個專門團隊，由之前負責預訓練的 Nick Ryder 領導，負責探索如何優化有限的訓練數據和調整擴展法的應用，保持模型改進的穩定性。

對於本週三的彭博報道，谷歌 DeepMind 發言人表示，公司 “對 Gemini 的進展感到滿意，我們會在準備就位時分享更多信息。” OpenAI 拒絕置評。Anthropic 也未置評，但提到了週一發佈的一段博客內容，在那段長達五小時的播客中，有 Anthropic CEO Dario Amodei 的發言。

Amodel 稱，人們所説的 scaling law 並不是一種定律，這是用詞不當，它不是通用的定律，而是經驗規律。Amodel 預計 scaling law 會繼續存在，不過並不確定。他説未來幾年有 “很多事” 可能會 “破壞” 實現更強大 AI 的進程，包括 “我們可能會耗盡數據。” 但他樂觀地認為 AI 公司會找到克服一切阻礙的方法。

對於彭博的報道，提供企業定製 AI 解決方案的公司 NossonAI 的創始人 Nosson Weissman 評論稱，報道並未讓他困惑，因為首先，他沒有看到在 AI 領域做出過重大貢獻的真正的專家表達過同樣看法，其次，我們經常看到模型方面取得重大進展，最後，他認為新聞媒體喜歡製造戲劇效果，這篇報道看來只是起了一個漂亮的戲劇性標題。