OpenAI 研究负责人 Noam Brown 认为 AI‘推理’ 模型本可以在几十年前就问世

諾姆·布朗（Noam Brown），OpenAI 的 AI 推理研究負責人表示，如果研究人員 “知道 [正確的] 方法” 和算法，像 OpenAI 的 o1 這樣的 “推理” AI 模型可能在 20 年前就能問世。

布朗在週三於聖荷西舉行的英偉達 GTC 大會的一個小組討論中表示：“有各種原因導致這個研究方向被忽視。我在研究過程中注意到，好的，缺少了一些東西。人類在困難情況下采取行動之前會花費大量時間思考。也許這在 AI 中會非常有用。”

布朗是 o1 的主要設計者之一，該 AI 模型採用了一種稱為測試時推理（test-time inference）的技術，在回應查詢之前進行 “思考”。測試時推理涉及對運行模型進行額外計算，以推動一種 “推理” 形式。一般來説，所謂的推理模型在準確性和可靠性上優於傳統模型，特別是在數學和科學等領域。

然而，布朗強調，預訓練——在越來越大的數據集上訓練越來越大的模型——並不是完全 “死了”。包括 OpenAI 在內的 AI 實驗室曾經將大部分精力投入到擴大預訓練上。現在，他們根據布朗的説法，在預訓練和測試時推理之間分配時間，這兩種方法被布朗描述為互補的。

在小組討論中，有人問布朗，考慮到學術機構普遍缺乏計算資源，學術界是否有希望進行與 OpenAI 等 AI 實驗室規模相當的實驗。他承認，隨着模型變得越來越計算密集，近年來這變得更加困難，但學術界可以通過探索需要較少計算的領域（如模型架構設計）來產生影響。

布朗表示：“[這] 是前沿實驗室 [與學術界] 之間合作的機會。毫無疑問，前沿實驗室正在關注學術出版物，並仔細思考，好的，這是否提出了一個有説服力的論點，如果進一步擴大，這將非常有效。如果論文中有這樣的有説服力的論點，你知道，我們會在這些實驗室中進行調查。”

布朗的評論正值特朗普政府對科學撥款進行大幅削減之際。包括諾貝爾獎得主傑弗裏·辛頓（Geoffrey Hinton）在內的 AI 專家批評這些削減，稱這可能威脅到國內外的 AI 研究工作。

布朗指出，AI 基準測試是學術界可以產生重大影響的一個領域。他説：“AI 基準的現狀真的很糟糕，而這並不需要大量計算。”

正如我們之前所寫，今天流行的 AI 基準往往測試一些深奧的知識，並且給出的分數與大多數人關心的任務的熟練程度相關性較差。這導致了對模型能力和改進的廣泛混淆。