Existing paths are blocked? OpenAI and Amazon consider changing the training methods for large models

隨着人工智能領域競爭進入深水區，行業頂尖研究人員正對現有的模型訓練範式提出質疑。

來自 OpenAI、Thinking Machines Lab 以及亞馬遜的研究人員正在探討一種根本性的轉變：放棄目前通用的 “先預訓練、後後訓練” 的標準流程，轉而採用針對特定任務更早引入精選數據的訓練模式，以解決現有模型的效率低下和 “裂腦問題” 等缺陷。

這一潛在的轉變由亞馬遜的 David Luan 等人大力倡導。其核心觀點在於，目前的通用訓練路徑——即先賦予模型廣泛的世界知識（如詩歌或園藝），再針對特定任務（如代碼編寫或客户退款）進行微調——在邏輯上並不總是合理的。研究人員認為，如果模型的最終用途已經確定，那麼在預訓練階段就應引入與任務高度相關的精選數據，從而更直接地為最終目標服務。

這種方法論的調整若付諸實踐，將深刻改變 AI 行業的開發格局。這不僅意味着開發團隊可能不再需要按照預訓練和後後訓練進行人為分割，更預示着市場將從 “一個通用模型適應所有場景” 走向 “基於不同數據集構建專用模型” 的時代。這種轉變將迫使開發者在訓練初期就對數據進行更嚴格的篩選，從而決定模型在特定領域的專長與短板。

市場已經出現了這種分化的跡象。OpenAI 目前正通過路由器將 ChatGPT 的查詢分流至不同模型處理，並開發瞭如 GPT-5-Codex 等專用模型。這種策略反映出消費者對簡單聊天機器人的需求，與公司追求超級智能、科學研究（如火星殖民或疾病治療）等高端目標之間存在巨大差異。若進一步深化這一路線，OpenAI 可能需要徹底重組其研究團隊以適應完全不同的模型訓練需求。

重塑訓練邏輯：摒棄通用冗餘

目前的 AI 訓練規範在某種程度上模仿了人類的學習過程，即在童年時期積累廣泛的基礎知識，隨後學習特定技能。然而，行業內部開始反思這一流程的效率。David Luan 指出，對於一個旨在處理代碼或客户服務的模型而言，花費大量算力去學習完全不相關的領域（如詩歌或園藝）是一種資源浪費。

這種 “廣撒網” 式的預訓練雖然直觀，但也導致了諸如 “裂腦問題” 等技術瓶頸，即模型可能僅因提問方式的不同而給出錯誤的答案。新的思路主張將預訓練過程用於接觸與既定任務更相關的精選數據。OpenAI 和 Thinking Machines Lab 的研究人員對此表示認同，部分人士甚至建議取消不同訓練階段的獨立團隊，將人員整合為一個統一的訓練團隊，以提高針對性。

專用模型崛起與組織重構

這一變革將對 AI 模型的最終形態產生深遠影響。研究人員必須在訓練早期就決定納入哪些數據，這將直接決定模型的能力邊界。例如，在早期訓練中增加數學和代碼數據而減少散文數據，可能會造就一個卓越的編程助手，但犧牲其在創意寫作或與用户情感交流方面的能力。

這將導致未來 AI 市場不再依賴於對同一個預訓練模型進行後期修補，而是湧現出大量基於不同基礎數據集訓練的專用模型。據 OpenAI 內部情況，公司已經意識到這種需求分化。一方面是消費者希望 ChatGPT 回答簡單問題並充當聊天夥伴，另一方面是公司致力於推理模型和超級智能的前沿研究

。目前，OpenAI 雖然所有模型仍基於同一預訓練模型，但已通過路由技術和特定版本（如 GPT-5-Codex）來應對這種複雜性。如果未來轉向為不同目的訓練完全獨立的模型，將要求公司對研究團隊進行徹底的重組。

硬件突破與資本押注

在軟件訓練模式醖釀變革的同時，硬件領域的創新也在加速，資本正密切關注能提升能效的新技術。光子芯片初創公司 Neurophos 剛剛完成了由比爾·蓋茨旗下的 Gates Frontier 領投的 1.1 億美元 A 輪融資，微軟旗下的風險投資公司 M12 也參與其中。

Neurophos 致力於設計利用光而非電子進行 AI 數學運算的芯片。據該公司聯合創始人兼 CEO Patrick Bowen 介紹，其目標是在 2028 年交付一款芯片，其速度和效率將是英偉達 Blackwell 芯片的 50 倍。微軟高管 Marc Tremblay 表示，現代 AI 推理對電力和算力的需求巨大，行業需要計算層面的突破。

與此同時，OpenAI 也在加強自身的基礎設施建設。OpenAI 首席財務官 Sarah Friar 在世界經濟論壇上透露，該公司的定製推理芯片正在進行 “流片”，即製造前的最後一步。她還表示，去年宣佈的價值超過 5000 億美元的 Stargate 基礎設施項目已建成過半，且“進展超乎想象”，公司已在甲骨文的 Stargate 園區服務器上訓練模型。

行業整合與競爭動態

AI 領域的併購與融資活動持續活躍。據 The Information 數據，旨在定製 AI 模型的軟件公司 Lightning AI 與數據中心提供商 Voltage Park 合併，新公司估值超過 25 億美元。此外，Yelp 同意以 3 億美元收購 AI 代理初創公司 Hatch。谷歌 DeepMind 則通過許可協議聘請了語音 AI 初創公司 Hume AI 的 CEO 及多位頂尖工程師。

在巨頭動向方面，據彭博報道，蘋果正與谷歌談判，計劃利用其雲基礎設施及 TPU 芯片來推出更新版的 Siri，並計劃最早於 2027 年推出 AI 驅動的可穿戴設備。英偉達 CEO 黃仁勳據報正準備前往中國，試圖在這個戰略市場重新站穩腳跟。

在監管與倫理層面，Anthropic 發佈了 Claude 的新版 “憲法”，相比 2023 年的初版，新文件減少了指令性，給予模型更多判斷空間，並罕見地提及了模型可能具有某種 “意識” 或 “道德地位” 的可能性。白宮經濟顧問委員會則發佈報告預測，生成式 AI 將引發美國經濟的深刻轉型，有望顯著提振生產力和增長。