首次曝光！OpenAI 遭遇罕見挫折，中斷開發新 AI 模型

去年年底，當聊天機器人 ChatGPT 開始在全球引發轟動的時候，人工智能研究公司 OpenAI 的工程師們就已經開始着手研究新的人工智能模型，併為其取代號 Arrakis。

OpenAI CEO Sam Altman

儘管 OpenAI 利用大語言模型（LLM）GPT-4 提升了 ChatGPT 的性能，但 Arrakis 模型將使該公司能夠以更低的成本運行聊天機器人。Arrakis 的成功也將幫助 OpenAI 向微軟展示其連續創建大語言模型的超能力，這對兩家公司完成 100 億美元投資和產品合作談判都具有重要意義。

但據知情人士透露，到 2023 年中期，OpenAI 取消了 Arrakis 的發佈，因為該模型的運行效率並沒有公司預期的那麼高。這一失誤意味着，OpenAI 失去了許多寶貴的發展時間，並需要將資源轉移到開發不同的模型上。此外，此次失敗也讓微軟的多位高管感到失望，因為後者曾花費巨資購買了在其產品中使用 OpenAI 新技術的權限。

Arrakis 項目受挫可能打破 OpenAI 不可戰勝的光環。此前，OpenAI 擊敗了人工智能先驅谷歌，並打造了歷史上增長最快的軟件業務之一。這表明，人工智能的前沿領域充滿了難以預測的陷阱。

雖然 Arrakis 的問題並沒有拖累 OpenAI 今年的業務，但隨着推出新大語言模型的競爭加劇，這家初創公司可能會在明年感受到影響。例如，谷歌即將推出人工智能模型 Gemini，並希望其能在編碼和其他能力以及響應的準確性方面擊敗 GPT-4。

就 OpenAI 而言，該公司繼續對其業界領先的模型進行改進，包括解碼圖像的能力，並計劃在 11 月份宣佈一系列新功能。大語言模型是 ChatGPT 等產品的基礎，OpenAI 內部甚至認為其有可能成為一種操作系統，包括用於個人設備，因為這些模型能夠編寫代碼、理解圖像和檢索文件等。

得益於 GPT-4 帶來的巨大優勢，OpenAI 的業務迅速膨脹。OpenAI 之所以能達到年化 13 億美元的收入（遠高於去年全年的 2800 萬美元），主要歸功於 GPT-4，它為 ChatGPT 的付費版本提供動力。在今年第二季度出售員工股份後，OpenAI 的賬面價值約為 300 億美元，但該公司正試圖大幅提高這一估值。

01 表現不及預期被叫停

據知情人士透露，OpenAI 從去年秋天開始開發 Arrakis，希望開發出一種與 GPT-4 能力相當但運行效率更高的模型，部分原因是利用了機器學習領域所謂的稀疏性 (Sparsity)。稀疏性指的是模型具有非常大的容量，但只有模型用於給定任務、樣本或標記的某些部分被激活。這樣，能夠顯著增加模型容量和能力，而不必成比例增加計算量。

谷歌等其他人工智能開發商也公開討論了他們對稀疏性的使用，OpenAI 成功地將這個概念納入了早期的軟件中。他們説，Arrakis 將允許 OpenAI 更廣泛地推廣其技術，因為該公司可以使用數量有限的專用服務器芯片來為其軟件提供支持。

到了今年春天，OpenAI 的研究人員開始訓練其新模型，其中包括使用先進的計算硬件來幫助模型處理大量數據，以便它能夠學習其中的模式。知情人士説，OpenAI 預計這將比訓練 GPT-4 的成本低得多。然而員工們很早就意識到該模式的表現不夠好，無法獲得預期的效果。在員工們花了大約一個月的時間試圖解決這些問題後，OpenAI 管理層決定叫停這個項目。

不過，儘管遭遇挫折，OpenAI 仍然可以將其在 Arrakis 上的工作整合到其他模型中。其中包括即將推出的模型 Gobi，它可以生成或分析文本和視覺效果，也被稱為多模態模型。

兩位知情人士表示，OpenAI 曾試圖提高模型的稀疏性從而降低運行成本，但 Arrakis 的表現依然低於該公司的預期。這個模型在早期測試中表現不錯，但其在之後的測試中表現不佳的原因尚不清楚。

一位知情人士説，Arrakis 是以《沙丘》系列中一顆沙漠星球命名的，這是對模型設計中使用稀疏性的一種象徵。OpenAI 其他模型的代號（包括 Gobi 和 Sahara），其公開為 GPT-3.5 Turbo，也使用了類似的沙漠象徵，以反映 OpenAI 正努力使模型變得稀疏。

類似這種感覺

兩位知情人士表示，自從 Arrakis 項目失敗後，OpenAI 研究人員開始轉向開發新版本的 GPT-4，以期更快地對用户需求進行響應。其中一位知情人士説，OpenAI 曾討論將更新後的模型稱為 GPT-4 Turbo，這也是 OpenAI 在 Arrakis 失敗之前考慮過的對外名稱。

對於 OpenAI 來説，隨着人們對該技術成本的擔憂日益加劇，以及開源替代方案的激增，讓其模型變得更便宜、更高效是他們的當務之急。OpenAI 發言人未予置評。

知情人士表示，微軟使用 OpenAI 的 GPT 模型來支持 Office 365 應用和其他服務中的人工智能功能，並預計 Arrakis 將提高性能並降低這些功能的成本。微軟搜索引擎必應依靠 GPT-4 和其他模型為類似 ChatGPT 的聊天機器人提供支持，該公司原本希望在 2023 年初就能用上 Arrakis 模型，但這個目標最終未能實現。

這次升級失敗在商業上可能給微軟帶來了很大損失。因為很可能在早期發佈產品時，微軟是按照該計劃可成功的預期進行定價的。根據華爾街日報的報道，微軟的拳頭 AI 產品 GitHub Copilot 定價 10 美元，而平均每個月在每個用户身上都要倒貼 20 美元，最高能達 80 美元。這表明，微軟一個月在這一款軟件中的虧損就高達 3000 萬美元，一年虧損預計過億。

據悉，自那以後，微軟始終致力於開發其他大語言模型。與 OpenAI 相比，這些大模型的運行成本可能更低。

02 降低成本成未來趨勢

許多行業從業者預計，稀疏性模型能夠降低人工智能開發成本。在今年 8 月的一次會議上，谷歌首席科學家、Gemini 人工智能模型的主要開發者傑夫·迪恩 (Jeff Dean) 表示，未來幾年，該行業將朝着稀疏性模型的方向發展。

與 Llama 2 等 “更密集” 的模型不同，稀疏性模型只調用模型內的某些計算，即完成任務所需的參數，使該過程更具成本效益。迪恩説：“稀疏計算將是未來的一個重要趨勢！”

許多人工智能從業者説，增加稀疏性的一種方法是通過一種被稱為 “混合專家模型” 的技術。在這種技術中，大型模型的特定部分被訓練來處理某些任務。換句話説，這些子模型成為執行這些任務的專家，這樣就不需要觸發整個模型。知情人士稱，OpenAI 將這項技術納入了 GPT-4, Arrakis 也會這樣做。

GPT4 是由多專家模型組成的稀疏模型

加州大學伯克利分校的計算機科學教授伊安·斯托伊卡 (Ion Stoica) 在一封電子郵件中寫道：“一般來説，專家模型的數量越多，模型就越稀疏，效率也越高。然而，這也可能會導致結果不那麼準確。”

本文作者：金鹿，來源： (ID:qqtech)，原文標題：《首次曝光！OpenAI 遭遇罕見挫折，中斷開發新 AI 模型》

風險提示及免責條款

市場有風險，投資需謹慎。本文不構成個人投資建議，也未考慮到個別用户特殊的投資目標、財務狀況或需要。用户應考慮本文中的任何意見、觀點或結論是否符合其特定狀況。據此投資，責任自負。