GPT-4 突然降智，爆料 OpenAI 重新設計構架，用 MOE 降本增效

最近一段時間，很多 OpenAI 的用户反應，GPT-4 變傻了！

大家普遍認為 GPT-4 從 5 月份開始，生成內容的速度變快了，但是內容的質量下降很嚴重。

甚至有 OpenAI 論壇中的用户把自己生成的內容貼了出來，説對比 2 個月前相同的 prompt 生成的內容，現在 GPT-4 的能力最多能叫 GPT-3.6。

紛紛表態心疼自己出的這每個月的 20 刀。

不過看完這麼多 GPT-4 重度用户的吐槽之後，小編突然開始感嘆：

GPT-4 確實是領先太多了。

領先程度已經到了，其他家的大模型都在加班加點的幾天出一個更新版本，希望儘快趕上 OpenAI。

他自己家倒好，悄悄「降本增效」「反向升級」，當起了大模型圈裏的「反內卷標兵」。

可能導致性能衰退的原因

對於 GPT-4 表現降級，用户似乎都已經達成共識，已經開始討論 GPT-4「衰退」的原因了。

根據外媒報道，有些語言模型領域內的專家猜測，OpenAI 正在創建多個行為類似於大型模型但運行成本較低的小型 GPT-4 模型。

根據一個名叫 Sharon Zhou 的專家的説法，OpenAI 採用了一種稱為「混合專家模型」（Mixture of Experts，MOE）的構架來搭建 GPT-4。

每個較小的專家模型都在不同的任務和主題領域進行訓練。

可能會有一個專門針對生物學的迷你 GPT-4 模型，或者其他專門針對物理、化學等領域的迷你模型。

當一個 GPT-4 用户提問時，新系統判斷之後會把提示發送給某一個或者幾個專家模型。

「這個思路已經存在一段時間了，這是一個自然的發展方向。」Zhou 説。

Zhou 將這種情況比作「忒修斯之船」，船上的各個部件被逐漸更換，整條船慢慢變成了一條新船。

她説：「OpenAI 正在將 GPT-4 變成一支由小型船隻組成的船隊。

從我的角度來看，這是一個新模型，但是可能很多人也不會在意這個變化。」

Allen 人工智能研究所創始首席執行官 Oren Etzioni 在外媒的採訪中寫到：「我覺得這些猜測大致是準確的，雖然沒有辦法確切證實。」

他解釋説，使用 MOE 有兩個主要原因：更好的生成響應和更便宜、更快的響應。

Etzioni 補充説：「正確的搭配混合專家模型將同時保證這兩方面的優勢，但和任何事情一樣，成本和質量之間通常是需要取捨的。」

如果這種假設成立的話，OpenAI 在降低成本方面可能確實犧牲了一些質量。

另一個佐證就是，OpenAI 的創始人 Greg Brockman 曾在自己共同參與的研究中提到了 MOE 這一技術路徑。

「通過混合專家模型的（MoE）方法，每次只使用網絡的一小部分來計算任何一個輸入的輸出。這可以在不增加計算成本的情況下增加更多參數。」Brockman 和他的同事 Lilian Weng 在論文中寫道。

性能下降可能和消除有害內容有關

有些網友覺得可能是 OpenAI 相對保守的道德政策降低了模型回覆的質量。

在 OpenAI 官方論壇中 GPT 相關的子版塊，那些認為 ChatGPT 的性能遭到了「降級」的帖子中，許多人提到了 ChatGPT 在 OpenAI 採取新的內容限制之前對於 Prompt 的包容性有了很大的變化。

側面支持了 OpenAI 可能出於安全性的考慮，控制了模型的輸出能力和範圍的觀點。

在 YCombinator 的討論中，有網友提出，從 OpenAI 開始宣佈關注安全問題以後，模型的表現就越來越糟糕。

以 GPT-4 在最初發布報告中，讓 GPT-4 使用 TikZ（TikZ 可能是在 LaTex 中創建圖形元素的最複雜，最強大的工具）繪製獨角獸這一任務為例，在後續發佈的 GPT-4 中難以復現報告上的結果，而且表現也越來越差。

另一方面，網友認為 GPT-4 性能衰退的原因，可能是人類出於安全考慮向 GPT-4 灌輸了一套相互矛盾的信念。

而這種為了安全選擇消除「壞念頭」的做法，顯而易見會阻止 GPT-4 對事物更加深刻的認識和理解。

事實上，OpenAI 設置了各種過濾器來防止惡意行為，例如暴力，種族主義或仇恨言論。

但是，這些過濾器通常會干擾正常的使用，例如小説寫作、思想頭腦風暴以及其他形式的創作。

雖然很難衡量這些變化的影響，但 OpenAI 的創始人 Sam Altman 承認了政策限制會干擾用户體驗。

除此之外，在 5 月 29 日 Humanloop 聯合創始人 Raza 與 Sam Altman 的對話中，Altman 提到了 OpenAI 目前嚴重受到 GPU 數量的限制。

在 ChatGPT 突破了 1 億用户大關、月活達到 18 億次的情形下，OpenAI 的服務器經常超負荷運轉。

而算力的緊缺不僅推遲了他們許多短期計劃，也導致了許多來自客户對 GPT 回答內容可靠性的抱怨和爭議。

也許原因在這屆網友身上？

在官方技術發言人 Logan.GPT 的回應中，表明了 GPT-4 在 API 模式中質量並沒有下降。

而就在昨天，OpenAI 產品副總裁 Peter Welinder 評論了這一傳言。

「不，我們沒有讓 GPT-4 變笨，恰恰相反：我們讓每個新版本都比前一個版本更聰明。」

對於網友提出的問題，他的理解是，「當你更多地使用它時，你會開始注意到以前沒有注意到的問題。」

言下之意是，GPT-4 本來就沒之前那麼強，現在的 GPT-4 才是它真正的實力。

有那麼一絲凡爾賽的感覺。

你説你沒改過，然後又説每個版本都更好了，不是自相矛盾嗎？

你説的這個假設不成立，同樣的提示詞 7 月的回答就是比 6 月的差！

不過，確實有網友對 GPT-4 的性能衰退也有不同的解釋：

從感知退化的心理學角度來説，在 GPT-4 初次曝光帶給人們的驚喜消失，並逐漸深入我們日常生活使用後，人們就會對它的能力習以為常。

新鮮勁兒一過，用户對其的容忍度也隨之降低，轉而更加關注技術和使用上的缺陷。

此外，在 Reddit 上發帖認為 GPT-4 性能衰退的網友，在最近的更新中表明，那天的提問可能是受到了心態的影響，因為在這之後的 GPT-4 工作一直都很順利。

參考資料：

https://the-decoder.com/openai-comments-on-reports-of-gpt-4-performance-loss/

本文作者：新智元，本文來源：新智元，原文標題：《GPT-4 突然降智，爆料 OpenAI 重新設計構架，用 MOE 降本增效，官方闢謠網友卻不買賬》。