DeepSeek V3 "Error at the Door": I am ChatGPT

華爾街見聞
2024.12.29 05:50
portai
I'm PortAI, I can summarize articles.

DeepSeek V3 近期引發熱議,因其在測試中錯誤地稱自己為 ChatGPT。儘管有網友懷疑 DeepSeek V3 是否在 ChatGPT 的輸出上進行訓練,但整體討論認為這種可能性不大。網友 Riley Goodside 指出,DeepSeek V3 的表現與其訓練數據無關,且在 Pile 測試中得分接近 Llama 3.1 405B,顯示其質量不受 ChatGPT 數據影響。

要説這兩天大模型圈的頂流話題,那絕對是非 DeepSeek V3 莫屬了。

不過在網友們紛紛測試之際,有個 bug 也成了熱議的焦點——

只是少了一個問號,DeepSeek V3 竟然稱自己是 ChatGPT。

甚至讓它講個笑話,生成的結果也是跟 ChatGPT 一樣:

加之 DeepSeek V3 這次爆火的一個亮點,就是訓練只花了 557.6 萬美元的成本。

於是乎,有人就開始懷疑了:它不會是在 ChatGPT 的輸出基礎上訓練的吧?

好巧不巧,Altman也發了一個狀態,似乎在暗諷着什麼……

不過 DeepSeek V3 並非是第一個出現“報錯家門”的大模型。

例如Gemini就曾説過自己是百度的文心一言……

那麼這到底是怎麼一回事?

為什麼 DeepSeek V3 報錯家門?

首先需要強調的一點是,從目前網友們整體討論的觀點來看,説 DeepSeek V3 是在 ChatGPT 輸出上訓練的可能性不大

之所以這麼説,正如網友 Riley Goodside 所總結的那樣——因為 ChatGPT 的影子無處不在。

即便 DeepSeek V3 故意用 ChatGPT 的輸出做了訓練,但這並不重要。所有在 ChatGPT 之後出現的大模型,幾乎都見過它。

例如 ShareGPT,一個並不新鮮的 ChatGPT 對話數據集,許多人已經嘗試在它和其它 ChatGPT 數據源上進行調整。但即便如此,也沒能出現 DeepSeek V3 級別的大模型。

緊接着,Riley Goodside 又拿出了 DeepSeek V3 報告中的一些證據:

而且要是用了 ChatGPT 數據的話,有些關於 DeepSeek V3 質量的問題是解釋不通的。

例如 Pile 測試(基礎模型壓縮 Pile 的效果),DeepSeek V3 得分幾乎與 Llama 3.1 405B 相當,這跟它接沒接觸 ChatGPT 數據無關。

而且報告稱 95% 的 GPU-hours 用於預訓練基礎模型,即便是跟 ChatGPT 數據有關,那這部分也會在 post-training 階段發生(後 5%)。

而比起用沒用 ChatGPT 數據,或許我們應當更加關注的是為什麼大模型會頻繁出現 “報錯家門” 的問題。

TechCrunch 針對這個問題給出了一句犀利的點評:

因為 AI 公司們獲取數據的地方——網絡,正在充斥着 AI 垃圾。

畢竟歐盟的一份報告曾預測,到 2026 年,90% 的在線內容可能是 AI 生成的。

這種 “AI 污染” 就會讓 “訓練數據徹底過濾 AI 的輸出” 變得困難。

AI Now Institute 的首席科學家 Heidy Khlaaf 則表示:

儘管存在風險,開發者依然被從現有 AI 模型中 “蒸餾” 知識所帶來的成本節約所吸引。

意外地在 ChatGPT 或 GPT-4 輸出上進行訓練的模型,也不一定會展示出讓人想起 OpenAI 定製消息的輸出。

那麼現在對於網友們熱議的問題,量子位進行了一波實測,DeepSeek V3 目前還沒有解決這個 bug。

依舊是少了個問號,回答結果會不一樣:

DeepSeek V3 更多玩法

不過有一説一,絕大部分網友對於 DeepSeek V3 的能力是給予了大大的肯定。

從各路 AI 大佬們集體直呼 “優雅”中就能印證這一點。

而就在這兩天,網友們陸續曬出了更多 DeepSeek V3 加持的實用玩法

例如有網友拿 DeepSeek V3 和 Claude Sonnet 3.5 一決高下,在 Scroll Hub 中分別用它倆創建網站

博主在測試之後,認為 DeepSeek V3 完全勝出!

還有網友分享了用 DeepSeek V3 在AI 視頻編輯器中的體驗。

他表示以後不用再在 FFMPEG 命令上浪費時間了,DeepSeek V3 不僅免費,還能改變你的工作流程:

AI 編程神器Cursor也能跟 DeepSeek V3 結合,來看一個做貪吃蛇的案例:

嗯,DeepSeek V3 是有點好用在身上的。

One More Thing

對於此前公佈的 53 頁論文,也有網友關注到了一個非技術性的細節——

貢獻列表中,不僅展示了技術人員,還有數據註釋和商務等工作人員:

網友認為這種做法非常符合 DeepSeek 的調性:

本文作者:量子位,來源:量子位,原文標題:《DeepSeek V3“報錯家門”:我是 ChatGPT》

風險提示及免責條款
市場有風險,投資需謹慎。本文不構成個人投資建議,也未考慮到個別用户特殊的投資目標、財務狀況或需要。用户應考慮本文中的任何意見、觀點或結論是否符合其特定狀況。據此投資,責任自負。