“反覆橫跳” 馬斯克也要做大模型了？

前腳剛剛呼籲暫停 AI 開發至少 6 個月，後腳馬上 “暗中” 購買上萬個 GPU 推進 AIGC 項目，“整活王” 馬斯克又搞事情了。

據 Business Insider 當地時間 4 月 11 日報道，兩位知情人士透露，儘管馬斯克此前剛剛簽署公開信。但事實上，他卻在 “暗中” 推進新的生成式人工智能（AIGC）項目，併為此購買了上萬個 GPU（圖形處理器）。

據 Business Insider 消息，這 1 萬顯卡是買給推特的，推特版 GPT已在準備中，而且推特本身就擁有海量數據，存在一定優勢，該項目涉及創建一個生成式人工智能，推特將根據自己的海量數據進行訓練。

至於推特 GPT 究竟作用在何處，市場人士有兩種猜測：

其一，改進搜索。

因為馬斯克曾抱怨過這一功能，甚至還聘請過著名 iPhone 黑客 George Hotz 進行為期三個月的修復。不過似乎他和馬斯克的 “氣場不和”，不僅曾經拒絕了特斯拉的 offer 邀請，在推特本來説好的三個月，也只呆了一個月就走了。

其二，可能是廣告營銷。

廣告是社交媒體的支柱，馬斯克在收購推特之後搞了很多新政策，不少廣告商直接削減支出或乾脆不合作了，導致光是推特去年 12 月的收入就比同期下降了約 40%。

而如果有了大模型來做生成式 AI 創作，無論是設計素材還是提供 idea，都可能會提高推特在廣告營銷方面的效率和收益。

馬斯克與 OpenAI 的愛恨情仇

今年 3 月，在 GPT-3.5 迭代到 GPT-4，兩個月就獲得 1 億活躍用户後，馬斯克等科技圈大佬帶頭潑下冷水，他們發佈了一封聯名公開信，呼籲所有 AI 實驗室立即暫停訓練比 GPT-4 更強大的 AI 系統至少 6 個月。

而一眾大佬的叫停理由是：“希望暫停研發比 GPT-4 更強大的 AI 至少 6 個月，AI 可能對社會和人類構成潛在風險；近期各人工智能實驗室陷入了失控的研發競爭，如果不能立即暫停，呼籲政府可以介入。

現在問題就來了，前腳剛剛呼籲暫停研發，後腳自己馬上就動手搞了，為什麼馬斯克態度如此反覆？

據媒體報道，實際上，馬斯克反對的可能不是 AI，而是 OpenAI 和 GPT。

據新興媒體 Semafor 透露，馬斯克與 OpenAI 的不和更多是出於個人原因。2018 年，馬斯克告訴 OpenAI 的聯合創始人山姆·奧特曼，該實驗室落後於谷歌太多。馬斯克建議自己應該是經營公司的人，奧特曼和 OpenAI 的其他創始人拒絕了這一提議，權力鬥爭導致馬斯克離開 OpenAI。

不過美國《財富》雜誌當時報道稱，離開的原因是因為馬斯克雖然支持人工智能，但特斯拉智能駕駛技術與 OpenAI 之間有 “潛在利益衝突”。

在公司創立之初，馬斯克承諾向 OpenA 提供大約 10 億美元，而據 Semafor 的報道，該資助在他離開後就停止了。

此外，自 ChatGPT 誕生以來，馬斯克也沒少"針對"OpenAI。

例如其在推特上曾表示，“我捐 1 億美金成立的非營利組織怎麼就變成一個 300 億市值的營利性公司了呢？如果這是合法的，為什麼其他人不這樣做？”

此外，在過去 OpenAI 是可以使用推特數據進行 AI 訓練的，但 ChatGPT 發佈的第 5 天，馬斯克就下令暫停了這個權限。

算力需求將持續爆發

吃瓜歸吃瓜，最後我們重點再來聊一下算力的問題。

此次馬斯克購買的 1 萬張 GPU 大概是個什麼概念？事實上，特斯拉最強超算 Dojo 也沒有這麼多，Dojo 在 2022 年升級後公佈的數據是 7360 塊 A100，雖然這次買的什麼型號還不清楚，但光從數量來説也着實不少。

另外，據 ARKInvest 預測，ChatGPT-4 參數量最高達 15000 億個，由於參數量與算力需求間存在正比關係，所以可推算 GPT-4 算力需求最高達到 31271 PFlop/s-day。

浙商證券表示，與此同時，國內外廠商加速佈局大模型，其參數量均達到千億級別，同步帶動算力需求爆發式增長。

華安證券還提到，類 chatGPT 大模型帶來的算力增長，毋庸置疑，但算力的需求，不止侷限於模型的投資初期，隨着 GPTAPI 的開放、下游應用多模態的成熟，對於的大模型的推理算力需求進一步提升。即在模型不斷更迭訓練中，算力需求提升；在模型應用推理中，算力需求進一步提升。由此，整個算力需求一如互聯網時期的流量需求，持續爆發。

其表示，整個大模型的算力需求包括訓練端與推理端。具體來看：首先是訓練端：算力需求，與模型參數、訓練數據集規模正相關。

其表示，未來的訓練端算力需求將是下述三大因素的乘積。

1) 參數規模。也即隨着 GPT 3 向更多參數的 GPT4、5 等發展。

2) 訓練集規模。

3) 投入大模型的企業增長。國內包括華為、百度、阿里巴巴、騰訊、字節等互聯網巨頭以及更多加入大模型研發的企業。

而在推理端：算力需求與模型參數數量、平均序列長度、併發需求量正相關。其表示，多模態之下，圖片、視頻生成需求的提升，在公式中將會增加平均序列長度，同時隨着併發需求的增長，整個推理算力需求大幅提升。同時 chatgpt 應用進一步豐富，在推理端的算力需求持續提升，或將遠遠超過訓練階段的算力需求。