GPT-5 被 5 萬張 H100 卡脖子!Altman 急籌數十億美元,欲取代英偉達建起 AI 芯片帝國

華爾街見聞
2024.01.22 07:05
portai
I'm PortAI, I can summarize articles.

最近,OpenAI 的 GPT-5 訓練需要大量的芯片資源,為了不讓英偉達壟斷市場,Sam Altman 計劃籌集數十億美元,建立全球性的半導體晶圓廠網絡。Altman 希望未來幾年內建成一個自給自足的半導體供應鏈帝國,以滿足 AI 技術的廣泛應用需求。他正在與中東投資者和台積電談判合作關係,以訓練和運行 AI 模型的芯片。Altman 認為算力和能源將成為未來世界的兩大貨幣。

Sam Altman 正在籌集數十億美元,建立一個全球性的半導體晶圓廠網絡!

這一事件背後的原因很可能就是,OpenAI 已經無「芯」訓練「GPT-5」了。

此前,據英國《金融時報》報道,OpenAI 正在開發一種新的 AI 模型,該模型將是 GPT-4 的「重大升級」,預計將於今年晚些時候發佈。

訓練 GPT-4,用了大約 25000 塊 A100 GPU 。而訓練 GPT-5,還需要 5 萬張 H100。如今,英偉達的 H100 售價為 2.5 萬至 3 萬美元。

英偉達的 AI 芯片,基本壟斷了市場,這一命脈怎能掌握在他人手中?

果然,最近外媒接連曝出,Sam Altman 正在和中東投資者以及台積電談判,展開合作關係,以訓練和運行 AI 模型的芯片。

算力貨幣決定着 OpenAI 的前途,絕不能把握在英偉達手裏!Altman 這次,是下定決心了。

訓 GPT-5,OpenAI 對芯片的需求只會越來越大

Altman 的野心是,隨着 AI 技術的廣泛應用,在未來幾年建成一個自給自足的半導體供應鏈帝國。

所以,OpenAI 也有意跟英特爾、台積電和三星等行業巨頭競爭了?

Altman 在達沃斯經濟論壇上表示,今後世界的兩大貨幣,就是算力和能源

比起亞馬遜、谷歌、微軟等大廠,Sam Altman 顯然有更宏大的計劃:建立一個 AI 芯片工廠網絡。

Altman 應該是很確信,現在的台積電、三星、英特爾之類的代工廠,未來幾年內肯定無法滿足對 AI 芯片的需求。

現在,Altman 正在籌集數十億美元,目標就是建立一個遍佈全球的 AI 芯片工廠網絡。

現在,他正在和多家潛在的大型投資者進行談判,包括總部設在阿布扎比的 G42 和軟銀集團。

顯然,在 AGI 時代,芯片會供不應求。Altman 現在十分擔心,隨着 AI 技術的日益普及,現有的芯片供應將無法滿足大規模部署的需求。

目前生產的 AI 芯片,遠遠落後於預期的需求。只有立刻行動,才能確保十年內能有充足的芯片供應。

然而,建立一個全球性的芯片工廠網絡需要龐大的投資,並且耗時多年。

而且,與行業中其他公司不同的是,建設和維護半導體工廠的成本要高得多。一個先進工廠的建設成本,可能高達數百億美元。

亞馬遜、谷歌、微軟都傾向於設計自家的定製芯片,將製造外包,這也是因為建造和維護半導體的晶圓廠的成本,實在太高了!

畢竟,建造一家最先進的晶圓廠可能需要數百億美元的投資,而建立這樣的設施網絡可能需要數年時間。

根據彭博社的報道,僅在 OpenAI 與 G42 的談判中,涉及金額就接近 80 億到 100 億美元。

OpenAI 新金主:中東土豪

OpenAI 的前任金主是微軟。而現在為了籌資,Altman 聯繫上了中東土豪們,比如阿聯酋的一些投資者。

其中一位,就是阿布扎比最富有、最有影響力的人物之一——謝赫·塔赫努恩。

謝赫·塔赫努恩是阿聯酋最有權勢的人之一,是總統謝赫·穆罕默德的兄弟,還是阿聯酋的國家安全顧問。

他還負責監督迅速擴張的商業帝國,並擔任阿布扎比若干最強國家投資基金的主席。其中包括 8000 億美元的阿布扎比投資局和另一家國有投資實體 ADQ。

另外,他還擔任國際控股公司和 G42 的主席。前者是一家龐大的企業集團,已迅速成為阿聯酋最大的上市公司;而 G42 是一家雄心勃勃的 AI 公司,已經和微軟、OpenAI 建立起了合作伙伴關係。

目前還不清楚 Altman 具體的籌款金額,但要與市值接近 1.5 萬億美元的英偉達競爭,保守來説至少會花費數十億美元。

G42 集團 CEO Peng Xiao 和 Sam Altman 簽訂協議

別的不説,Sam Altman 的社交手腕,是真的達到了人類天花板級別。

建廠要花費的,是天文數字

咱們來盤一盤,要建起一座晶圓廠,Sam Altman 究竟需要花多少錢。

開發 2nm 或 3nm 工藝技術的成本,高達數十億美元,並且隨着工藝節點的縮小,這一成本還在上升。

同時,一個能夠大規模生產 3nm 或 2nm 芯片的現代晶圓廠,如今成本可達 300 億美元。

並且,晶圓廠的成本還在迅速上升,比如一台低數值孔徑(Low-NA)極紫外(EUV)光刻設備的價格,約為 2 億美元,而高數值孔徑(High-NA)的光刻機,預計售價在 3 億至 4 億美元之間。

一個領先的晶圓廠要想生產最先進的 AI 和高性能計算(HPC)芯片,這種設備怎麼也得備上若干台。

AI 浪潮中,英偉達坐收漁翁之利

現在,谷歌、亞馬遜、Meta、OpenAI 和微軟,都在使用英偉達的 GPU 來訓練 AI、向客户部署模型。僅 Meta 一家,就計劃在年底前為服務器安裝 340,000 塊 H100。

可以説,英偉達壟斷了目前的 AI 算力市場,並且手持定價權,這就導致其收入飛速增長。

像 Graphcore 這樣的芯片初創公司,已經很難與英偉達的主導地位競爭了,這是由軟件和硬件之間的相互作用造成的。僅僅製造一個更快的芯片,已經遠遠不夠的,何況這本身就相當困難。

顯然,各大科技公司都很早就開始佈局了。

亞馬遜、谷歌和微軟這樣的大科技公司是這麼做的——設計自己的定製半導體產品,將生產過程外包給其他公司。

現在,各家都到了收穫的季節。去年 11 月底,微軟就推出了首款 AI 芯片,同時,微軟也在和 AMD 加緊合作;23 年春季之前,Meta 也推出了自家芯片;谷歌和亞馬遜,則分別研發 TPU 和 Trainium 芯片多年。

微軟的最新 Azure Maia 100 芯片

OpenAI 曾怒甩 5100 萬刀狂買 AI 芯片

去年 12 月,Altman 就被曝出正在進行「芯片交易」,而這也疑似成為 OpenAI 宮斗的導火索。

當時有外媒曝出,OpenAI 在 2019 與 AI 芯片初創公司 Rain AI 簽訂了一份價值 5100 萬美元的意向書,會在 Rain AI 的芯片上市後購買芯片。

Rain AI 正在研發一種「類腦」NPU 芯片,能大幅降低 AI 算力的成本,預計將在 12 月流片,並於 2024 年 10 月開始供貨。

而且值得注意的是,Sam Altman 作為 Rain AI 的股東,本人也親自斥資,投入了 100 萬美元。

根據一位不願意公開身份的人士透露,Sam Altman 之前被 OpenAI 前董事會解僱,部分原因就是他的其他投資與 OpenAI 糾葛的關係。

據悉,Altman 曾為了這個代號為 Tigris 的項目在中東籌集資金

RainAI 開發的神經形態處理單元(NPU),能模仿人類大腦的功能,有希望提供比當今的 GPU 更高的處理能力和能源效率。

這個 NPU「類腦」芯片,號稱比 GPU 高出 100 倍的計算能力,而在訓練方面的能效,甚至比 GPU 高出 10000 倍。

Rain 的目標是提供一種芯片,既能用於模型和算法的訓練,又能用於之後的推理運行。

根據 Rain 的説法,這種芯片將允許 AI 模型根據周圍環境實時定製或微調。

——從這個角度來看,它並不是當下英偉達 H100 之類 GPU 的直接競品。

相關人士表示,這些功能對 OpenAI 來説是一個強大的吸引力,OpenAI 希望利用這些芯片來降低數據中心的成本,並將自己的模型部署在手機和手錶等設備中。

如果能夠開發成功,OpenAI 自然不會再受制於英偉達。

其實,Altman 的佈局很早。

早在 2018 年,他就領導了 Rain 的種子輪融資,一年後,OpenAI 通過了這份價值 5100 萬美元的芯片購買意向書。

當然,Altman 的計劃也不是一帆風順的。

此前 Rain 的領導層曾改組,公司的投資者也發生了變化。一個負責監管國家安全風險投資的跨部門政府機構,要求沙特阿拉伯附屬基金 Prosperity7 Ventures 出售其 Rain 的股份,之後,硅谷的 Grep VC 收購了這些股份。

——這一切變動,可能會增加 Rain 將新型芯片技術推向市場的難度,也使 OpenAI 的 5100 萬美元訂單的兑現日期,變得不太清晰。

總的來説,與 Rain 的這項交易也顯示,OpenAI 願意花費大量資金,來確保自己的 AI 項目所需的芯片供應。

現在,從 Rain AI 購買的價值 5100 萬美元的 AI 芯片,只是 OpenAI 在 AI 芯片上鉅額投入的一小部分而已。

OpenAI 的野心,正在悄悄部署

年前,OpenAI 就任命了前谷歌 TPU 的負責人為硬件主管,並且正在招聘「數據中心設施設計專家」。

消息稱,由芯片工程師 Richard Ho 領導生成式 AI 創業公司的新部門,幫助優化合作夥伴的數據中心網絡、機架和架構。

「他在 TPU 的創建中也發揮了重要作用。也曾在 DE Shaw 工作並設計過 ASIC。到目前為止,他更多地負責軟件硬件集成、DC 設計和加速器芯片選擇。但 OpenAI 最近也聘請了不少編譯器和內核方面的專家。」

另外,Altman 還曾與包括芯片設計公司 Arm 在內的半導體高管進行過討論,商討如何儘早設計出新的芯片,為 OpenAI 降低成本。

OpenAI 的 GPU 短缺有多嚴重?Altman:都先別用 ChatGPT 了

去年一整年,Sam Altman 都在抱怨 OpenAI 已經陷入了嚴重的 GPU 短缺。

生成式 AI 爆發仍舊沒有放緩,對算力提出了更高的要求。很多公司都在用英偉達性能極高的 H100 來訓練模型,但 H100 非常昂貴。

馬斯克就表示,GPU 如今比 drug 還緊俏。

Sam Altman 表示,OpenAI 已經嚴重受到 GPU 限制,不得不推遲了眾多短期計劃(微調、專用容量、32k 上下文窗口、多模態)。

甚至,因為 GPU 的短缺,Altman 都不希望有很多人使用 ChatGPT。

我們的 GPU 非常短缺,使用我們產品的人越少越好。

如果人們用的越少,我們會很開心,因為我們沒有足夠的 GPU。

OpenAI 許多用户都在抱怨 API 的可靠性和速度,對此 Sam Altman 解釋道,原因也是在於 GPU 太缺了。

訓練 GPT-5,需要 5 萬塊 H100,但此前曾有報道稱,英偉達最好的芯片 H100,將在 2024 年之前就會售罄。

如果市場上 GPU 跟不上,將會阻礙 OpenAI 提升和訓練新模型的能力。

如今到處奔走的 Altman,能為建立晶圓廠籌到數十億甚至數千億美元的資金嗎?能維持廠子的運營嗎?

目前我們只知道,他的舉動有可能改變整個代工市場的格局。

參考資料:

https://www.tomshardware.com/tech-industry/artificial-intelligence/openais-sam-altman-raises-billions-to-build-chip-empire-report

https://the-decoder.com/gpt-4-successor-reportedly-a-major-upgrade-openais-altman-in-talks-with-tsmc-for-ai-chips/

https://www.ft.com/content/1cdaadc3-b384-4f50-88ff-291c062c8376

風險提示及免責條款

市場有風險,投資需謹慎。本文不構成個人投資建議,也未考慮到個別用户特殊的投資目標、財務狀況或需要。用户應考慮本文中的任何意見、觀點或結論是否符合其特定狀況。據此投資,責任自負。