AMD MI300 絕殺英偉達 H100？

面對即將到來的 AI 芯片大決戰，不少芯片初創公司躍躍欲試，希望一舉打破英偉達的壟斷地位。而 AMD 的 MI300，在部署 32K 上下文窗口的 GPT-4 模型時，居然比 H100 效果更好？

AI 芯片大決戰，即將來臨！

AI 硬件開發商初創公司的未來會怎樣？

Tenstorrent CEO David Bennett 直言不諱地表示，在我們這個行業，大部分初創公司的結局就是倒閉。

該如何生存？他建議初創企業應該保持靈活性，避免將自己侷限在狹隘的用例中。

這裏，Bennett 指的並不是某個小眾市場， 而是由 SiMa.ai 到 Cerebras 等數十家公司組成的一個廣泛集團。他們共同籌集了數十億美元的風投，來對抗這個市場的領導者——英偉達。

Bennett 深諳此道。他曾在 AMD 從事銷售工作十多年。

而他目前的僱主 Tenstorrent 的 CEO，是 Jim Keller，一位硬件傳奇人物。他曾開發出支持 iPhone 4 和 iPad 2 的蘋果 A4 和 A5 處理器，並在 2016 年至 2018 年負責特斯拉自動駕駛汽車的硬件工作。

Tenstorrent 公司已經從富達風投和現代汽車等投資者籌集了超過 3 億美元的資金，它遵循了 Bennett 的建議：從芯片到雲計算等，提供一切服務。

Bennett 表示，如今的芯片初創公司，大致都是在「為 AI 製造專用硬件」和「依賴當下流行模式」這兩者之間徘徊。

英偉達的劣勢：很難從頭製造芯片

英偉達的 AI 芯片 GPU 起家的故事，實際上為今天的芯片初創公司提供了優勢。

圖形處理單元起初是為計算機圖形學提供動力的，但由於它能並行執行多種計算，才在 AI 應用領域大放異彩。

不過，但這一意外也給英偉達帶來了不利因素——現在，英偉達很難在不影響現有 GPU 業務的情況下，從頭開始製造芯片了，而這，就給了新興初創公司提供了機會，製造專為 AI 打造的新硬件。

比如，Tenstorrent 的工程師就為未來的稀疏神經網絡設計了 Grayskull 芯片，在這種網絡中，冗餘信息可以被去除。

儘管如此，Bennett 認為，專注於為大語言模型構建芯片的初創公司，和 Transformer 架構捆綁得太緊了。

在這種架構下，基於 Transformer 的模型基本是在預測最有可能出現的下一個單詞，因此它們一直被詬病生成的回答是基於概率，而非基於推理。

這也就意味着，在當前的 AI 熱潮中，這些模型架構可能無法倖存下來。

畢竟，由於發展速度太快，如今的 LLM 壽命相對較短。昨天還炙手可熱的模型，一兩週後可能就會銷聲匿跡。

另一個對硬件公司來説風險很大的領域，就是製造專門用於推理的芯片。

這方面的代表是芯片開發商 d-Matrix，它計劃在明年上半年發佈推理專用芯片。

乍一看，這個策略似乎不錯。生成式 AI 應用的用户現在會越來越多地利用現有的專有或開源模型，而不是從頭開始構建自己的模型。

正因如此，許多人認為，應該在模型推理上花更多錢，而非模型訓練上。

雖然從商業角度來看，這可能是一個明智之舉，但 Bennett 認為，過於狹隘地專注於推理，會阻礙硬件開發人員為其他可能更受歡迎的用例提供服務。

例如，對於運行模型所需的低精度計算，純推理芯片就夠了。

但是，如果開發者想要微調大模型，就很可能需要能處理更高精度計算的芯片了。

尖端芯片，把 GPU 和 CPU 放在一起

為了在即將到來的 AI 芯片大決戰中倖存，芯片開發商需要改變芯片的架構。

今天，大多數芯片都是把 GPU 和 CPU 分開的。前者能夠同時執行多種計算，後者負責執行更多的通用指令，管理更廣泛的系統操作。

然而越來越多的尖端芯片（如英偉達的 Grace Hopper 超級芯片和 AMD 即將推出的 MI300A），都將 GPU 和 CPU 放在一起。

這種佈局可以讓 CPU 更快地準備數據，將數據加載到 GPU 上，從而加快模型的訓練。

另外，硬件初創公司想要打破英偉達的市場主導地位，還面臨着一個最大的障礙，就是軟件優勢。

英偉達用於編寫機器學習應用程序的 Cuda 軟件，只能在自家芯片上運行。而這實際上就把開發者鎖定在了英偉達 GPU 上。

AMD MI300 跑 GPT-4 更 6

英偉達的霸主地位，就這麼難以撼動？

Semianalysis 記者 Dylan Patel 和 Myron Xie 最近就發文稱，AMD 的 MI300 在性價比方面，將會明顯優於英偉達的 H100！

他們表示，隨着新一代 MI300 的推出，AMD 即將成為英偉達和谷歌在 LLM 推理領域唯一的競爭對手。

相比之下，Groq、SambaNova、英特爾、亞馬遜、微軟等公司仍無法與之抗衡。

此外，為了應對英偉達基於 CUDA 構建的護城河，AMD 一直在大力投資自己的 RoCM 軟件、PyTorch 生態系統和 OpenAI 的 Triton。

隨着 Databricks、AI21、Lamini、Moreph 等公司開始使用 AMD GPU 進行推理/訓練，AMD 自己的生態也愈發完善。

據業內人士透露，擁有更大顯存的 MI300，在部署 32K 上下文窗口的 GPT-4 模型時效果更好。

具體來説，與 H100 相比，MI300 的性能優勢在 20% 到 25% 之間，具體取決於上下文長度和提示長度/每次查詢輸出的 token 數量。

再加上更低廉的價格，MI300 在性價比方面，將會明顯優於英偉達的 H100，甚至是 H200。

大廠紛紛下單

目前，微軟、Meta、甲骨文、谷歌、Supermicro/Quantadirect、亞馬遜等公司已經向 AMD 下了大約 205,000 台 MI300 的訂單。

在這之中，有 120,000 台專門供應給微軟，25,000 台給 Meta，12,000 台給甲骨文，8,000 台給谷歌，5,000 台給亞馬遜公司，35,000 台給其他公司。

而且由於數量巨大，微軟購買 MI300 的價格預計要比其他客户低上不少。

為了計算 MI300 在明年為 AMD 帶來的收入，需要從兩個角度進行分析：AMD 能確保多少供應量，以及主要客户會訂購多少。

在供應方面，MI300 的產能將在年內逐步提升，但由於英偉達 B100 會在第二季度開始出貨，並在第三季度隨着性價比更高的風冷版的推出而大幅提升，這將在很大程度上影響 AMD 在第四季度的出貨量。

同時，還需要考慮內存製造商的 HBM 產量、CoWoS 產量、封裝產量以及使用 CoWoS 生產的每種加速器的情況，包括英偉達、AMD、Google/Broadcom、Meta/Broadcom、Intel/Al Chip、Amazon/Al Chip、Amazon/Marvell、Microsoft/GUC 等。

即便如此，業內依然認為 MI300X 第四季度的出貨量可以達到 110,000 台。

客户方面，微軟、Meta、甲骨文、谷歌、Supermicro/Quantadirect 和亞馬遜是訂單的主要來源，但也有一些訂單來自供應鏈的其他部分，包括一些用於 HPC 型應用的 MI300A。

利潤方面，英偉達並沒有降價的跡象，只是在價格不變的情況下增加了 HBM 容量/帶寬。而與英偉達超過 80% 的利潤率相比，AMD 在 MI300 上的利潤率僅勉強超過了 50%。

AMD 首席執行官蘇姿豐表示，基於公司在 AI 方面的快速進展以及雲計算客户的購買承諾，數據中心 GPU 的收入預計將在第四季度達到 4 億美元，2024 年將超過 20 億美元。

這一增長也將使 MI300 成為 AMD 歷史上銷售額最快達到 10 億美元的產品。

對此，業內對於 MI300X 的銷售額則更加樂觀——預期可以達到 35 億美元。

從 AMD 目前在 LLM 訓練和推理領域小於 0.1% 的市場份額來看，AMD 在數據中心領域的市場份額依然會穩步增長。

本文作者：好睏 Aeneas，本文來源：新智元，原文標題：《AMD MI300 絕殺英偉達 H100？跑 GPT-4 性能超 25%，AI 芯片大決戰一觸即發》

風險提示及免責條款

市場有風險，投資需謹慎。本文不構成個人投資建議，也未考慮到個別用户特殊的投資目標、財務狀況或需要。用户應考慮本文中的任何意見、觀點或結論是否符合其特定狀況。據此投資，責任自負。