老黃深夜炸場，世界最強 AI 芯片 H200 震撼發佈！

英偉達的節奏，越來越可怕了。

就在剛剛，老黃又一次在深夜炸場——發佈目前世界最強的 AI 芯片 H200！

較前任霸主 H100，H200 的性能直接提升了 60% 到 90%。

不僅如此，這兩款芯片還是互相兼容的。這意味着，使用 H100 訓練/推理模型的企業，可以無縫更換成最新的 H200。

全世界的 AI 公司都陷入算力荒，英偉達的 GPU 已經千金難求。英偉達此前也表示，兩年一發布的架構節奏將轉變為一年一發布。

就在英偉達宣佈這一消息之際，AI 公司們正為尋找更多 H100 而焦頭爛額。

英偉達的高端芯片價值連城，已經成為貸款的抵押品。

誰擁有 H100，是硅谷最引人注目的頂級八卦

至於 H200 系統，英偉達表示預計將於明年二季度上市。

同在明年，英偉達還會發布基於 Blackwell 架構的 B100，並計劃在 2024 年將 H100 的產量增加兩倍，目標是生產 200 多萬塊 H100。

而在發佈會上，英偉達甚至全程沒有提任何競爭對手，只是不斷強調「英偉達的 AI 超級計算平台，能夠更快地解決世界上一些最重要的挑戰。」

隨着生成式 AI 的大爆炸，需求只會更大，而且，這還沒算上 H200 呢。贏麻了，老黃真的贏麻了！

141GB 超大顯存，性能直接翻倍！

H200，將為全球領先的 AI 計算平台增添動力。

它基於 Hopper 架構，配備英偉達 H200 Tensor Core GPU 和先進的顯存，因此可以為生成式 AI 和高性能計算工作負載處理海量數據。

英偉達 H200 是首款採用 HBM3e 的 GPU，擁有高達 141GB 的顯存。

與 A100 相比，H200 的容量幾乎翻了一番，帶寬也增加了 2.4 倍。與 H100 相比，H200 的帶寬則從 3.35TB/s 增加到了 4.8TB/s。

英偉達大規模與高性能計算副總裁 Ian Buck 表示——

要利用生成式人工智能和高性能計算應用創造智能，必須使用大型、快速的 GPU 顯存，來高速高效地處理海量數據。藉助 H200，業界領先的端到端人工智能超算平台的速度會變得更快，一些世界上最重要的挑戰，都可以被解決。

Llama 2 推理速度提升近 100%

跟前代架構相比，Hopper 架構已經實現了前所未有的性能飛躍，而 H100 持續的升級，和 TensorRT-LLM 強大的開源庫，都在不斷提高性能標準。

H200 的發佈，讓性能飛躍又升了一級，直接讓 Llama2 70B 模型的推理速度比 H100 提高近一倍！

H200 基於與 H100 相同的 Hopper 架構。這就意味着，除了新的顯存功能外，H200 還具有與 H100 相同的功能，例如 Transformer Engine，它可以加速基於 Transformer 架構的 LLM 和其他深度學習模型。

HGX H200 採用英偉達 NVLink 和 NVSwitch 高速互連技術，8 路 HGX H200 可提供超過 32 Petaflops 的 FP8 深度學習計算能力和 1.1TB 的超高顯存帶寬。

當用 H200 代替 H100，與英偉達 Grace CPU 搭配使用時，就組成了性能更加強勁的 GH200 Grace Hopper 超級芯片——專為大型 HPC 和 AI 應用而設計的計算模塊。

下面我們就來具體看看，相較於 H100，H200 的性能提升到底體現在哪些地方。

首先，H200 的性能提升最主要體現在大模型的推理性能表現上。

如上所説，在處理 Llama 2 等大語言模型時，H200 的推理速度比 H100 提高了接近 1 倍。

因為計算核心更新幅度不大，如果以訓練 175B 大小的 GPT-3 為例，性能提升大概在 10% 左右。

顯存帶寬對於高性能計算（HPC）應用程序至關重要，因為它可以實現更快的數據傳輸，減少複雜任務的處理瓶頸。

對於模擬、科學研究和人工智能等顯存密集型 HPC 應用，H200 更高的顯存帶寬可確保高效地訪問和操作數據，與 CPU 相比，獲得結果的時間最多可加快 110 倍。

相較於 H100，H200 在處理高性能計算的應用程序上也有 20% 以上的提升。

而對於用户來説非常重要的推理能耗，H200 相比 H100 直接腰斬。

這樣，H200 能大幅降低用户的使用成本，繼續讓用户「買的越多，省的越多」！

上個月，外媒 SemiAnalysis 曾曝出一份英偉達未來幾年的硬件路線圖，包括萬眾矚目的 H200、B100 和「X100」GPU。

而英偉達官方，也公佈了官方的產品路線圖，將使用同一構架設計三款芯片，在明年和後年會繼續推出 B100 和 X100。

B100，性能已經望不到頭了

這次，英偉達更是在官方公告中宣佈了全新的 H200 和 B100，將過去數據中心芯片兩年一更新的速率直接翻倍。

以推理 1750 億參數的 GPT-3 為例，今年剛發佈的 H100 是前代 A100 性能的 11 倍，明年即將上市的 H200 相對於 H100 則有超過 60% 的提升，而再之後的 B100，性能更是望不到頭。

至此，H100 也成為了目前在位最短的「旗艦級」GPU。

如果説 H100 現在就是科技行業的「黃金」，那麼英偉達又成功製造了「鉑金」和「鑽石」。

H200 加持，新一代 AI 超算中心大批來襲

雲服務方面，除了英偉達自己投資的 CoreWeave、Lambda 和 Vultr 之外，亞馬遜雲科技、谷歌雲、微軟 Azure 和甲骨文雲基礎設施，都將成為首批部署基於 H200 實例的供應商。

此外，在新的 H200 加持之下，GH200 超級芯片也將為全球各地的超級計算中心提供總計約 200 Exaflops 的 AI 算力，用以推動科學創新。

在 SC23 大會上，多家頂級超算中心紛紛宣佈，即將使用 GH200 系統構建自己的超級計算機。

德國尤里希超級計算中心將在超算 JUPITER 中使用 GH200 超級芯片。

這台超級計算機將成為歐洲第一台超大規模超級計算機，是歐洲高性能計算聯合項目（EuroHPC Joint Undertaking）的一部分。

Jupiter 超級計算機基於 Eviden 的 BullSequana XH3000，採用全液冷架構。

它總共擁有 24000 個英偉達 GH200 Grace Hopper 超級芯片，通過 Quantum-2 Infiniband 互聯。

每個 Grace CPU 包含 288 個 Neoverse 內核， Jupiter 的 CPU 就有近 700 萬個 ARM 核心。

它能提供 93 Exaflops 的低精度 AI 算力和 1 Exaflop 的高精度（FP64）算力。這台超級計算機預計將於 2024 年安裝完畢。

由筑波大學和東京大學共同成立的日本先進高性能計算聯合中心，將在下一代超級計算機中採用英偉達 GH200 Grace Hopper 超級芯片構建。

作為世界最大超算中心之一的德克薩斯高級計算中心，也將採用英偉達的 GH200 構建超級計算機 Vista。

伊利諾伊大學香檳分校的美國國家超級計算應用中心，將利用英偉達 GH200 超級芯片來構建他們的超算 DeltaAI，把 AI 計算能力提高兩倍。

此外，布里斯托大學將在英國政府的資助下，負責建造英國最強大的超級計算機 Isambard-AI——將配備 5000 多顆英偉達 GH200 超級芯片，提供 21 Exaflops 的 AI 計算能力。

英偉達、AMD、英特爾：三巨頭決戰 AI 芯片

GPU 競賽，也進入了白熱化。

面對 H200，而老對手 AMD 的計劃是，利用即將推出的大殺器——Instinct MI300X 來提升顯存性能。

MI300X 將配備 192GB 的 HBM3 和 5.2TB/s 的顯存帶寬，這將使其在容量和帶寬上遠超 H200。

而英特爾也摩拳擦掌，計劃提升 Gaudi AI 芯片的 HBM 容量，並表示明年推出的第三代 Gaudi AI 芯片將從上一代的 96GB HBM2e 增加到 144GB。

英特爾 Max 系列目前的 HBM2 容量最高為 128GB，英特爾計劃在未來幾代產品中，還要增加 Max 系列芯片的容量。

H200 價格未知

所以，H200 賣多少錢？英偉達暫時還未公佈。

要知道，一塊 H100 的售價，在 25000 美元到 40000 美元之間。訓練 AI 模型，至少需要數千塊。

此前，AI 社區曾廣為流傳這張圖片《我們需要多少個 GPU》。

GPT-4 大約是在 10000-25000 塊 A100 上訓練的；Meta 需要大約 21000 塊 A100；Stability AI 用了大概 5000 塊 A100；Falcon-40B 的訓練，用了 384 塊 A100。

根據馬斯克的説法，GPT-5 可能需要 30000-50000 塊 H100。摩根士丹利的説法是 25000 個 GPU。

Sam Altman 否認了在訓練 GPT-5，但卻提過「OpenAI 的 GPU 嚴重短缺，使用我們產品的人越少越好」。

我們能知道的是，等到明年第二季度 H200 上市，屆時必將引發新的風暴。

本文來源：新智元（ID:AI_era），原文標題：《老黃深夜炸場，世界最強 AI 芯片 H200 震撼發佈！性能飆升 90%，Llama 2 推理速度翻倍，大批超算中心來襲》

風險提示及免責條款

市場有風險，投資需謹慎。本文不構成個人投資建議，也未考慮到個別用户特殊的投資目標、財務狀況或需要。用户應考慮本文中的任何意見、觀點或結論是否符合其特定狀況。據此投資，責任自負。