Track Hyper | NVIDIA: In addition to Hynix, we also need Micron's HBM3E

作者：周源/華爾街見聞

英偉達下一代 AI 加速卡 B100（Blackwell 架構）的存儲器規格，將採用 HBM3E。這種規格的存儲器，目前只有 SK 海力士、三星電子和美光能提供。

華爾街見聞從供應鏈多個渠道獨家獲悉，幾乎與 SK 海力士同時，美光也成為 B100 存儲器供應商。目前三星電子還沒進 B100 的存儲器供應鏈。

根據此前供應鏈消息，B100 提前半年，將在今年二季度上市。

什麼是 HBME？英偉達 B100 牛在何處？

B100 拉動 HBM3E 產能噴發

AI 服務器熱潮帶動了 AI 加速卡的需求。高頻寬存儲器 HBM 也成為 AI 加速卡（GPU）的關鍵 DRAM 模塊。

據 Gartner 的預測報告，2023 年全球 HBM 營收規模約為 20.05 億美元；預計到 2025 年，HBM 的市場規模將翻倍成長至 49.76 億美元，增長率高達 148.2%。

目前，SK 海力士、三星、美光是全球僅有的三家 HBM 供應商。行業數據顯示，2022 年 HBM 市場，SK 海力士佔據 50% 的市場份額，三星佔比 40%，美光佔比 10%。

英偉達 H200 是首次採用 HBM3E 存儲器規格的 AI 加速卡。HBM3E 使 GPU 存儲器帶寬從 H100 的每秒 3.35TB 擴展至 4.8TB，提高 1.4 倍，存儲器總容量也從 H100 的 80GB 提高至 141GB，容量提高 1.8 倍。

此前有供應鏈消息稱，英偉達原本預計在 2024 年第四季度推出的下一代 AI 加速卡 B100，目前將提前至 2024 年二季度推出。

據目前有限的信息顯示，B100 採用台積電 3nm 工藝製程混合更復雜的多芯片模塊（MCM）設計。英偉達在 AI GPU 市場佔比了 80% 以上的市場份額，若 B100 能提前推出，則英偉達將進一步鞏固在 AI 領域的領先優勢。

2023 年下半年開始，SK 海力士、三星和美光這三家 HBM 供應商基本同步開啓了 HBM3E 的測試，預計從 2024 年第一季度能實現批量供應。

華爾街見聞從供應鏈多個渠道獨家獲悉，美光和 SK 海力士一樣，都已成為英偉達 B100 的存儲器供應商，提供的產品均為 HBM3E。

美光 CEO Mehrotra 曾透露，美光專為 AI 和超級計算機設計的 HBM3E 預計 2024 年初量產，有望於 2024 會計年度創造數億美元的營收。Mehrotra 還對分析師表示，“2024 年 1-12 月，美光 HBM 預估全數售罄”。

美光科技位於中國台灣地區的台中四廠於 2023 年 11 月初正式啓用。美光表示，台中四廠將整合先進探測與封裝測試功能，量產 HBM3E 及其他產品，從而滿足人工智能、數據中心、邊緣計算及雲端等各類應用日益增長的需求。

HBM 全稱 High Bandwidth Memory，直譯高帶寬內存，這是一種新型 CPU/GPU 內存芯片。從物理結構看，就是將很多個 DDR 芯片堆疊起來，再和 GPU 封裝在一起，實現大容量、高位寬的 DDR 組合陣列。

一般來説，一張 AI 加速卡，物理結構是中間是 die 的 GPU，左右兩側的 die 是 DDR 顆粒的堆疊 HBM。

die，是指裸片，即將硅晶圓用激光切割而成的小片。die 是芯片還未封裝前的晶粒，是硅晶圓上一個很小的單位。

Chip，即芯片，晶圓經過切割、測試，由完好的、穩定的、足容量的 die 封裝而成，這是半導體元件產品的統稱。

晶圓就是 wafer，這是製作硅半導體所用的硅晶片，原材料是硅，圓形。一般來説，晶圓的尺寸是 6 英寸、8 英寸或 12 英寸不等。可在晶圓上加工製作成各種電路元件結構，成為有特定功能的集成電路產品。

與 Hopper/Ada 架構不同，Blackwell 架構將擴展至數據中心（IDC）和消費級 GPU。B100 最大的技術變化在於底層架構很可能有重大調整：英偉達將採用新的封裝技術，將 GPU 組件分成獨立的芯片。

雖然具體芯片數量和配置尚未確定，但 MCM 的設計方式，將使得英偉達在定製芯片時具備更大的靈活性。

現在，還沒有足夠的信息顯示英偉達 B100 採用的哪種 3nm 工藝。台積電相關工藝包括性能增強型 N3P 和麪向 HPC（高性能計算：High performance computing）的 N3X；此外還包括 N3E 和 N3B，前者由聯發科採用，後者則被蘋果用於 A17 Pro 的定製。

HBM3E 應用和美光的佈局

美光目前正在生產 HBM3E gen-2 內存，採用 8 層垂直堆疊的 24GB 芯片。美光的 12 層垂直堆疊 36GB 芯片將於 2024 年第一季度開始出樣。這將與半導體代工運營商台積電合作，將其 Gen-2 HBM3E 用於人工智能和 HPC 設計應用。

HBM3E 是 HBM3 的擴展版本，內存容量 144GB，提供每秒 1.5TB 的帶寬，相當於 1 秒能處理 230 部 5GB 大小的全高清電影。

作為一種更快、更大的內存，HBM3E 可加速生成式 AI 和大型語言模型，同時能推進 HPC 工作負載的科學計算。

2023 年 8 月 9 日，黃仁勳發佈 GH200 Grace Hopper 超級芯片，這也是 HBM3E 的首次亮相。因此，GH200 Grace Hopper 成為全球首款 HBM3E GPU。

GH200 由 72 核 Grace CPU 和 4PFLOPS Hopper GPU 組成；每個 GPU 的容量達到 H100 GPU 的 1.7 倍，帶寬達到 H100 的 1.55 倍。

與 H100 相比，GH20 系統共有 144 個 Grace CPU 核心、8PFLOPS 計算性能的 GPU、282GB HBM3E 內存，內存容量達 3.5 倍，帶寬達 3 倍。若將連接到 CPU 的 LPDDR 內存包括在內，那麼總共集成了 1.2TB 超快內存。

英偉達指出，內存帶寬對於 HPC 應用程序至關重要，因為能實現更快的數據傳輸，減少複雜的處理瓶頸。對於模擬、科學研究和人工智能等內存密集型 HPC 應用，H200 更高的內存帶寬可確保高效地訪問和操作數據。與 CPU 相比，獲得結果的時間最多可加快 110 倍。

TrendForce 集邦諮詢研究指出，2023 年 HBM 市場主流為 HBM2e。英偉達 A100/A800、AMD MI200 以及多數 CSPs 自研加速芯片皆以此規格設計。

同時，為順應 AI 加速器芯片需求演進，各原廠計劃於 2024 年推出新產品 HBM3E，預期 HBM3 與 HBM3E 將成為 2024 年市場主流。2023 年主流需求自 HBM2e 轉往 HBM3，需求比重分別預估約 50% 和 39%。

隨着使用 HBM3 的加速芯片陸續放量，2024 年市場需求將大幅轉往 HBM3；2024 年將直接超越 HBM2e，比重預估達 60%；同時，受惠於更高的平均銷售單價（ASP），將帶動 2024 年 HBM 營收顯著成長。

TrendForce 集邦諮詢此前預估，由於 HBM3 平均銷售單價遠高於 HBM2e 與 HBM2，故將助力原廠 HBM 領域營收，可望進一步帶動 2024 年整體 HBM 營收至 89 億美元，年增 127%。

據 Semiconductor-Digest 預測，到 2031 年，全球高帶寬存儲器市場預計將從 2022 年的 2.93 億美元增長到 34.34 億美元，在 2023-2031 年的預測期內複合年增長率為 31.3%。

由於 HBM 是與 GPU 封裝在一起的，因此 HBM 的封裝通常由晶圓代工廠完成。HBM 大概率會成為下一代 DRAM 高性能解決方案，為快速發展的數據中心及雲計算人工智能提供更高的 AI/ML 性能與效率。

儘管美光在 HBM 市場的佔比僅約 10%，但美光正在加速推進更新的 HBM4 和 HBM4e 研發，這比 SK 海力士跑的更快。

為提高內存傳輸速率，下一代 HBM4 可能要對高帶寬內存技術做出更實質性的改變，即從更寬的 2048 位內存接口開始，故而 HBM4 會在多個層面上實現重大技術飛躍。

美光公司在 2023 年曾表示，“HBM Next”（即 HBM4）內存將於 2026 年左右面世，每堆棧容量介於 36 GB-64 GB，每堆棧峯值帶寬為 2TB/s 或更高。