HBM 4, the battle begins!
HBM 芯片目前佔通用內存市場的 15%，而去年這一比例為 8%。圍繞着 HBM，廠商們也都各出奇招。除了針對現有技術進行深耕，並圍繞未來的 HBM 4，悄然吹響進攻號角。
AI 的火熱，除了帶動 GPU 的大紅大紫以外，背後的重要存儲技術 HBM 也在過去幾年衝上了風口浪尖。最近，SK hynix 和三星的業績和動作表明，HBM 在未來大有可為。
據路透社報道，HBM 芯片目前佔通用內存市場的 15%，而去年這一比例為 8%。SK 海力士在 HBM 市場擁有最大的市場份額，由於生成式 AI 熱潮刺激了對 Nvidia GPU 的需求，該市場的需求猛增。它是佔據 AI GPU 市場 80% 份額的 Nvidia 的 HBM3 內存唯一供應商，並於 3 月份開始量產最新一代 HBM3E。美光和三星等競爭供應商正在開發自己的 HBM 產品，以阻止 SK 海力士主導市場。
而圍繞着 HBM，廠商們也都各出奇招。除了針對現有技術進行深耕，並圍繞未來的 HBM 4，悄然吹響進攻號角（關於 HBM4，可以參考文章《HBM4 要來了》）。另外，説明一下，因為筆者沒找到美光關於 HBM 技術的更多介紹，所以本文中就沒有談到他在 HBM 技術的展望和分享，希望大家補充。
SK 海力士堅持 MR-MUF
據 SK hynix 所説，目前，封裝技術已經超越了 “將芯片電氣連接，並保護芯片免受外部衝擊” 的傳統作用，而是成為實現差異化產品性能的重要技術。SK 海力士 HBM 以硅通孔技術（TSV：Through Silicon Via）、批量回流模製底部填充（MR-MUF：Mass Reflow-Molded Underfill）先進封裝工藝作為核心技術，贏得了卓越的市場聲譽。
其中，TSV 技術常見，而在 MR-MUF 中，批量回流焊（MR）是通過融化堆疊芯片之間的凸塊，讓芯片互相連接的技術。模塑底部填充（MUF）是在堆疊的芯片之間填充保護材料從而提高耐久性和散熱效果的技術。使用 MR-MUF，則可同時封裝多層 DRAM。
具體而言，從技術上流程看，在 DRAM 下方，有連接芯片的鉛基 “凸塊”。MR 技術涉及加熱並同時熔化所有這些凸塊以進行焊接。連接完所有 DRAM 後，接下來會進行稱為 MUF 的過程來保護芯片。注入以優異散熱性而聞名的環氧密封劑來填充芯片之間的間隙並將其封裝。然後通過加熱和加壓使組件硬化，從而完成 HBM。
SK 海力士將這一過程描述為 “像在烤箱中烘烤一樣均勻地施加熱量，並一次粘合所有芯片，使其穩定且高效。
在最近的一篇博客中 SK hynix 高管表示，為適應 AI 時代的需求，SK 海力士專注於開發 ‘標誌性存儲產品’ 以滿足客户對於性能、功能、尺寸、形態、功效等方面的差異化需求。為了實現這一目標，公司正在推進 TSV 和 MR-MUF 的技術發展，這些技術在 HBM 性能中發揮着關鍵作用。
值得一提的是，雖然 MR-MUF 被廣泛使用，我們不得不承認，MR-MUF 擁有容易翹曲、導致晶圓末端彎曲、空洞現象（即保護材料在某些區域分佈不均勻）也會對 MR-MUF 的可靠性產生負面影響等缺點。但 SK hynix 表示，與 HBM 開發初期相比，他們成功地減少了翹曲現象，目前我們正在開發克服這一問題的技術。下一步，抉擇會聚焦在減少空隙。
SK hynix 高管強調，公司旨在實現 ‘超越 HBM 的封裝技術’ 任務。如他所説，短期內，我們的主要目標是擴大在韓國國內的產能，以應對 HBM 市場的需求，同時我們也要充分利用全球各地的生產基地，實現收益最大化。從長遠來看，正如當前作為 HBM 核心工藝的 MR-MUF 技術一樣，確保開發創新的先進封裝技術是我們的目標。
此外，SK hynix 還致力於芯粒（Chiplet）及混合鍵合（Hybrid bonding）等下一代先進封裝技術的開發，以支持半導體存儲器和邏輯芯片之間的異構集成，同時促進新型半導體的發展。當中，Hybrid bonding 也是被看作是 HBM 封裝的又一個新選擇。但根據之前的計劃不一樣，SK 海力士打算在下一代的 HBM 4 中持續採用尖端封裝技術 MR-MUF。作為替代方案而出現的混合鍵合技術預計由於 HBM 標準的放寬而緩慢引入。
在日前的一場技術大會上，SK hynix 分享道，下一代封裝技術正朝着存儲器、邏輯和控制器融合的方向發展，比如 2.5D，SK 海力士也在使用這些技術使 HBM 更加穩健。
在談到 HBM 未來的時候，SK Hynix 認為，市場將更傾向於專業化 (Specialized) 和定製化 (Customized) 產品，以滿足客户需求。他強調，對於新一代 HBM，卓越的性能是基本條件，同時，還須具備滿足不同客户的特定需求、超越傳統存儲器性能的優勢。
此外，SK 海力士公司早前還與台積電 (TSMC) 簽署諒解備忘錄 (MoU)，合作開發下一代 HBM，並通過先進封裝技術增強邏輯和 HBM 集成。
該公司計劃通過這一舉措繼續開發 HBM4，即 HBM 系列第六代產品，預計將於 2026 年開始量產。
SK 海力士表示，AI 存儲領域的全球領導者與台積電的合作將帶來 HBM 技術的更多創新。此次合作還有望通過產品設計、代工廠和內存提供商之間的三邊合作實現內存性能的突破。
兩家公司將首先專注於提高安裝在 HBM 封裝最底部的基礎芯片的性能。HBM 的製作方法是將核心 DRAM 芯片堆疊在採用 TSV（硅通孔）技術的基礎芯片之上，並使用 TSV 將 DRAM 堆棧中的固定數量的層垂直連接到具有 TSV 的核心芯片，形成 HBM 封裝。位於底部的基礎芯片連接到控制 HBM 的 GPU。
SK 海力士已使用專有技術製造高達 HBM3E 的基礎芯片，但計劃在 HBM4 基礎芯片上採用台積電的先進邏輯工藝，以便可以將附加功能封裝到有限的空間中。這也有助於 SK 海力士生產定製 HBM，滿足客户對性能和功效的廣泛需求。
SK 海力士和台積電還同意合作優化 SK 海力士的 HBM 和台積電的 CoWoS（基板上晶圓芯片）技術的集成，同時合作響應常見客户與 HBM 相關的要求。
SK 海力士總裁兼 AI 基礎設施負責人 Justin Kim 表示：“我們希望與台積電建立強有力的合作伙伴關係，以幫助加快我們與客户的開放合作，並開發業界性能最佳的 HBM4。” “通過此次合作，我們將通過增強定製內存平台領域的競爭力，進一步鞏固我們作為整體人工智能內存提供商的市場領導地位。”
“多年來，台積電和 SK 海力士已經建立了牢固的合作伙伴關係。我們共同努力，整合最先進的邏輯和最先進的 HBM，提供世界領先的人工智能解決方案 。”台積電的 Kevin Zhang 表示。“展望下一代 HBM4，我們相信我們將繼續密切合作，提供最佳集成解決方案，為我們的共同客户開啓新的人工智能創新。”
三星考慮混合鍵合
和 SK Hynix 不一樣，在 HBM 封裝上，三星採用的 TC-NCF（thermal compression with non-conductive film），也就是非導電薄膜熱壓縮。
從技術上看，這是一種與 MR-MUF 略有不同的技術。在每次堆疊芯片時，都會在各層之間放置一層不導電的粘合膜。該薄膜是一種聚合物材料，用於使芯片彼此絕緣並保護連接點免受撞擊。隨着發展，三星逐漸減少了 NCF 材料的厚度，將 12 層第五代 HBM3E 的厚度降至 7 微米 (μm)。該公司表示：“這種方法的優點是可以最大限度地減少隨着層數增加和芯片厚度減小而可能發生的翹曲，使其更適合構建更高的堆棧。”
據三星介紹，TC NCF 方法在堆疊更高層方面的優勢。但對於這技術而言，優化熱量和壓力是其成功的關鍵。因此據報道，三星早前正在與設備製造商進行討論，以進一步提高其標新。面對 SK 海力士的競爭，三星電子在全公司範圍內集中力量，在 2 月宣佈了 “Advanced TC-NCF” 技術。該技術可以減少 TC-NCF 工藝中必要薄膜的厚度，從而在保持 HBM 高度的同時增加半導體層數。
此外，有消息表示，三星的 TC NCF 良率不如 SK hynix，所以三星電子考慮將 MUF 材料引入穿硅電極（TSV）工藝中。報道指出，三星還從日本購買了硬化（成型）設備，可以使這種 MUF 變得堅硬。補充説明一下，SK 海力士在第二代 HBM 之前也使用 NCF ，但從第三代（HBM2E）開始改用 MUF（特別是 MR-MUF）。分析人士更是認為 MUF 是 SK 海力士能夠在 HBM 市場脱穎而出的原因，這也是為何有消息指出三星也在尋求開發和引入這項技術。一位熟悉三星情況的半導體行業高管表示，“據我瞭解，三星正在研究的 MUF 材料與 SK 海力士的技術並不完全相同”。
爾後，三星對此闢謠並強調公司將繼續在 TC NCF 上發力。在日前的一篇博客中，三星更是分享了他們對未來的看法。
在被問到公司當前 HBM 為何能如此與眾不同時，三星強調，公司在 AdvancedTC NCF 上的見解功不可沒。三星方面接着説，HBM 採用 DRAM 芯片的垂直堆疊（例如 8H 和 12H）來提高容量和帶寬。然而，不同代的 HBM 都遵循預定的整體厚度。在這種限制下，隨着附加層的堆疊，負責數據存儲的核心裸片不可避免地會變得更薄，這可能會給組裝帶來挑戰，導致芯片翹曲或破裂，以及熱阻增加。
在三星看來，HBM 的熱阻主要受芯片間距的影響，而三星擁有先進的高密度堆疊芯片控制技術，減少芯片之間 NCF 材料的厚度，並利用熱壓縮技術使芯片更加緊密。這種創新方法實現了業界最小的 7 微米 (um) 芯片間距。此外，在芯片鍵合過程中，三星策略性地設計了需要信號傳輸的小凸塊和散熱至關重要的大凸塊。這種優化增強了散熱和產量。此外，應用工藝技術在有限的封裝尺寸內最小化單個 DRAM 芯片的尺寸，確保了卓越的量產能力和可靠性，從而提供了顯着的競爭優勢。
三星同時談到，業界越來越認識到，處理器和內存公司各自優化其產品的孤立努力不足以釋放 AGI 時代所需的創新。因此，“定製 HBM” 成為潮流，這也代表了實現處理器和內存之間協同優化以加速這一趨勢的第一步。為此，三星利用其在內存、代工、系統 LSI 和先進封裝方面的綜合能力。此外，三星還為下一代 HBM 建立了專門的團隊，利用公司無與倫比的能力，我們致力於在塑造未來方面做出重大改變。
在談到未來的規劃時，三星表示，HBM 市場仍處於早期階段，預計將迅速發生變化，公司的策略是通過預測市場發展並提前主動規劃和開發必要的產品來保持領先地位。隨着 HBM 市場的成熟，三星預計三個重大變化將重塑該行業：
首先，“細分”。在 HBM 的早期，硬件需要具有多功能性。然而，隨着服務圍繞殺手級應用不斷發展，硬件基礎設施將不可避免地針對每個特定服務進行優化。為了應對這一趨勢，三星將提供一系列封裝選項（8H、12H 和 16H）和基礎芯片變體，同時標準化核心芯片。
其次，處理器和內存之間的協同優化將需要更高程度的定製。為了應對這一挑戰，三星將利用創建平台來最大限度地利用 HBM 解決方案中的通用設計元素，並建立一個高效的系統，通過擴大我們的生態系統合作伙伴關係來滿足定製請求。
第三，為了克服 “電源牆”，處理器和內存之間的距離將變得更近。第一個創新在 HBM4 中很明顯，它在其基礎芯片中採用了邏輯處理技術。第二項創新是隨着當前 2.5D 到 3D HBM 架構的轉變而發生的，而第三項創新涉及集成 DRAM 單元和邏輯，這是設計 HBM-PIM 的方法。在積極規劃和準備引領市場的同時，三星已開始與客户和合作夥伴進行討論，以將這些創新變為現實。
三星強調，隨着 HBM 作為生成式 AI 最優化內存解決方案的地位變得不可否認，許多客户和數據中心正在迅速採用它。然而，確保人工智能服務不間斷至關重要。，即使是一個有缺陷的芯片也可能產生災難性的影響。因此，確保 HBM 質量的設計和測試技術勢在必行。此外，開發能夠進一步降低功耗並提高系統能效的 HBM 設計結構也至關重要。
為此，三星計劃通過針對高温環境優化的 NCF 組裝技術和尖端工藝技術，將 16H 技術融入下一代 HBM4 中。據三星的規劃，HBM 4 將在 2025 年生產樣品。
不過，三星副總裁 Kim Dae-woo 早前在韓國一個會議上表示，三星正在考慮在 HBM 4 中使用混合鍵合或 NCF，，並於 2026 年開始量產。混合鍵合更具優勢，因為它們可以緊湊地添加更多堆疊，而無需使用填充凸塊進行連接的硅通孔 (TSV)。使用相同的技術，HBM 上的核心芯片 DRAM 也可以變得更厚。
Kim 還表示，在最多 8 個堆疊時，MR-MUF 的生產效率比 TC-NCF 更高，但一旦堆疊達到 12 個或以上，後者將具有更多優勢。該副總裁還指出，當 HBM4 推出時，定製請求預計會增加。他補充説，緩衝芯片將變為邏輯芯片，因此芯片可以來自三星或台積電。
有報道還指出，英偉達還將採用三星的技術，做 HBM 的封裝，這對於這家韓國巨頭來説，是另一個好消息。
台積電的最新封裝技術助陣
在北美技術研討會上，該公司推出了下一代晶圓系統平台——CoW-SoW——該平台將實現與晶圓級設計的 3D 集成。該技術建立在台積電 2020 年推出的 InFO_SoW 晶圓級系統集成技術的基礎上，該技術使其能夠構建晶圓級邏輯處理器。到目前為止，只有特斯拉在其 Dojo 超級計算機中採用了這項技術，台積電表示該計算機現已投入生產。
在即將推出的 CoW-SoW 平台中，台積電將在其晶圓系統平台中合併兩種封裝方法——InFO_SoW 和集成芯片系統 (SoIC)。通過使用晶圓上芯片 (CoW) 技術，該方法將能夠將存儲器或邏輯直接堆疊在晶圓上系統之上。新的 CoW_SoW 技術預計將在 2027 年實現大規模生產，但實際產品何時上市還有待觀察。
據瞭解，台積電的 CoW-SoW 專注於將晶圓級處理器與 HBM4 內存集成。這些下一代內存堆棧將採用 2048 位接口，這使得將 HBM4 直接集成在邏輯芯片頂部成為可能。同時，在晶圓級處理器上堆疊額外的邏輯以優化成本也可能是有意義的。
“因此，在未來，使用晶圓級集成 [將允許] 我們的客户將更多的邏輯和存儲器集成在一起，”台積電業務開發副總裁 Kevin Zhang 説。“SoW 不再是虛構的；我們已經與客户合作生產一些已經到位的產品。我們認為，通過利用我們先進的晶圓級集成技術，我們可以為客户提供非常重要的產品使他們能夠繼續增強能力，為他們的人工智能集羣或 [超級計算機] 引入更多計算、更節能的計算。”
一般而言，晶圓級處理器（即 Cerebras 的 WSE），特別是基於 InFO_SoW 的處理器，可提供顯着的性能和效率優勢，包括高帶寬和低延遲的核心到核心通信、低功率傳輸網絡阻抗以及高能源效率。作為額外的好處，此類處理器還具有 “額外” 核心形式的額外冗餘。
然而，InFO_SoW 技術有一定的侷限性。例如，使用這種方法制造的晶圓級處理器完全依賴於片上存儲器，這可能無法滿足未來人工智能的需求（但目前來説很好）。CoW-SoW 將解決這個問題，因為它將允許將 HBM4 放置在此類晶圓上。此外，InFO_SoW 晶圓採用單節點加工，該節點不支持 3D 堆疊，而 CoW-SoW 產品將支持 3D 堆疊。
本文來源：半導體行業觀察，原文標題：《HBM 4， 大戰打響！》
