超越英伟达 H100！英特尔推出新一代 AI 芯片 Gaudi 3，大模型训练推理能力强化 50%

作者：李丹

來源：硬 AI

英偉達的人工智能（AI）霸主地位面臨新挑戰，英特爾推出號稱性能明顯優於英偉達競品的新一代 AI 芯片。

美東時間 4 月 9 日週二，在今年舉辦的客户與合作伙伴大會 Intel Vision 2024 期間，英特爾正式發佈第三代英特爾 AI 加速器 Gaudi 3。英特爾稱，它將為企業應用生成式 AI 帶來高性能、開放性和新選擇。同時，英特爾還推出了一套全新的開放式可擴展系統、下一代產品和戰略合作，加快生成式 AI 的應用。

去年發佈新一代 AI 數據中心和個人電腦（PC）芯片新品時，英特爾 CEO 基辛格（Pat Gelsinger）就預告過，將推出用於深度學習和大型生成式 AI 模型的 Gaudi 3。英特爾當時稱，Gaudi 3 的性能將優於英偉達的主打 AI 芯片 H100。

本週二，基辛格在 Intel Vision 2024 大會上表示：“創新正在以前所未有的速度前進，這一切都是由芯片推動的——每家公司都在迅速成為 AI 公司。英特爾正在將 AI 帶到整個企業的各個角落，從個人電腦（PC ）到數據中心再到邊緣（計算）。 我們（英特爾）最新的 Gaudi、至強（Xeon）和 Core 酷睿（Core）平台正在提供一套緊密結合的靈活解決方案，旨在滿足客户和合作夥伴不斷變化的需求，並充分利用未來的巨大機遇。”

Gaudi 3 可將模型訓練時間較 H100 縮短 50%、推理吞吐量提高 50%

英特爾介紹，Gaudi 3 採用 5 納米工藝製造，專為高效的大規模 AI 計算而設計，將為 AI 系統提供通過通用以太網標準連接的數以萬計加速器支持。對於那些希望大規模配置生成式 AI 的企業來説，在大語言模型（LLM）和多模態模型的 AI 訓練和推理方面，Gaudi 3 可以實現性能和生產率的大飛躍。

英特爾稱，對比前代，Gaudi 3 可提供四倍的浮點格式 BF16 AI 計算能力，內存帶寬提升 1.5 倍，服務於大規模系統擴展的網絡帶寬提升兩倍。

對比英偉達的芯片 H100，如果應用於 7B 和 13B 參數的 Meta Llama2 模型以及 175B 參數的 OpenAI GPT-3 模型中，Gaudi 3 預計可以讓這些模型的訓練時間平均縮短 50%。

此外，應用於 7B 和 70B 參數的 Llama 以及 180B 參數的開源 Falcon 模型時，Gaudi 3 的推理吞吐量預計將比 H100 平均高 50%，推理功效平均高 40%。而且，在較長的輸入和輸出序列上，Gaudi 3 有更大的推理性能優勢。

應用於 7B 和 70B 參數的 Llama 以及 180B 參數的 Falcon 模型時，Gaudi 3 的推理速度相比英偉達 H200 提高 30%。

英特爾稱，Gaudi 3 將在今年第三季度向客户供應，二季度向包括戴爾、HPE、聯想和 Supermicro 在內的 OEM 廠商提供，但並未公佈 Gaudi 3 的售價範圍。

主管至強軟件的英特爾副總裁 Das Kamhout 稱，英特爾預計，面對英偉達的最新產品，英特爾的 Gaudi 3 料將有很強的競爭力，“從我們具有競爭力的價格、我們獨特的開放式集成片上網絡來看，我們正在使用行業標準以太網。 我們相信這是一個強大的產品。”

英特爾 AI 解決方案客户包括 IBM 等 谷歌雲將運用機密計算功能

在 Intel Vision 2024 期間，英特爾介紹其開放可擴展 AI 系統的戰略，包括硬件、軟件、框架和工具。

英特爾稱，這種方式讓 AI 領域的參與者能建立了廣泛、開放的生態系統，從而提供滿足企業特定生成式 AI 需求的解決方案。英特爾戰略服務的客户包括設備製造商、數據庫提供商、系統集成商、軟件和服務提供商等，比如使用 Gaudi 芯片的 NAVER、在其數據庫應用第五代至強處理器的 IBM、將與印度客户合作打造 AI 超級計算機的 CtrlS Group。

英特爾還宣佈與谷歌雲、Thales 和 Cohesity 合作，這三家合作方將在其雲實例中運用英特爾的機密計算功能。

與多家企業合作打造企業 AI 的開放平台

Intel Vision 2024 期間，英特爾還宣佈與 Anyscale、Articul8、DataStax、Domino、Hugging Face、KX Systems、MariaDB、MinIO、Qdrant、紅帽（RedHat）、Redis、SAP、VMware、Yellowbrick 和 Zilliz 合作，有意為企業 AI 創建一個開放平台。

英特爾稱，這種全行業的努力旨在開發開放的多供應商生成式 AI 系統，通過檢索增強生成（RAG）讓企業用户達到一流的性能且易於部署生成式 AI。在 RAG 加持的生態系統，通過開放的 LLM 功能，企業能增強在標準雲基礎設施上運行大量現有專有數據源的能力，從而加快生成式 AI 在企業的應用。

作為這項工作的第一步，英特爾將在基於安全英特爾至強和 Gaudi 的解決方案發布生成式 AI 管道的參考實現，發佈技術概念框架，並繼續在英特爾 Tiber 開發者雲中增加基礎設施容量，以實現 RAG 的生態系統開發和驗證以及未來的管道。

發佈面向企業 AI 的第六代志強（Xeon）處理器

除了 Gaudi 3 加速器，英特爾還發布了另一硬件：第六代志強（Xeon）處理器。它提供高性能的解決方案，運行包括 RAG 在內的當前生成式 AI 解決方案。面向所有企業 AI，將於今年第二季度問世。

英特爾介紹，相比二代英特爾至強處理器，代號 Sierra Forest 的 E 核六代志強處理器每瓦性能提高四倍，機架密度提高 2.7 倍。

代號 Granite Rapids 的 P 核六代志強處理器納入對 MXFP4 數據格式的軟件支持，相比使用 FP16 的第四代至強處理器，它的下一個 token 延遲最多可減少 6.5 倍，並且能運行 700 億個參數的 Llama-2 模型。

網友評論

雖然英特爾聲稱 Gaudi 的性能明顯強於 H100，但一些網友似乎並不太看好 Gaudi 的前景。

有一條 3400 多讚的網友評論稱，也許 Gaudi 3 是一款更快、更高效的芯片，但如果市場仍然選擇英偉達的 H100 芯片，這真的很重要嗎？ 英特爾是科技資本枯萎消亡的地方。

還有一條評論稱，如果英特爾發佈一款比 H100 快十倍的產品，那會不會很重要。

有一條上千點讚的評論提到了谷歌也在週二推出新的芯片，稱過去一年湧現了很多新的芯片故事，不知道 Meta 的芯片在哪裏。

另一條上千點讚的評論問，現在誰還在使用英特爾架構進行高速計算呢？

還有一條上千點讚的評論稱，值得注意的是，英特爾有 3 納米的產能，英偉達沒有。 因此，如果是勢均力敵的競爭，應該對英特爾有利。