When the AI focus shifts from large models to applications, NVIDIA's GPU dominance is not so solid.

主導生成式 AI 熱潮的英偉達，還能在鐵王座上坐多久？

知名科技博主 Pete Warden 近日撰寫了一篇題為《為什麼英偉達的 AI 主導權只是暫時的》(Why Nvidia’s AI Supremacy is Only Temporary) 的博客文章，他指出，英偉達的 GPU 霸權，實際上建立在目前行業主流需求是 LLM 訓練上，如果未來推理變得更加主流，那贏家將從英偉達變成 CPU 製造商。

英偉達為什麼能贏？

首先，哪些因素促成了當前的英偉達的領先地位？

Warden 總結了 4 點：

1）大模型應用還沒有迎來爆發期，目前機器學習的重點是訓練

Warden 指出，有能力在實際應用場景中部署大語言模型的只有幾家科技巨頭。大多數公司還處在較早的開發期，需要大量數據、硬件和人才來完成 LLM 的訓練。

2）英偉達的對手們沒有一個能打的

對於大模型開發者而言，英偉達 GPU 是最簡潔高效的選擇。它操作起來比 AMD OpenCL、Google TPU、Cerebras 等競品要簡單得多，軟件棧要成熟得多，有更多的示例、文檔和其他資源。

而且，找到熟悉英偉達 GPU 的工程師要容易得多，它與所有主要框架的集成也更好，再加上 CUDA 平台帶來的軟硬一體的協同效應，英偉達完全做到了贏者通吃。

3）AI 研究者偏好使用英偉達 GPU

高度稀缺的 AI 人才，可以説是目前招聘市場上最有話語權的一羣人。

而 Warden 認為，對這些人來説，英偉達平台是最熟悉的生產力工具，如果使用其他平台，需要更多時間上手，也會限制他們的生產力。由於聘用和留住研究人員的成本非常高，因此在購買硬件時，這些人的偏好是優先考慮的因素之一。

4）大模型快速迭代的需求，意味着廠商會通常會固定用一個品牌

如果一家公司上一代大模型是用英偉達 GPU 開發的，那麼下一代大概率還是會用英偉達。道理很簡單，這是迭代耗時最短、效率最高的選擇，通過無縫遷移到新的硬件，現有的代碼大部分都能正常工作，但速度會更快。

競爭對手也許有望在性能上擊敗英偉達 GPU，但英偉達的 CUDA 經過十幾年的研發，已經有了一套完整的生態系統。

Jon Peddie Research 發佈的全球 GPU 市場數據報告顯示，英偉達以 84% 的市場份額排名第一，排名第二的 AMD 僅有 12%。穩固的先發優勢，構成了一道幾乎不可逾越的護城河。

如果 AI 的主旋律從訓練轉向推理…

但是，Warden 相信，以上都有讓英偉達領先的因素，都基於一個重要前提：訓練佔據生成式 AI 浪潮的主導地位。

他指出，在未來的某一天，任何公司用於根據用户請求運行模型的計算量都將超過訓練週期。即使單次訓練運行的成本很高，而運行推理的成本很低，但世界上有如此多的潛在用户，有如此多的不同應用，這些推理的累積總數將超過訓練總數。

從這個趨勢來看，對硬件端而言，重點將轉向降低推理成本。對面向用户的應用而言，最重要的工作是降低延遲。

這不是 GPU 的強項，而是 CPU 的領域。

Warden 指出，雖然 CPU 在大模型訓練時的速度 “慢得令人發笑”，但當推理在整個人工智能預算中占主導地位時，對硬件和工作負載的要求就大不相同了。CPU 擁有比英偉達更成熟的開發工具和社區，單位運算成本也比 GPU 便宜得多。更重要的是，模型權重是固定的，在初始化時很容易在大量機器上覆制，

企業關注的是增加收入和降低成本。更多的用户意味着更多的推理需求。CPU 比 GPU 的推理成本更低，它的需求必然會比超過 GPU。

Warden 預計，這一轉變的贏家將是英特爾 x86 和 Arm 等傳統 CPU 平台。