Jim Keller 批評 CUDA：是沼澤，不是護城河

曾從事 x86、Arm、MISC 和 RISC-V 處理器研究的傳奇處理器架構師 Jim Keller 本週末批評了 Nvidia 的 CUDA 架構和軟件堆棧，並將其比作 x86，他稱之為沼澤。他指出，就連英偉達本身也有多個專用軟件包，出於性能原因，這些軟件包依賴於開源框架。

“CUDA 是沼澤，而不是護城河，” Keller 在 X 帖子中寫道。“x86 也是一片沼澤。[…] CUDA 並不漂亮。它是通過一次堆積一件東西來構建的。”

確實，就像 x86 一樣，CUDA 在保持軟件和硬件向後兼容性的同時逐漸增加了功能。這使得 Nvidia 的平台完整且向後兼容，但它影響了性能並使程序開發變得更加困難。同時，很多開源軟件開發框架可以比 CUDA 更高效地使用。

“基本上沒有人編寫 CUDA，” 凱勒在後續帖子中寫道。“如果你確實編寫 CUDA，它可能不會很快。[...] Triton、Tensor RT、Neon 和 Mojo 的存在是有充分理由的。”

甚至 Nvidia 本身也有不完全依賴 CUDA 的工具。例如，Triton Inference Server 是 Nvidia 的一款開源工具，可簡化 AI 模型的大規模部署，支持 TensorFlow、PyTorch 和 ONNX 等框架。Triton 還提供模型版本控制、多模型服務和併發模型執行等功能，以優化 GPU 和 CPU 資源的利用率。

Nvidia 的 TensorRT 是一種高性能深度學習推理優化器和運行時庫，可加速 Nvidia GPU 上的深度學習推理。TensorRT 從各種框架（例如 TensorFlow 和 PyTorch）中獲取經過訓練的模型，並對其進行優化以進行部署，從而減少延遲並提高圖像分類、對象檢測和自然語言處理等實時應用程序的吞吐量。

但是，儘管像 Arm、CUDA 和 x86 這樣的架構可能會被認為是沼澤，因為它們的演進速度相對較慢、必須向後兼容並且體積龐大，但這些平台也不像 GPGPU 這樣分散，這可能根本不是一件壞事。

目前尚不清楚 Jim Keller 對 AMD 的 ROCm 和英特爾的 OneAPI 有何看法，但很明顯，儘管他花了很多年時間設計 x86 架構，但他並不迷戀其未來前景。他的言論還暗示，儘管他曾在世界上一些最大的芯片製造商工作過一段時間，包括蘋果、英特爾、AMD、博通（現在是 Tenstorrent）等公司，但我們可能不會在 Nvidia 的名單上看到他的名字。

擴展閲讀

英特爾 CEO 評價 CUDA：護城河又淺又小，壟斷不會永遠持續

英特爾首席執行官帕特·基辛格 (Pat Gelsinger) 在紐約舉行的一次活動中推出了英特爾酷睿 Ultra 和第五代至強數據中心芯片，他對 Nvidia 的 CUDA 技術大加讚賞，聲稱推理技術將比人工智能訓練更重要。但在納斯達克接受提問時，基辛格表示 Nvidia 在訓練方面的 CUDA 主導地位不會永遠持續下去。

“你知道，整個行業都在積極消除 CUDA 的市場，”（原文：You know, the entire industry is motivated to eliminate the CUDA market,）基辛格説。他列舉了 MLIR、 Google 和 OpenAI 等例子，暗示他們正在轉向 “Pythonic 編程層”，以使 AI 訓練更加開放。

“我們認為 CUDA 護城河又淺又小，”（We think of the CUDA moat as shallow and small）基辛格繼續説道。“因為該行業有動力為廣泛的訓練、創新、數據科學等帶來更廣泛的技術。”

但英特爾不僅僅依靠訓練。相反，它認為推理才是正確的出路。

“當推理發生時，一旦你訓練了模型……就不存在 CUDA 依賴性了，” Gelsinger 繼續説道。“問題在於，你能很好地運行這個模型嗎？” 他表示，通過首次在舞台上展示的 Gaudi 3，英特爾將迎接挑戰，並且能夠在 Xeon 和邊緣 PC 上做到這一點。基辛格表示，並不是説英特爾不會在訓練領域展開競爭，而是 “從根本上説，推理市場才是競爭的焦點”。

他還藉此機會推動了 OpenVINO（英特爾為人工智能工作而制定的標準），並預測了一個混合計算的世界，其中一些發生在雲端，另一些發生在您的 PC 上。

英特爾執行副總裁兼數據中心和人工智能事業部總經理桑德拉·里維拉 (Sandra Rivera) 補充説，英特爾從數據中心到 PC 的規模可能使其成為首選合作伙伴，因為它可以批量生產。

“我們將以三種方式爭奪數據中心 AI TAM 的 100% 份額。” 基辛格補充了 Rivera 的評論。“憑藉我們的領導力首席執行官、領導力加速器和晶圓廠。我們可以利用每一項內部機會：TPU、推理、訓練等等。我們將追求所有這些。我們” 我們還將與 NVIDIA、AMD 等合作，尋求每一個商業機會。我們將成為代工廠商。”

這是一個大膽的策略，今天基辛格在帶領他的團隊進行演示時顯得充滿信心。他真的能挑戰 CUDA 嗎？隨着英特爾今天推出的芯片（以及他的競爭對手也在開發）的應用變得更加廣泛，只有時間才能證明一切。

文章來源：半導體行業觀察，原文標題：《Jim Keller 批評 CUDA：是沼澤，不是護城河》

風險提示及免責條款

市場有風險，投資需謹慎。本文不構成個人投資建議，也未考慮到個別用户特殊的投資目標、財務狀況或需要。用户應考慮本文中的任何意見、觀點或結論是否符合其特定狀況。據此投資，責任自負。