<div id="readability-page-1"><img id="edit_6666914" src="https://imageproxy.pbkrs.com/https://images.tmtpost.com/uploads/images/2023/10/5ef7ea50db145a5547d677e3c7d68068_1697164524.jpeg?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="2500" height="1667" original-src="https://imageproxy.pbkrs.com/https://images.tmtpost.com/uploads/images/2023/10/5ef7ea50db145a5547d677e3c7d68068_1697164524.jpeg"/>圖片來源 @<blockquote></blockquote>又一次被推上了風口浪尖，這次不是因為它扶搖直上的業績，而是過去將它捧在手心的、OpenAI、谷歌等人工智能排頭兵起了「異心」。 據 The Information 報道，計劃在下個月的年度開發者大會上推出首款為人工智能設計的芯片。這款芯片是為訓練和運行大型語言模型（LLM）的數據中心服務器設計的。OpenAI 也在探索製造自己的人工智能芯片。公開信息顯示，OpenAI 至少投資了 3 家芯片公司。 谷歌的自研芯片 TPU 更是迭代到了 v5 世代。此前有分析師爆料谷歌的算力資源比 OpenAI、Meta、、和 CoreWeave 加起來還要多，它的優勢正是來源於擁有龐大數量的 TPU。 這些企業為什麼要下場造芯，市場上已經有了許多分析，原因主要集中在的 GPU 價格過高、產能不足。通過自研芯片，有望削弱在人工智能芯片領域的定價權，同時比沒有自研芯片的企業更具戰略自主。但是，自研芯片真的能迫使放緩手中的鐮刀嗎？ 一個事實是，市面上 H100 GPU 已漲到了原價的兩倍，依舊供不應求。即便是自研芯片已經「上線」的谷歌，仍在大量採購的芯片。 為什麼？ 由於的 GPU 銷量過於亮眼，以至於常常被簡單定義成一家硬件公司。但很多人不知道的是，的軟件工程師數量比硬件工程師還要多。 這句話背後的意思是，真正的護城河從不來自於層出不窮的新芯片（當然這也很了不起），而來源於軟硬件生態。而 CUDA，正是這條護城河的第一道河堤。 <h2>01 真正的王牌——CUDA</h2>2019 年，CEO 黃仁勳在密爾沃基工學院介紹企業發展史時，説了這樣一段話。 “一項接着一項的應用，一個接着一個的科學領域，從分子動力學、計算物理學，到天體物理學、粒子物理學、高能物理學，這些不同的科學領域開始採用我們的科技，因為這是向前發展的最佳解法。而我們深深地以這項貢獻為榮。” 這項深以為榮的技術，正是 CUDA。CUDA 是一種推出的並行計算架構，正是在它的加持下，GPU 才得以打敗 CPU，成為今天運行大數據計算的基礎。運行相同任務的情況下，支持 CUDA 系統的 GPU 比 CPU 的速度要快 10 到 100 倍。 為什麼 CUDA 有這種魔力？ CPU 和 GPU 都是計算機處理器，都能執行計算任務，其不同點在於，CPU 更擅長線性計算，而 GPU 更擅長並行計算。業內常用的一個類比是，CPU 就像一位大學教授，能獨立解決各種複雜問題，但要按部就班進行，GPU 像一羣小學生，單核運算能力不如 CPU，但勝在核的數量龐大，能同時計算。 <img src="https://imageproxy.pbkrs.com/https://images.tmtpost.com/uploads/images/2023/10/5cafb52ad610f28697eab8bf33e35e99_1697164524.jpeg?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="945" height="1024" original-src="https://imageproxy.pbkrs.com/https://images.tmtpost.com/uploads/images/2023/10/5cafb52ad610f28697eab8bf33e35e99_1697164524.jpeg"/>而 CUDA，則是調動這羣小學生的指揮棒。在 CUDA 的中介下，研究員、編程人員得以實現通過編程語言與硬件設施對話，從而將複雜的數學問題轉化為多個簡單的小問題，分發給 GPU 的多個計算核。如黃仁勳所説，CUDA 問世後成為了 “科學向前發展的最佳解法”，龐大的運算能力成為了搭建超級計算機的首選。 10 月 11 日，部下屬橡樹嶺國家實驗室宣佈，他們研發出的超級計算機 “頂點”（Summit），浮點運算速度峯值可達每秒 20 億億次，接近 “神威·太湖之光” 超級計算機的兩倍。 這台算力巨獸身上搭載了近 28000 塊 GPU。而橡樹嶺國家實驗室，正是第一家大量採用「CUDA+GPU」套餐的研究所。 事實上，從 2006 年推出 CUDA 至今，涉及計算機計算的各個領域，幾乎已經被塑造成了的形狀。航空航天、生物科學研究、機械和流體模擬及能源探索等領域的研究，80% 在 CUDA 的基礎上進行。 並且，在大模型熱的帶動下，CUDA 生態合作者規模仍在翻倍增長。根據 2023 財年年報，目前有 400 萬名開發者正在與 CUDA 合作。通過 12 年的時間達到 200 萬名開發者，在過去的兩年半里該數字翻了一番，目前 CUDA 的下載量已經超過了 4000 萬次。 與此同時，仍在不斷擴大 CUDA 生態，推出了軟件加速庫的集合 CUDA-X AI。這些庫建立在 CUDA 之上，提供對於深度學習、機器學習和高性能計算必不可少的優化功能，是針對數據科學加速的端到端平台。 <img src="https://imageproxy.pbkrs.com/https://images.tmtpost.com/uploads/images/2023/10/0946cfb9bd7efcecd6ba5db2e3858159_1697164524.jpeg?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" width="1080" height="457" original-src="https://imageproxy.pbkrs.com/https://images.tmtpost.com/uploads/images/2023/10/0946cfb9bd7efcecd6ba5db2e3858159_1697164524.jpeg"/>CUDA 生態如日中天，與之相輔相成的 GPU 成為消費者的首選，因此賺得盆滿缽滿。不過，面對這麼大一塊蛋糕，競爭對手自然不可能隻眼錚錚地看着。 比如，AMD 推出了生態平台 ROCm，同樣兼容不少計算框架；OpenAI 的 Triton 被認為是 CUDA 的最有力挑戰者；由設計，後交由 Khronos Group 維護的開源構架 OpenCL，借鑑了 CUDA 的成功經驗，並儘可能的支持多核 CPU、GPU 或其他加速器；谷歌用「TPU+TensorFlow+ 雲」的模式吸引開發者和拓展客户。 但這些「理論上」的競爭者，在實際工作中，卻暴露出了各種各樣的問題。 今年 2 月，半導體研究和諮詢公司 Semi Analysis 首席分析師 Dylan Patel 曾寫了一篇名為《Nvidia 在機器學習領域的 CUDA 壟斷如何被打破（How Nvidia’s CUDA Monopoly In Machine Learning Is Breaking - OpenAI Triton And PyTorch 2.0）》的文章。 文章的留言中，一位程序員表示： <img id="edit_6741300" src="https://imageproxy.pbkrs.com/http://images.tmtpost.com/uploads/images/2016/12/23453.jpg?x-oss-process=image/auto-orient,1/interlace,1/resize,w_1440,h_1440/quality,q_95/format,jpg" original-src="https://imageproxy.pbkrs.com/http://images.tmtpost.com/uploads/images/2016/12/23453.jpg"/>“我希望如此，但我非常非常懷疑。我使用的所有東西都是基於 CUDA 構建的。實際上，在非 NVidia 硬件上沒有任何功能。‘實際上有效’ 與 ‘理論上有效’ 不同。我使用的很多東西理論上都支持 ROCm，但在實踐中，當你嘗試使用它時，你會遇到大大小小的錯誤，並且會崩潰或無法正常工作。” 一線研究人員的言論證明了，在軟硬件均坐穩頭把交椅，並且培育了市場近 20 年的面前，至少眼下這個階段，沒有企業能和它正面競爭。<h2>02 帝國，誕生於「再造世界」</h2>為什麼恰好是捏住了 CUDA 這張王牌？從 2006 年 CUDA 面世起算，已經過去了接近 18 年時間，為什麼在如此漫長的時間裏，的護城河不但沒有被攻破，反而越來越寬闊？ 這些問題背後都有一個默認的前提——CUDA 是那個「正確」的方向。而在孤注一擲的 21 世紀初，這句話黃仁勳對股東和市場重複了千百遍。如果我們想要一個美好的世界，要做的第一件事，就是模擬它。某種程度上，這個想法就是 GPU 時代的原點，將那些複雜的物理定律模擬出來，並以畫面的形式呈現。然而，那些模擬物理定律的應用不會從天上掉下來，它需要有人一個一個地去開發。 因此，即便 GPU 的運算能力已經被證明未來有可能超過 CPU，應用程序匱乏，編程過程太過繁瑣，缺少底層語言代表的現狀，仍讓程序員們對其敬而遠之。 2003 年，推出了 4 核 CPU，為了與之競爭，開始着手發展統一計算設備架構技術，也就是 CUDA。 這個想法由首席科學家大衞·柯克博士提出，後來也是他説服黃仁勳，讓未來所有的 GPU 都必須支持 CUDA。因為柯克在計算機高性能計算領域所發揮的重要作用，他後來被譽為「CUDA 之父」，還當選為美國國家工程院院士。 這些榮譽都是後話，當時黃仁勳需要解決的問題是，如何讓股東接受產品成本需要上升一倍，去搏一個回報週期可能在 10 年以上的未來。事實上，圍繞着 CUDA 的質疑一直持續到了 AI 時代的前夜，的市值常年徘徊在 10 億美元的水平，股價甚至一度因為 CUDA 附加成本對業績的拖累跌至 1.5 美元。股東多次提出希望他們專注於提高盈利能力。 2010 年，當時的 CPU 王者曾傳出計劃收購。《芯片戰爭》中描述到，“對來説，（收購）價格不是問題，問題是該給黃仁勳一個什麼職位。然而雙方一直沒有達成一致意見，最後不了了之。” 在市場看空的這些年裏，黃仁勳從未質疑過 CUDA 的價值。為了吸引開發人員編寫應用程序並展示 GPU 的優勢，黃仁勳先是使用了當時已經擁有龐大遊戲玩家市場的 GeForce GPU 來作為安裝 CUDA 的基礎。然後又創建了一個名為 GTC 的會議，在全球範圍內孜孜不倦地推廣 CUDA。 近年來最為市場稱道的一個案例是，2016 年，黃仁勳親自去彼時剛成立的 OpenAI 交流，並贈送了一台搭載有 8 顆 P100 芯片的 DGX-1，那是當時最強力的浮點運算 GPU。 這件事往往被解讀為黃仁勳的眼光老辣，但對他本人來説，這無非是確保 CUDA 成為前沿科學研究者最習慣的框架的又一次嘗試而已。 與的篤定恰好能形成對比的，是。 作為 CPU 時代的王者，本該成為最具競爭力的對手。 然而，在 2010 年取消了 CPU 和 GPU 融合的獨立顯卡計劃後，就失去了和硬碰硬的興趣（當然也可以説是因為納米制程陷入停滯而失去底氣）。先是試圖收購，然後又轉身去和在移動基帶市場上較勁，2015 年第一波人工智能熱潮席捲而來時，大夢初醒的一手收購人工智能方向的芯片公司，一手將 AMD 的芯片納入到自己的系統芯片當中。 可惜的是，彼時的市場份額超過了 60%，CUDA 壟斷已然初具雛形，在 GPU 領域，已經沒有資格和坐在同一張牌桌上了。 <h2>03 DPU 和 DOCA，的新戰場</h2>2020 年，創投圈曾流行過一個笑話。 “DPU 是什麼？” “支付寶到賬，一億元。” 只要觸發了 DPU 這個關鍵詞，錢就會滾滾而來。 這輪 DPU 熱，正是掀起的。 2020 年上半年，以 69 億美元對價收購以色列網絡芯片公司 Mellanox Technologies，並於同年推出 BlueField-2 DPU，將其定義為繼 CPU、GPU 之後的「第三顆主力芯片」。 那麼到底什麼是 DPU？DPU 最核心的功能，是取代 CPU，建立以數據為中心的計算架構。眾所周知，CPU 的全稱是中央處理器，它除了承擔運行應用程序、執行計算的任務外，還扮演着數據流量控制器的角色，在 GPU、存儲、FPGA 和其他設備之間移動數據。 你可以簡單理解成，校長拋出一道難題後，老師（CPU）對其進行拆分，其中較為複雜的部分由自己解決，容易但繁瑣的分發給學生（GPU）來做。過去題的數量比較少，老師還可以分得過來。但隨着題目的數量增加，拆分、分發題目的時間反倒佔用了老師的大量時間。 此時，再聘請一個專門拆分、分發題目的人，就成為了提升系統整體運算效率的關鍵。而 DPU 就是那個人。 近年來，隨着數據中心建設、網絡帶寬和數據量急劇增長，同時 CPU 性能增長速度放緩，越來越難以適應未來計算芯片的需求，DPU 應運而生。 官網是這樣定義它的——DPU 是一個用於數據中心基礎設施的先進計算平台。 就像 GPU 背後有 CUDA 生態作支撐一樣，黃仁勳同樣為 DPU 量身定做了一套軟件生態，同步推出了 DOCA。 藉助 DOCA，開發者可以通過創建軟件定義、雲原生、DPU 加速的服務來對未來的數據中心基礎設施進行編程，並支持零信任保護，以滿足現代數據中心日益增長的性能和安全需求。 與 CUDA 不同的是，已經功成名就的不再需要苦口婆心地向市場證明自己眼光的獨到之處，創投圈的 DPU 熱就足以説明這一點。 不過伴隨而來的，DPU 市場的競爭也遠比當年 GPU 要來得激烈。國外廠商中，Marvell、、AMD 均研發了 DPU 或 DPU 的對位產品。國內亦湧現出一批 DPU 初創企業，如雲豹智能、中科馭數、芯啓源、雲脈芯聯、星雲智聯、大禹智芯。 雲廠商方面，的 AWS 和阿里雲已經實現大規模商用 DPU 構架，騰訊和字節跳動則加入了 DPU 研發大軍，其中騰訊推出了水杉和銀杉兩代 DPU。 這一次還能靠 DPU+DOCA 的軟硬件生態復現 GPU+CUDA 的奇蹟嗎？ 各國、各企業之間的算力競賽愈演愈烈，在產能受限並且 DOCA 生態尚未形成的情況下，對手們並非毫無機會。</div>

英偉達

英偉達軟件工程師數量比硬件工程師還要多，意味着什麼？ 真正的護城河從不來自於層出不窮的新芯片，而來源於軟硬件生態——CUDA！

英偉達最關鍵的 “鐮刀”，為何不是 AI 芯片？