解读公司 | 英伟达最新电话会,说了什么?

智通財經
2024.02.22 03:21
portai
我是 PortAI,我可以总结文章信息。

世界已經到達新計算時代的轉折點!“40% 的數據中心收入來自於 AI 推理” 可能還是低估!英偉達如何看待自家產品的長期可用性?今天的訓練集羣會成為明天的推理集羣嗎?

智通財經 APP 獲悉,2 月 22 日,英偉達 (NVDA.US) 召開 24 財年 Q4 業績會。英偉達介紹,第四季度收入達到創紀錄的 221 億美元,環比增長 22%,同比增長 265%,遠高於 200 億美元的預期。2024 財年,收入達到 609 億美元,比上一年增長 126%。數據中心,2024 財年收入為 475 億美元,是上一年的三倍多。

英偉達指出,世界已經到達新計算時代的轉折點。價值數萬億美元的數據中心基礎設施安裝基礎正在迅速從通用計算過渡到加速計算。隨着摩爾定律的放緩和計算需求的猛增,公司正在加速所有可能的工作負載,以推動未來性能、成本和能源效率的改進。與此同時,企業開始建設下一代現代數據中心,即人工智能工廠,專門用於在生成人工智能時代提煉原始數據併產生價值。

英偉達表示,第四季度,在 Nvidia Hopper GPU 計算平台和 InfiniBand 端到端網絡的推動下,數據中心收入達到 184 億美元,創下歷史新高,環比增長 27%,同比增長 409%。計算收入增長了 5 倍以上,網絡收入增長了兩倍。

第四季度數據中心的增長是由跨越不同行業、用例和地區的生成式 AI 和大型語言模型的訓練和推理推動的。公司的數據中心平台的多功能性和領先性能可為許多用例帶來高投資回報,包括 AI 訓練和推理、數據處理和廣泛的 CUDA 加速工作負載。公司估計,去年數據中心大約 40% 的收入來自 AI 推理。

構建和部署 AI 解決方案几乎已涉及每個行業。各行各業的許多公司都在大規模培訓和運營其 AI 模型和服務。企業通過雲提供商使用 Nvidia AI 基礎設施,包括超大規模、GPU 專用雲、私有云或本地雲。Nvidia 的計算堆棧可跨雲和本地環境無縫擴展,允許客户採用多雲或混合雲策略進行部署。在第四季度,大型雲提供商佔數據中心收入的一半以上,支持內部工作負載和外部公共雲客户。

Q&A

問:在數據中心業務方面,過去 一個季度對 2024-2025 年的預期有何變化?

答:我們每次指導一個季度,但從根本上講,24、25 日曆及以後的持續增長條件非常好。

我們正處於兩個全行業轉型的開始階段。首先是從通用計算向加速計算的轉變。通用計算開始失去動力,通信服務提供商和許多數據中心(包括我們自己的數據中心)證明了這一點,折舊時間從四年延長到六年。當您無法像以前那樣從根本上顯着提高其吞吐量時,就沒有理由更新更多的 CPU。所以,你必須加速一切。這是 Nvidia 一段時間以來一直在開拓的領域。通過加速計算,您可以顯着提高能源效率,並將數據處理成本降低 20 比 1,這是一個巨大的數字。當然還有速度上的提升。

這種速度促成了第二次全行業轉型,即生成式人工智能。生成式人工智能是一種新的應用程序,它支持一種新的軟件開發方式,創建新型軟件。這是一種新的計算方式。你無法在傳統的通用計算上進行生成式人工智能;必須加速。它正在催生一個全新的行業,值得退後一步審視。它與你關於主權人工智能的最後一個問題有關。

數據中心第一次不僅僅是計算數據、存儲數據和為公司員工提供服務。我們現在有一個關於人工智能生成的新型數據中心,一個人工智能生成工廠。它採用原材料(即數據),用 Nvidia 構建的人工智能超級計算機對其進行轉換,並將其轉化為極其有價值的代幣。這些令牌是人們在 ChatGPT、中間旅程或增強搜索中體驗到的。現在,您所有的推薦系統都得到了增強,伴隨着超個性化,所有這些數字生物學領域令人難以置信的初創公司都產生了蛋白質和化學物質,這樣的例子不勝枚舉。這些代幣是在一種非常專業的數據中心中生成的,我們稱之為人工智能超級計算機和人工智能生成工廠。

我們看到這在新市場中的體現方式存在多樣性。

我們所做的推理量是驚人的。幾乎每次您與 ChatGPT 交互時,我們都在進行推理。每次您使用旅程時,我們都會進行推斷。每次你看到令人驚歎的視頻被生成或編輯時,Nvidia 都在進行推理。

我們業務的推理部分增長了約 40%。由於這些模型變得越來越大,訓練量仍在繼續。我們還向新行業進行多元化發展。從資本支出和討論中可以看出,大型通信服務提供商仍在建設中。但有一個新類別稱為 GPU 專用 CSP。他們專注於 Nvidia 人工智能基礎設施。您會看到部署 AI 的企業軟件平台,例如 ServiceNow、Adobe、SAP 等。消費者互聯網服務現在正在通過生成人工智能來增強其所有服務,以提供更加超個性化的內容。

我們談論的是工業生成人工智能。我們的行業現在代表着價值數十億美元的業務,包括汽車、健康、金融服務。

主權人工智能與每個地區的語言、知識、歷史和文化不同,並且擁有自己的數據這一事實有關。他們希望利用自己的數據創建自己的數字智能,並提供它來自己利用原材料。我們看到日本、加拿大、法國和許多其他地區正在建設主權人工智能基礎設施。我的期望是,美國和西方正在經歷的事情肯定會在世界各地複製。這些人工智能生成工廠將遍佈每個行業、每個公司、每個地區。

去年,我們看到生成式人工智能成為一個全新的應用空間、一種新的計算方式、形成新的行業,這正在推動我們的增長。

問:我們如何計算出 “40% 的數據中心收入來自於 AI 推理”?歷史數字在什麼水平?

答:這個比例可能被低估了。互聯網有數萬億個項目 ,而你的手機屏幕空間有限。將所有信息壓縮到如此小的區域的能力是通過推薦系統實現的。這些推薦系統傳統上基於 CPU 方法。然而,最近向深度學習和生成式人工智能的轉變,使這些系統完全走上了 GPU 加速的道路。因此,GPU 現在參與了推薦系統的每一步——嵌入、最近鄰搜索、重新排序和生成增強信息都需要 GPU 加速。推薦系統是地球上最大的軟件引擎,對於全球幾乎所有大公司來説都是必不可少的。

每當你使用 ChatGPT、使用 MidJourney 生成圖片時,都會用到推理。與 Getty 的合作、Adobe 的 Firefly 也都基於生成式的模型。這些例子以及其他例子都是 100% 新的,一年前還不存在。

問:如何理解 “下一代產品將受到供應限制”?

答:首先,總體而言,我們的供應正在改善。我們的供應鏈為我們做了令人難以置信的工作,從晶圓、封裝和存儲器到所有電源調節器、收發器、網絡和電纜,我們的出貨範圍很廣。人們通常認為 Nvidia GPU 只是一塊芯片,但 Nvidia Hopper GPU 有 35,000 個零件,重 70 磅。數據中心後面的佈線系統是 世界上迄今為止最密集、最複雜的網絡系統。

我們的 InfiniBand 業務同比增長了五倍。供應鏈為我們提供了極大的支持,總體而言,供應正在改善。我們預計全年需求將繼續超過供應,但我們正在盡最大努力縮短週期時間。

然而,對於新產品來説,從零到大銷量的增長不會在一夜之間發生。一切都在逐漸升温。我們目前正在加強 H100。隨着我們的增加,短期內不可能滿足需求。我們還正在加強 Spectrum X,這款全新產品在以太網領域的表現非常出色。InfiniBand 是 AI 專用系統的標準,而傳統上不是一個良好的橫向擴展系統的以太網通過 Spectrum X 得到了增強。我們添加了自適應路由、擁塞控制和流量隔離等新功能,以針對 AI 優化以太網。InfiniBand 將成為我們的 AI 專用基礎設施,Spectrum X 將成為我們的 AI 優化網絡。對於所有新產品,需求都會超過供應,這是新產品發佈的典型現象。我們正在儘快工作以滿足需求。總體而言,我們的供應量正在顯着增加。

問:目前向中國市場運送的產品有多少?是否會增加其他替代解決方案?

答:美國政府的核心目的是限制英偉達加速計算和人工智能技術在中國市場的最新能力,同時也希望我們能夠在這些限制下在中國取得成功。當新的限制措施宣佈後,我們立即停下來 充分了解它們,並重新配置我們的產品以使其符合要求,確保它們無法被軟件破解。這個過程花了一些時間,導致我們在中國的產品供應重新調整。我們現在正在向中國的客户提供樣品,並將盡最大努力競爭和 在規定的限制範圍內,在該市場取得成功。

上個季度,由於我們暫停向市場發貨,我們的業務大幅下降。我們預計本季度也會出現類似情況。然而,我們希望此後能夠有效地競爭我們的業務,並將看看它如何展開。

問:如何拆解軟件業務?

答:讓我解釋一下為什麼英偉達會在軟件方面非常成功。加速計算與通用計算有很大不同,它主要在雲中增長。在雲中,服務提供商擁有龐大的工程團隊,他們與我們的團隊密切合作,管理、修復和維護加速計算所需的複雜軟件堆棧。

加速計算涉及不同領域的專用軟件堆棧,例如數據處理、機器學習、計算機視覺、語音識別、大型語言模型和推薦系統。Nvidia 開發了數百個庫,因為軟件對於打開新市場和啓用新應用程序至關重要。加速計算軟件的必要性是與通用計算的根本區別,許多人花了一些時間才理解這一區別。

隨着生成式人工智能的出現,每個企業和軟件公司現在都在擁抱加速計算。與大型雲服務提供商不同,這些企業沒有龐大的工程團隊來跨各種環境維護和優化其軟件堆棧。Nvidia 通過管理、優化、修補和調整其軟件堆棧來解決這一差距,並將其容器化到我們所説的 Nvidia AI Enterprise 中。該解決方案充當運行時,類似於人工智能操作系統,而我們的收費是每個 GPU 每年 4,500 美元。

我們預計每個跨雲、私有云和本地部署應用程序的企業和軟件公司都將使用 Nvidia AI Enterprise,尤其是我們的 GPU。這項計劃已經有了一個良好的開端,已經實現了十億美元的運行率,而我們才剛剛開始。

問:如何根據客户部署準備情況來管理產品分配?如何監控是否存在尚未激活的產品堆積?在跨行業競爭的客户、小型初創公司、醫療保健實體和政府中,如何確保公平的產品分配?

答:首先,我們的 CSPs 對我們的產品路線圖和轉換有一個非清晰的視圖。這種透明度給了他們信心,知道哪些產品放在哪裏,以及何時放置。他們瞭解時間,數量,以及我們的分配過程。我們努力公平分配,盡我們所能避免不必要的分配。正如之前提到的,數據中心尚未準備好時分配資源是低效的,導致資源閒置。我們的目標是公平分配,並避免不必要的分配。

我們有一個優秀的生態系統,包括 OEMs、ODMs、CSPs,以及重要的終端市場。Nvidia 的獨特之處在於我們不僅提供技術,還將客户帶給我們的合作伙伴,包括 CSPs 和 OEMs。這包括生物技術公司、醫療保健公司、金融服務公司、AI 開發商、大型語言模型開發商、自動駕駛汽車公司、機器人公司等。我們正見證機器人公司的激增,從倉庫和手術機器人到人形機器人和農業機器人等。

這些初創企業和大公司跨越醫療保健、金融服務、汽車等多個領域,在 Nvidia 平台上工作。我們直接支持他們,有時通過將資源分配給 CSP 並同時將客户介紹給 CSP 來促成連接。

我們的生態系統確實充滿活力,其核心目標是公平分配資源,同時避免浪費,並尋找連接合作夥伴和終端用户的機會。我們一直在尋找這些機會。

問:公司如何將積壓訂單轉化為收入?產品交貨時間已經大大縮短,但如果將庫存加上合同和你的預付費供應加起來,公司的供應總量實際上下降了一點。

答:讓我重點介紹我們如何看待供應商的三個不同方面。首先,當物品進入庫存時我們努力將它們運送給我們的客户。第二部分是我們的採購承諾有許多不同的組件,我們製造所需的組件,但我們也經常採購我們可能需要的產能,產能或者組件所需求的購置時間長度都是不同的。其中一些可能會持續到接下來的兩個季度,但有些可能會持續多年。第三,關於我們的預付費也是同樣的道理。我們的預付款是預先設計的,以確保我們的幾個製造供應商擁有我們未來所需的儲備能力。它們只是購置的提前時間長度不同,因為我們有時不得不購買交貨時間較長的東西或需要為我們建造容量的東西。

問:如何看待 Nvidia 產品的長期可用性?今天的訓練集羣會成為明天的推理集羣嗎?

答:我們之所以能夠如此大幅度提高性能,是因為我們的平台有兩個特點。一是它是加速的,二是它是可編程的。Nvidia 是唯一一個從一開始就一直在發展的架構。我們已經能夠支持它,優化我們的堆棧,並將其部署到我們的安裝基礎中。

一方面,我們可以發明新的架構和技術,例如 Tensor Cores,例如 Tensor Cores 的 Transformer 引擎,並使用不同代的 Tensor Cores 改進新的數值格式和處理結構,同時支持安裝基礎 。因此,我們採用所有新的軟件算法,投資行業模型的新發明,並在我們的安裝基礎上運行。

另一方面,每當我們看到一些革命性的東西,比如 Transformer,我們就可以創造一些全新的東西,比如 Hopper Transformer 引擎,並將其應用到未來。因此,我們同時擁有將軟件引入安裝基礎並不斷改進的能力。因此,隨着時間的推移,我們的新軟件不斷豐富我們客户的安裝基礎。對於新技術,我們創造革命性的能力。