Musk: The next-generation large model Grok 3 will require 100,000 NVIDIA H100 chips
馬斯克預計下一代大模型 Grok 3 將需要 10 萬塊英偉達 H100 GPU，潛在電力消耗相當於一個小城市的用電量。馬斯克指出，當前 AI 技術的發展面臨兩大難題：一是高端 GPU 供應短缺，二是巨大的電力需求。儘管如此，計算和存儲技術的進步將使得未來幾年能夠訓練更為龐大的大型語言模型成為可能。馬斯克預計一種比最聰明的人類還智能的人工智能，在未來一至兩年內就會誕生。
特斯拉首席執行官埃隆·馬斯克最近在接受採訪時，做出了關於通用人工智能（AGI）發展的大膽預言。
他認為：
AGI 有可能在未來 2 年實現超越人類智能的突破，但這一進程需要大量的 GPU 以及電力消耗。
據馬斯克透露，旗下的人工智能公司 xAI 目前正在對第二代大語言模型 Grok 2 進行訓練，預計將在 5 月完成下一訓練階段。Grok 2 的訓練已經耗費了約 2 萬塊英偉達 H100 GPU。未來進階版本 Grok 3 的開發可能需要高達 10 萬塊英偉達 H100 GPU。
馬斯克指出：
當前 AI 技術的發展面臨兩大難題：一是高端 GPU，如英偉達 H100 的供應短缺，要快速獲得 10 萬塊 GPU 並非易事；二是巨大的電力需求。一台英偉達 H100 GPU 在全負荷工作時約消耗 700 瓦電力，因此 10 萬塊這樣的 GPU 將消耗高達 70 兆瓦的電力。若考慮到服務器和冷卻系統的需求，一個配備有 10 萬塊英偉達 H100 處理器的數據中心的電力消耗大概會達到 100 兆瓦，相當於一個小城市的用電量。
這兩大限制因素凸顯了擴展 AI 技術以滿足不斷增長的計算需求所面臨的挑戰。
儘管如此，計算和存儲技術的進步將使得未來幾年能夠訓練更為龐大的大型語言模型成為可能。英偉達在科技盛會 GTC 2024 上展示的 Blackwell B200 GPU 平台，旨在支持可擴展至數萬億參數的大語言模型，預示着 AGI 發展的關鍵一步。
馬斯克預計：
一種比最聰明的人類還智能的人工智能，在未來一至兩年內就會誕生。如果將 AGI 定義為智能超過最聰明的人類，我認為它很可能在明年，或兩年內實現。