大模型訓練一次 200-1200 萬美元！ChatGPT 多燒錢？

隨着以 ChatGPT 為代表的生成式 AI 興起，其背後以大模型為基礎的人工智能成為業界投入的方向。

所謂 “大模型”，通常是在無標註的大數據集上，採用自監督學習的方法進行訓練。之後在其他場景的應用中，開發者只需要對模型進行微調，或採用少量數據進行二次訓練，就可以滿足新應用場景的需要。

據騰訊研究院，當前的人工智能大多是針對特定的場景應用進行訓練，生成的模型難以遷移到其他應用，屬於 “小模型” 的範疇。整個過程不僅需要大量的手工調參，還需要給機器餵養海量的標註數據，這拉低了人工智能的研發效率，且成本較高。

相比之下，大模型的改進可以使所有的下游小模型受益，大幅提升人工智能的使用場景和研發效率。

同時，在大模型的框架下，ChatGPT 所使用的 GPT 模型，每一代參數量均高速擴張，預訓練的數據量需求和成本亦快速提升。

國盛證券計算機分析師劉高暢、楊然在發表於 2 月 12 日的報告《Chatgpt 需要多少算力》中估算，GPT-3 訓練一次的成本約為 140 萬美元，對於一些更大的 LLM 模型，訓練成本介於 200 萬美元至 1200 萬美元之間。這一成本於全球科技大企業而言並不便宜，但尚在可接受範圍內。

初始投入近十億美元，單日電費數萬美元

國盛證券估算，今年 1 月平均每天約有 1300 萬獨立訪客使用 ChatGPT，對應芯片需求為 3 萬多片英偉達 A100GPU，初始投入成本約為 8 億美元，每日電費在 5 萬美元左右：

1) 計算假設：

英偉達 A100：根據 OneFlow 報道，目前，NVIDIAA100 是 AWS 最具成本效益的 GPU 選擇。

英偉達 DGXA100 服務器：單機搭載 8 片 A100GPU，AI 算力性能約為 5PetaFLOP/s，單機最大功率約為 6.5kw，售價約為 19.9 萬美元/台。

標準機櫃：19 英寸、42U。單個 DGXA100 服務器尺寸約為 6U，則標準機櫃可放下約 7 個 DGXA100 服務器。則，單個標準機櫃的成本為 140 萬美元、56 個 A100GPU、算力性能為 35PetaFLOP/s、最大功率 45.5kw。

2）芯片需求量：

每日諮詢量：根據 Similarweb 數據，截至 2023 年 1 月底，chat.openai.com 網站（即 ChatGPT 官網）在 2023/1/27-2023/2/3 這一週吸引的每日訪客數量高達 2500 萬。假設以目前的穩定狀態，每日每用户提問約 10 個問題，則每日約有 2.5 億次諮詢量。

A100 運行小時：假設每個問題平均 30 字，單個字在 A100GPU 上約消耗 350ms，則一天共需消耗 729,167 個 A100GPU 運行小時。

A100 需求量：對應每天需要 729,167/24=30,382 片英偉達 A100GPU 同時計算，才可滿足當前 ChatGPT 的訪問量。

3）運行成本：

初始算力投入：以前述英偉達 DGXA100 為基礎，需要 30,382/8=3,798 台服務器，對應 3,798/7=542 個機櫃。則，為滿足 ChatGPT 當前千萬級用户的諮詢量，初始算力投入成本約為 542*140=7.59 億美元。

每月電費：用電量而言，542*45.5kw*24h=591,864kwh/日。參考 HashrateIndex 統計，我們假設美國平均工業電價約為 0.08 美元/kwh。則，每日電費約為 2,369,640*0.08=4.7 萬美元/日。

訓練成本：公有云下，單次百萬至千萬美元

國盛證券基於參數數量和 token 數量估算，GPT-3 訓練一次的成本約為 140 萬美元；對於一些更大的 LLM 模型採用同樣的計算公式，訓練成本介於 200 萬美元至 1200 萬美元之間：

1）基於參數數量和 token 數量，根據 OneFlow 估算，GPT-3 訓練一次的成本約為 139.8 萬美元：每個 token 的訓練成本通常約為 6N（而推理成本約為 2N），其中 N 是 LLM 的參數ž數量；假設在訓練過程中，模型的 FLOPS 利用率為 46.2%，與在 TPUv4 芯片上進行訓練ž的 PaLM 模型（擁有 5400 億參數）一致。

2）對於一些更大的 LLM 模型（如擁有 2800 億參數的 Gopher 和擁有 5400 億參數的 PaLM），採用同樣的計算公式，可得出，訓練成本介於 200 萬美元至 1200 萬美元之間。

國盛證券認為，在公有云上，對於以谷歌等全球科技大企業而言，百萬至千萬美元級別的訓練成本並不便宜，但尚在可接受範圍內、並非昂貴。