重磅！微軟開源 Deep Speed Chat，人人擁有 ChatGPT！
用户通過 Deep Speed Chat 提供的 “傻瓜式” 操作，能以最短的時間、最高效的成本訓練類 ChatGPT 大語言模型，這標誌着一個人手一個 ChatGPT 的時代要來了。
4 月 12 日，微軟宣佈開源了 Deep Speed Chat，幫助用户輕鬆訓練類 ChatGPT 等大語言模型，使得人人都能擁有自己的 ChatGPT！（開源地址：https://github.com/microsoft/DeepSpeed）
據悉，Deep Speed Chat 是基於微軟 Deep Speed 深度學習優化庫開發而成，具備訓練、強化推理等功能，還使用了 RLHF（人工反饋機制的強化學習）技術，可將訓練速度提升 15 倍以上，成本卻大幅度降低。例如，一個 130 億參數的類 ChatGPT 模型，只需 1.25 小時就能完成訓練。
簡單來説，用户通過 Deep Speed Chat 提供的 “傻瓜式” 操作，能以最短的時間、最高效的成本訓練類 ChatGPT 大語言模型，這標誌着一個人手一個 ChatGPT 的時代要來了。
微軟為什麼開源 Deep Speed Chat
ChatGPT 只用了幾個月的時間便席捲全球，成為史上用户增長速度最快的消費級應用，對世界的經濟發展、科技研發起到了重要的推動作用。很多企業、個人用户紛紛想參與到這場 AI 技術變革中，但由於龐大的資源、資金投入只能望而卻步。
即便開源領域推出了 LLaMa、Alpaca、Vicuna、Databricks-Dolly 等優秀的類 ChatGPT 項目，仍缺乏一個支持端到端的基於 RLHF 的規模化系統，使得訓練強大的類 ChatGPT 模型非常艱難。
例如，使用上述開源項目訓練一個 67 億參數的類 ChatGPT 模型，通常需要昂貴的多卡至多節點的 GPU 集羣，但這些資源對大多數科學家、小型企業、個人開發者而言難以獲取。
即便是擁有這樣的資源，現有的開源系統的訓練效率通常還不到，這些機器所能達到的最大效率的 5%。
現在，通過 Deep Speed Chat 解決資源、算法等難題，輕鬆、高效的訓練數千億參數的最先進的類 ChatGPT 模型。
Deep Speed Chat技術簡單介紹
ChatGPT 模型的訓練是基於 InstructGPT 論文中的 RLHF 方式，這使得現有深度學習系統在訓練類 ChatGPT 模型時存在種種侷限。現在，通過 Deep Speed Chat 可以突破這些訓練瓶頸，達到最佳效果。
Deep Speed Chat 擁有強化推理、RLHF 模塊、RLHF 系統三大核心功能。
簡化 ChatGPT 類型模型的訓練和強化推理：只需一個腳本即可實現多個訓練步驟，包括使用 Huggingface 預訓練的模型、使用 DeepSpeed-RLHF 系統運行 InstructGPT 訓練的所有三個步驟，生成屬於自己的類 ChatGPT 模型。此外，還提供了一個易於使用的推理 API，用於在模型訓練後測試對話性能。
Deep Speed-RLHF 模塊：DeepSpeed-RLHF 復刻了 InstructGPT 論文中的訓練模式，並確保包括：a) 監督微調（SFT），b) 獎勵模型微調和 c) 基於人類反饋的強化學習（RLHF）在內的三個步驟與其對應。此外，還提供了數據抽象和混合功能，以支持用户使用多個不同來源的數據源進行訓練。
DeepSpeed-RLHF系統：將 DeepSpeed 的訓練和推理能力整合到統一的混合引擎（DeepSpeed Hybrid Engine or DeepSpeed-HE）中用於 RLHF 訓練。DeepSpeed-HE 能夠在 RLHF 中無縫地在推理和訓練模式之間切換，使其能夠利用來自 DeepSpeed-Inference 的各種優化。
例如，張量並行計算和高性能 CUDA 算子進行語言生成，同時對訓練部分還能從 ZeRO- 和 LoRA-based 內存優化策略中受益。DeepSpeed-HE 可以自動在 RLHF 的不同階段進行智能的內存管理和數據緩存。
此外，Deep Speed Chat 在成本、效率、擴展性等方面非常優秀。
高效且節省成本：在 Azure 雲上只需 9 小時即可訓練一個 OPT-13B 模型，只需 18 小時即可訓練一個 OPT-30B 模型。這兩種訓練分別花費不到 300 美元和 600 美元。
卓越擴展性：能夠支持訓練擁有數千億參數的模型，並在多節點多 GPU 系統上展現出卓越的擴展性。因此，即使是一個擁有 130 億參數的模型，也只需 1.25 小時就能完成訓練。而對於擁 1750 億參數的模型，使用 Deep Speed Chat 進行訓練也只需不到一天的時間。
注意：在 Azure 上訓練時由於 GPU 不同，所以訓練時間和費用也各不相同。
全民 ChatGPT 時代來了
做個不太恰當的比喻，微軟此次開源 Deep Speed Chat 就像當年的互聯網，為了提升發展速率降低了台式機的價格，使得普通用户也能擁有自己的電腦。
只有參與的用户多了，整個行業生態才能快速壯大發展，所以，微軟此次開源對整個 ChatGPT 生態發展起到了至關重要的推動作用，使得人人都能擁有自己的 ChatGPT。
目前，ChatGPT 處於初級發展階段，存在安全隱患、數據隱私、道德等問題。相信隨着參與用户的增多，這些難題將會被有效的解決，從而為全球經濟發展做出貢獻。
本文來源：AIGC 開放社區，原文標題：《重磅！微軟開源 Deep Speed Chat，人人擁有 ChatGPT！》