GPT 會是 AI 算法模型的終極答案嗎？

中信證券認為，GPT 模型在交互邏輯、內容生成和理解上具備獨特優勢，AI 算法模型最終會普遍朝 GPT 方向靠攏。

過去十年來，人工智能領域經歷了從小模型到以 Transformer 為代表的大模型的百花齊放。直到 ChatGPT 橫空出世，才終於將簡潔、易用的 “通用人工智能” 帶入了大眾視野。英偉達 CEO 黃仁勳曾多次表示，他相信 ChatGPT 的誕生，意味着人工智能的 iPhone 時刻。這款革命性產品的背後，是 OpenAI 十年磨一劍的 GPT 系列大模型。

AI 算法模型作為產業的核心環節，其本身的技術路線，將直接決定 AI 產業鏈最終形態，以及各產業環節的分工協作方式、價值分配結構等。

那麼，GPT 系列大模型會成為 AI 算法模型的終極答案嗎？

通過對 AI 發展技術路線的梳理，中信證券分析師陳俊雲、許英博等指出，GPT 模型在交互邏輯、內容生成和理解上具備獨特優勢，AI 算法模型最終會普遍朝 GPT 方向靠攏。

AI 技術路徑四階段

從人工智能這個概念在 1950 年被提出開始，已經經歷了從規則學習到機器學習再到神經網絡的關鍵轉變。分析師強調，本輪人工智能的技術突破都是基於在神經網絡技術上的不斷進步。過去 10 年裏，AI 模型經歷了從小模型到以 Transformer 為代表的大模型的轉變。

而細分近十年來模型發展的進步，分析師觀察到了從以 CNN、DNN 為代表的傳統神經網絡小模型到以 Transformer 為代表的神經網絡大模型轉變的趨勢。

具體來看，全球 AI 行業最近 10 年的發展歷史，可以總結為 4 個階段：

1）2017 年前：

以深度學習為核心的小模型佔據主流：這類模型以 LSTM 及 CNN 模型作為典型的特徵抽取器，根據特定領域標註數據訓練，在一些任務上可以達到接近人類的水準。但是硬件算力不夠導致針對其他領域重新訓練成本過高，讓其通用型任務的完成情況較差。

2）2017 年到 2020 年：

以谷歌 Bert 為代表的雙向預訓練 +FineTuning（微調）的 Transformer 模型橫空出世成為了人工智能的主流方向。

谷歌研究團隊發表的《Attention is all you need》論文（作者：Ashish Vaswani，Noam Shazeer，Niki Parmar 等）開創了 Transformer 模型，重新統一了自然語言模型 (NLP) 的研究範式。

這類模型以預訓練的方式學習語言學特徵，大幅簡化了過去 NLP 繁瑣的研究種類。Transformer 作為特徵提取器效果好於 CNN、LSTM 模型等，在信息容納能力、並行計算等方面明顯佔優，讓 AI 首次能在語言任務的部分場景中追平人類。

3）2020 年到 2022 年：

產業界與學術界繼續沿着 Transformer 的道路前景，但開始嘗試不同於 Bert 的其他 Transformer 架構，通過預訓練無監督學習的方法不斷增加模型體積成為了這一時段的主流。

以 1750 億參數的 GPT-3 為代表，各大互聯網巨頭不斷嘗試增加模型體積以獲得更好的效果。

GPT-3 為代表的自迴歸 +Prompting 的方法開始展現產品化能力的優越性，與 Fine-tuning 方法的 Bert 模型成為兩條道路。

相比於 Bert，GPT-3 的自迴歸 +Prompting 在產品化能力展現出了兩個優點：

Fine-tuning 對於小公司更難部署，從產品化的角度上更加困難；

Prompting 的方法更符合我們對以人類的方式使用 AI 的願望，並實現了人、模型之間的自然交互。

谷歌等巨頭在這一階段也意識到了 Prompting 方法的重要性，逐漸開始轉向。

國內 AI 研究在這一段時間內出現了明顯落後，仍然沿着 Bert 模型的方向繼續前進，對 GPT-3 的研究很少；同時受制於中文優質語料的缺乏，模型大小也較難提升。

4）2022 年至今：

ChatGPT 的成功證明了 GPT 模型的 Prompting 道路的正確性，同時也強調了數據質量的重要性。

ChatGPT 最重要的成功是在產品化上更進一步：ChatGPT 在模型精度上並沒有飛躍性的突破，但從 Few Shot prompt（需要輸入少量範例示範）轉換到 Instruct（用人類語言描述想做什麼）更加貼合用户的習慣。

GPT 更接近 “通用人工智能”

分析師總結稱，儘管 Prompting 雖然犧牲了部分精度，但無需用任務區分器區別不同的任務，更接近於大眾所理解的 “通用人工智能”。

此前大眾此前接觸的人工智能如·Siri、小愛、小度音箱等，通過以任務分類的形式運行，準備不同任務的標註數據分別進行訓練，是傳統的 Bert 類模型。

簡單來説，將預先設置好的任務類型放於模型背後，使用者通過描述任務類型系統來匹配對應的模塊，缺點是使用者的指令需要清晰且無法執行沒有預先設置的任務類型。

而 GPT 類模型面對用户不同的輸入，模型可以自行判斷給了用户更好的體驗，這也更接近於大眾理解的 “通用人工智能”。

華爾街見聞此前多次提及，除了文字領域，LLM（大語言模型）已經被應用於圖像、音視頻等場景的問題求解中，並不斷取得理想的效果。

而在 LLM 模型的技術路線上，GPT 在內容生成、理解上的良好表現，以及更為可行的人、模型交互方式（prompt 提示詞），讓 GPT 有望成為算法模型的終極答案。

本文主要觀點來自中信證券陳俊雲（執業：S1010517080001）等發佈的報告《GPT 會是 AI 算法模型的終極答案嗎？》，有刪節