狂飆的 ChatGPT，為什麼是 OpenAI 最先做出來？
ChatGPT 和過去的 AI 有什麼不同？OpenAI 是如何戰勝谷歌的？OpenAI 的成功花了多少錢？ChatGPT 爆火之後，誰是最後贏家？
來源：甲子光年
國內公司如何接招？
作者 | 趙健
ChatGPT 的熱度正在一路狂飆。
“去年 12 月在機器學習圈曾持續熱議過，但是沒有現在每一個羣都在交流和使用的狀況。這是除了疫情，從未有過的現象。” 有人如此感慨。
一位 AI 產品經理向 ‘甲子光年’ 表示，或許若干年後回看 AI 行業的發展，會有兩個標誌：阿爾法狗代表 AI 在專業領域 “幹翻” 人類的起點，ChatGPT 代表 AI 在通用智能領域 “幹翻” 人類的起點．．．．．．
《財富》雜誌則是這樣描述的：
在一代人的時間中總有一種產品的出現，它將從工程系昏暗的地下室、書呆子們臭氣熏天的青少年卧室和愛好者們孤獨的洞穴中彈射出來，變成了你的祖母 Edna 都知道如何使用的東西。早在 1990 年就有網絡瀏覽器，但直到 1994 年 Netscape Navigator 的出現，大多數人才發現了互聯網。2001 年 iPod 問世之前就已經有了 MP3 播放器，但它們並沒有引發數字音樂革命。在 2007 年蘋果推出 iPhone 之前，也有智能手機，但在 iPhone 之前，沒有智能手機的應用程序。
2022 年 11 月 30 日，人工智能迎來了 Netscape Navigator 時刻。
對於人工智能或者聊天機器人，我們並不陌生。從蘋果 Siri、微軟小冰、智能音箱，這些人工智能產品已經融入到人們的生活中，但是基本都有一個特點——還比較笨，跟我們在《流浪地球 2》中看到的 MOSS 相差十萬八千里。
但這次的 ChatGPT 有點不一樣。它不但可以實現多輪文本對話，也可以寫代碼、寫營銷文案、寫詩歌、寫商業計劃書、寫電影劇本。雖然並不完美、也會出錯，但看起來無所不能。
連埃隆·馬斯克都評價道：“ChatGPT 好得嚇人，我們離危險的強人工智能不遠了。”
而且，ChatGPT 也不僅僅是一個打發時間的聊天機器人，微軟與谷歌此時此刻正在因為 ChatGPT 的出現籌備一場關乎未來的 AI 大戰。而國內的科技公司，也在努力思考着如何搭上駛向未來的船票，無論是以蹭概念，還是真產品的方式。
這一切，ChatGPT 是如何做到的？本文，‘甲子光年’ 將首先回答幾個最基礎的問題：
ChatGPT 和過去的 AI 有什麼不同？
OpenAI 是如何戰勝谷歌的？
OpenAI 的成功花了多少錢？
ChatGPT 爆火之後，誰是最後贏家？
我們也整理了一份 “ChatGPT 指南”，包含了 ChatGPT 的一些精品文章、報告。在 ‘甲子光年’ 公眾號回覆 “ChatGPT” 查看或下載。
1.ChatGPT，生成式 AI 的王炸
剛剛過去的 2022 年，從硅谷到國內的科技公司，上上下下都蔓延着一股 “寒氣”。但是，AI 行業卻完全是另一番熱鬧的景象。
這一年，通過輸入文本描述就能自動生成圖片的 AI 繪畫神器突然雨後春筍般冒了出來，其中最具代表性的幾家為第二代 DALL·E（由 OpenAI 於 2022 年 4 月發佈）、Imagen（谷歌 2022 年 5 月發佈）、Midjourney（2022 年 7 月發佈）、Stable Diffusion（2022 年 7 月發佈）等，讓人眼花繚亂。
2022 年 9 月，由 Midjourney 創作生成的畫作《太空歌劇院》在科羅拉多州博覽會數字藝術創作類比賽中獲得一等獎並引發爭議，AI 繪畫進一步破圈，受到大眾關注。
圖片來自網絡
AI 繪畫是 AI 發展的里程碑級應用，但沒過多久人們便發現，AI 繪畫只是 “四個二”，真正的 “王炸” 在 11 月 30 日上線——ChatGPT。
去年 12 月，我們曾與 ChatGPT 做過一次對話。
從 AI 繪畫到 ChatGPT，它們都屬於 AI 的一個分支——生成式 AI（Generative AI），在國內也被稱為 AIGC（AI Generated Content）。
2022 年 9 月，紅杉資本發佈了一篇重磅文章——《生成式 AI：一個創造性的新世界》（Generative AI： A Creative New World），首次提出生成式 AI 這一概念。
紅杉資本將生成式 AI 分為文本、代碼、圖片、語言、視頻、3D 等數個應用場景。紅杉資本認為，生成式 AI 至少可以提高 10% 的效率或創造力，有潛力產生數萬億美元的經濟價值。
圖片來自紅杉資本
憑藉生成式 AI 的風口，一些 AI 繪畫公司開始拿到鉅額融資。2022 年 10 月，Stable Diffusion 模型背後的公司 Stability AI 宣佈獲得 1.01 億美元種子輪，投後估值達 10 億美元；另一家 AI 內容平台 Jasper 亦宣佈獲 1.25 億美元新融資，估值達 17 億美元。
據 Leonis Capital 統計，自 2020 年以來，VC 對生成人工智能的投資增長了 400% 以上，2022 年則達到驚人的 21 億美元。
在文章中，紅杉資本將 AI 分為 “分析式 AI” 與 “生成式 AI” 兩大類，分析式 AI 主要用在垃圾郵件檢測、預測發貨時間或者抖音視頻推薦中，也是過去幾年最常見、發展最快的 AI 類型。國內的 AI 四小龍——商湯、曠視、雲從、依圖皆屬於此類。
生成式 AI 則聚焦於知識工作與創造性工作，從社交媒體到遊戲，從廣告到建築，從編碼到平面設計，從產品設計到法律，從營銷到銷售。
在 2015 年之前，人工智能基本是小模型的天下。
過去的微軟小冰、蘋果 Siri、智能音箱，以及各個平台的客服機器人背後都是小模型，在其系統中包含若干 Agent（知行主體，可以理解為執行具體任務的程序），一個專門負責聊天對話、一個專門負責詩詞生成、一個專門負責代碼生成、一個專門負責營銷文案等等。
如果需要增加新功能，只需要訓練一個新的 Agent。如果用户的問題超出了既有 Agent 的範圍，那麼就會從人工智能變為人工智障。
但是 ChatGPT 不再是這種模式，而是採用了 “大模型 +Prompting（提示詞）”。大模型可以理解為背後只有一個 Agent 來解決用户所有的問題，因此更加接近 AGI（通用人工智能）。
ChatGPT 的出現不亞於在人工智能行業投下了一枚 “核彈”。前微軟 CEO 比爾·蓋茨對 ChatGPT 評價為 “不亞於互聯網誕生”，現微軟 CEO 薩提亞·納德拉將其盛讚為 “堪比工業革命”。如今，有越來越多的公司開始將 ChatGPT 融入其產品中，或者推出類 ChatGPT 的產品。
對此，ChatGPT 是如何做到的？
2.OpenAI 纏鬥谷歌
ChatGPT 背後的公司為 OpenAI，成立於 2015 年，由特斯拉 CEO 埃隆·馬斯克、PayPal 聯合創始人彼得·蒂爾、Linkedin 創始人裏德·霍夫曼、創業孵化器 Y Combinator 總裁阿爾特曼（Sam Altman）等人出資 10 億美元創立。
OpenAI 的誕生旨在開發通用人工智能（AGI）並造福人類。
當時，谷歌才是人工智能領域的最強公司。2016 年打敗人類圍棋冠軍的阿爾法狗背後的 AI 創企 DeepMind，就是由谷歌收購。
這一年 5 月，谷歌 CEO 桑德·皮查伊（Sundar Pichai）宣佈將公司策略從 “移動為先” 轉變成 “人工智能為先”（AI First），並計劃在公司的每一個產品上都應用機器學習算法。
OpenAI 誕生的初衷，部分原因就是為了避免谷歌在人工智能領域形成壟斷。OpenAI 起初是一個非營利組織，但在 2019 年成立 OpenAI LP 子公司，目標是盈利和商業化，並引入了微軟的 10 億美元投資。前 YC 孵化器總裁阿爾特曼就是此時加入 OpenAI 擔任 CEO。
ChatGPT 名字中的 GPT（Generative Pre-trained Transformer ，生成式預訓練變換器），是 OpenAI 推出的深度學習模型。ChatGPT 就是基於 GPT-3.5 版本的聊天機器人。
GPT 的名字中包含了大名鼎鼎的 Transformer，這是由谷歌大腦團隊在 2017 年的論文《Attention is all you need》中首次提出的模型。現在來看，這是人工智能發展的里程碑事件，它完全取代了以往的 RNN（循環神經網絡）和 CNN（卷積神經網絡）結構，先後在 NLP（自然語言處理）、CV（計算機視覺）領域取得了驚人的效果。
最初的 Transformer 模型有 6500 個可調參數，是當時最先進的大語言模型（Large Language Model， LLM）。谷歌公開了模型架構，任何人都可以用其搭建類似架構的模型，並結合自己手上的數據進行訓練。
特斯拉自動駕駛，預測蛋白質結構的 AlphaFold2 模型，以及本文的主角 OpenAI 的 GPT，都是在 Transformer 的基礎上構建的。正如它的中文名字一樣——變形金剛。
Transformer 出現之後，很多公司基於 Transformer 做 NLP 模型研究，其中 OpenAI 與谷歌就是最重要的兩家。
2018 年，OpenAI 推出了 1.17 億參數的 GPT-1，谷歌推出了 3 億參數的 BERT，雙方展開了一場 NLP 的較量。
GPT 與 BERT 採用了不同的技術路線。簡單理解，BERT 是一個雙向模型，可以聯繫上下文進行分析，更擅長 “完形填空”；而 GPT 是一個單項模型，只能從左到右進行閲讀，更擅長 “寫作文”。
兩者的表現如何呢？發佈更早的 GPT-1 贏了初代 Transformer，但輸給了晚 4 個月發佈的 BERT，而且是完敗。在當時的競賽排行榜上，閲讀理解領域已經被 BERT 屠榜了。此後，BERT 也成為了 NLP 領域最常用的模型。
但是這場 AI 競爭才剛剛開始。OpenAI 既沒有認輸，也非常 “頭鐵”。雖然 GPT-1 效果不如 BERT，但 OpenAI 沒有改變策略，而是堅持走 “大模型路線”。
在 OpenAI 眼中，未來的通用人工智能應該長這個樣子：“有一個任務無關的超大型 LLM，用來從海量數據（維權）中學習各種知識，這個 LLM 以生成一切的方式，來解決各種各樣的實際問題，而且它應該能聽懂人類的命令，以便於人類使用。”
換句話説，就是大力出奇跡！
接下來的兩年（2019、2020 年），在幾乎沒有改變模型架構的基礎上，OpenAI 陸續推出參數更大的迭代版本 GPT-2、GPT-3，前者有 15 億參數，後者有 1750 億參數。
GPT-2 在性能上已經超過 BERT，到 GPT-3 又更進一步，幾乎可以完成自然語言處理的絕大部分任務 ，例如面向問題的搜索、閲讀理解、語義推斷、機器翻譯、文章生成和自動問答，甚至還可以依據任務描述自動生成代碼。
GPT-3 大獲成功。OpenAI 在早期測試結束後開始嘗試對 GPT-3 進行商業化，付費用户可以通過 API 使用該模型完成所需語言任務，比如前文提到的 AI 繪畫獨角獸 Jasper 就是 GPT-3 的客户。
值得一提的是，這個過程中谷歌也在不斷推出新的模型。但不同於 OpenAI“從一而終” 地堅持 GPT 路線，谷歌在 BERT 之後也推出了 T5、Switch Transformer 等模型，類似於賽馬機制。
此時距離 ChatGPT 的誕生還差一步。
3．意料之外的走紅
在 GPT-3 發佈之後，OpenAI 研究人員在思考如何對模型進行改進。
他們發現，要想讓 GPT-3 產出用户想要的東西，必須引入 “人類反饋強化學習機制”（RLHF），通過人工標註對模型輸出結果打分建立獎勵模型，然後通過獎勵模型繼續循環迭代。
而聊天機器人就是引入強化學習的最佳方式，因為在聊天過程中，人類的對話就即時、持續地向模型反饋數據，從而讓模型根據反饋結果進行改進。因為加入了人工標註環節，OpenAI 為此僱傭了大約 40 位外包人員來與機器人對話。
通過這樣的訓練，OpenAI 獲得了更真實、更無害，並且更好地遵循用户意圖的語言模型 InstructGPT，在 2022 年 3 月發佈，並同期開始構建 InstuctGPT 的姊妹模型——ChatGPT。
圖片來源真格基金
根據《財富》雜誌報道，當 ChatGPT 準備就緒後，OpenAI 一開始並沒有想把它向公眾開放，而是先讓測試人員使用。
但根據 OpenAI 聯合創始人兼現任總裁 Greg Brockman 的説法，這些測試人員不清楚應該與這個聊天機器人談論什麼。後來，OpenAI 試圖將 ChatGPT 轉向特定領域的專業人士，但缺乏專業領域的訓練數據。
OpenAI 最終不得不決定將 ChatGPT 向公眾開放。“我承認，我不知道這是否會奏效。” Brockman 説。
在《紐約時報》的報道中，OpenAI 發佈 ChatGPT 還有另外一個理由：擔心對手公司可能會在 GPT-4 前發佈他們的人工智能聊天機器人，因此要搶先發布。
總之，在 2022 年 11 月 30 日這天，ChatGPT 誕生了。
ChatGPT 成為了史上躥紅最快的應用。發佈第五天，ChatGPT 就積累了 100 萬用户，這是 Facebook 花了 10 個月才達到的成績；發佈兩個月，ChatGPT 突破了 1 億用户，對此 TikTok 用了大約九個月，Instagram 用了兩年多。
ChatGPT 的迅速傳播連 OpenAI 也猝不及防，OpenAI 首席技術官 Mira Murati 説：“這絕對令人驚訝。” 在舊金山 VC 活動上 OpenAI CEO 阿爾特曼説，他 “本以為一切都會少一個數量級，少一個數量級的炒作”。
值得一提的是，OpenAI 並非唯一的大模型聊天機器人。2021 年 5 月，谷歌也發佈了專注於生成對話的語言模型 LaMDA，但直到現在谷歌仍未對外 “交卷”。本週谷歌匆忙發佈的用於對抗 ChatGPT 的聊天機器人 Bard 就由 LaMDA 支撐，但 Bard 的上線日期也未公佈。
在這場 OpenAI 與谷歌持續數年的大模型競爭中，谷歌最終落了下風。
4．代價是什麼？
但 ChatGPT 的成功，也讓 OpenAI 付出了代價，“燒錢” 的代價。
過去幾年，大模型儼然成為了一場 AI 的軍備競賽。在 2015 年至 2020 年期間，用於訓練大模型的計算量增加了 6 個數量級，在手寫、語音和圖像識別、閲讀理解和語言理解方面超過了人類性能基準。
圖片來自紅杉資本
OpenAI 的成功讓人們見識到了大模型的威力，但是大模型的成功可能難以複製，因為太燒錢了。
OpenAI 很早就意識到，科學研究要想取得突破，所需要消耗的計算資源每 3~4 個月就要翻一倍，資金也需要通過指數級增長獲得匹配。而且，AI 人才的薪水也不便宜，OpenAI 首席科學家 Ilya Sutskever 在實驗室的頭幾年，年薪為 190 萬美元。
OpenAI CEO 阿爾特曼在 2019 年對《連線》雜誌表示：“我們要成功完成任務所需的資金比我最初想象的要多得多。”
這也是 OpenAI 從非營利性組織成立商業化公司的原因。2019 年 7 月，重組後的 OpenAI 獲得了微軟的 10 億美元投資，可藉助微軟的 Azure 雲服務平台解決商業化問題，緩解高昂的成本壓力。
解決了糧草問題的 OpenAI，開始全力訓練大模型。
大模型背後離不開大數據、大算力。GPT-2 用於訓練的數據取自於 Reddit 上高讚的文章，數據集共有約 800 萬篇文章，累計體積約 40G；GPT-3 模型的神經網絡是在超過 45TB 的文本上進行訓練的，數據相當於整個維基百科英文版的 160 倍。
在算力方面，GPT-3.5 在微軟 Azure AI 超算基礎設施（由 V100GPU 組成的高帶寬集羣）上進行訓練，總算力消耗約 3640PF-days（即每秒一千萬億次計算，運行 3640 天）。
可以説，大模型的訓練就是靠燒錢燒出來的。據估算，OpenAI 的模型訓練成本高達 1200 萬美元，GPT-3 的單次訓練成本高達 460 萬美元。
根據《財富》雜誌報道的數據，2022 年 OpenAI 的收入為 3000 萬美元的收入，但淨虧損總額預計為 5.445 億美元。阿爾特曼在推特上回答馬斯克的問題時表示，在用户與 ChatGPT 的每次交互中 OpenAI 花費的計算成本為 “個位數美分”，隨着 ChatGPT 變得流行，每月的計算成本可能達到數百萬美元。
大模型高昂的訓練成本讓普通創業公司難以為繼，因此參與者基本都是的科技巨頭。
圖片來自陳巍博士
在國內科技公司中，阿里巴巴達摩院在 2020 年推出了 M6 大模型，百度在 2021 年推出了文心大模型，騰訊在 2022 年推出了混元 AI 大模型。
一個需要明確的事實是，雖然 OpenAI 的大模型取得了成功，但模型並非絕對意義上的越大越好，參數量也只是影響最終模型性能的因素之一。
GPT-3 也不是參數最大的模型，比如，由英偉達和微軟開發的 Megatron-Turing NLG 模型，擁有超過 5000 億個參數，但在性能方面並不是最好的，因為模型未經充分的訓練。
實際上，在特定場景下，較小的模型可以達到更高的性能水平，而且成本更低。
一位 AI 從業者告訴 ‘甲子光年’：“現實就是，NLP 公司做 to B 只能做小模型。得私有化，工程性能好，計算消耗少。甲方還希望你能部署在 CPU 上呢。”
關於大模型與小模型的關係，我們會在後面的文章中繼續討論。
5．錢都流向了哪裏？
以 ChatGPT 為代表的生成式 AI 正在引發新一輪 AI 軍備競賽，這個特別燒錢的新興市場，也讓背後的基礎設施廠商賺得盆滿缽滿。
著名風投機構 A16Z 將生成式 AI 市場分成了三層：
-
應用層：將第三方 API 或自有模型集成到面向用户的產品中，比如 AI 繪畫應用 Jasper、Midjourney；
-
模型層：為應用層提供能力，比如閉源的 GPT-3，或者開源的 Stable diffusion；
-
基礎設施層：為生成人工智能模型運行培訓和推斷工作負載的雲平台和硬件製造商。
圖片來自 A16Z
生成式 AI 的大量資金最終都穩定地流向了基礎設施層——以亞馬遜 AWS、微軟 Azure、谷歌 GCP 為主的雲廠商，以及以英偉達為代表的 GPU 廠商。
據 A16Z 估計，應用層廠商將大約 20%~40% 的收入用於推理和模型微調，這部分收入通常直接支付給雲廠商或第三方模型提供商，第三方模型提供商也會將大約一半的收入用於雲基礎設施。因此，總的來看生成式 AI 總收入的 10%~20% 都流向了雲提供商。
微軟投資 OpenAI 就是一個很好的案例。
2019 年微軟投資 OpenAI 10 億美元，其中大約一半以 Azure 雲計算的代金券形式，成為 OpenAI 技術商業化的 “首選合作伙伴”，未來可獲得 OpenAI 的技術成果的獨家授權。今年 1 月 23 日，微軟再次加碼，宣佈向 OpenAI 追求數十億美元，來加速人工智能的突破。
根據《財富》雜誌報道，在 OpenAI 的第一批投資者收回初始資本後，微軟將有權獲得 OpenAI 75% 的利潤直到收回投資成本；當 OpenAI 賺取 920 億美元的利潤後，微軟的份額將降至 49%。與此同時，其他風險投資者和 OpenAI 的員工也將有權獲得 OpenAI 49% 的利潤，直到他們賺取約 1500 億美元。如果達到這些上限，微軟和投資者的股份將歸還給 OpenAI 的非營利基金會。
本質上，OpenAI 是在把公司借給微軟，借多久取決於 OpenAI 賺錢的速度。微軟對 OpenAI 的投資更大的野心在於，希望在下一個人工智能的十年向谷歌以及其他科技巨頭髮起挑戰。
在今年 1 月份的瑞士達沃斯論壇期間，微軟 CEO 納德拉表示，微軟將全線接入 ChatGPT，計劃將 ChatGPT、DALL-E 等人工智能工具整合進微軟旗下的所有產品中，包括且不限於 Bing 搜索引擎、Office 全家桶、Azure 雲服務、Teams 聊天程序等等。
本週，新版 Bing 正式發佈。納德拉霸氣表示：“比賽今天開始了，我們將繼續前進並快速行動，希望在搜索領域再次獲得更多創新的樂趣。”
除了微軟之外，英偉達則是生成式 AI 幕後最大的贏家。
雲廠商每年總共花費超過 1000 億美元的資本支出，來確保他們能夠擁有最全面、最可靠和最具成本競爭力的平台，比如獲得英偉達最先進、也是最稀缺的 GPU——A100 與 H100。GPU 成為了生成式 AI 發展上限 “卡脖子” 的一環。
英偉達過去一個月的股價漲幅甚至超過了微軟。
ChatGPT 在科技圈引發的震動仍在持續。一個不可否認的事實是，國內的 AI 公司多少處於一種置身之外的感受。人們驚歎於技術的進步，也感慨於實力的差距。
對此，雲知聲創始人黃偉如此評價：
接下來，國內科技公司會如何接招呢？
END．
參考資料：
[1] Generative AI： A Creative New World，紅杉資本
[2] Who Owns the Generative AI Platform？，A16Z
[3] 萬字長文：AI 產品經理視角的 ChatGPT 全解析，馬丁的麪包屑
[4] OpenAI 是如何勝過谷歌的？ChatGPT 發展簡史，做 AI 做的事兒
[5] ChatGPT 的內幕：OpenAI 創始人 Sam Altman 如何用微軟的數十億美元打造了全球最熱門技術，MoPaaS
責任編輯：馬婕
