蘋果日砸百萬，豪賭 2000 億參數 Apple GPT！瘋狂挖角谷歌，打造核彈級 iPhone

蘋果急了？

據 The Information 報道，為了加速開發 LLM，蘋果現在不僅大幅增加了研究經費——每天燒掉數百萬美元，還從谷歌挖來了許多工程師。對此，蘋果員工一致認為，他們的 Apple GPT 大模型能力已經超過了 GPT-3.5。

而 Siri 也要飛昇了——只要告訴它，「用最近拍的 5 張照片創建一個 GIF，發給我朋友」，它就會自動執行這一連串操作，行雲流水，而我們連手指都不需要點一下。至於大模型團隊的主力，已經被外媒扒出來了——關鍵角色幾乎都來自於谷歌。

注意這張圖，下面要考生成式 AI 的大廠之戰，蘋果必不會缺席！

AI 負責人不甘：慢了一步

蘋果，本來也有機會成為 OpenAI。四年前，蘋果的 AI 主管 John Giannandrea 就曾組建了一個團隊開發對話式 AI，也就是大語言模型。

這一舉措當然很有先見之明，但還是晚了一步——去年秋天，OpenAI 搶先發布的 ChatGPT，已經率先吸引了全世界的注意力。幾位蘋果內部工作人員表示，蘋果其實並非對大語言模型的繁榮毫無準備，但 Giannandrea 此前卻一再懷疑：AI 模型驅動的聊天機器人究竟能有什麼用。現在，蘋果顯然後悔了——就是花再大代價，也要把大模型做出來！

16 人主力，多個團隊共同衝刺 LLM

這個代價是多大？Sam Altman 曾表示，OpenAI 歷時數月訓練出的地表最強 GPT-4，燒了 1 億多美元。相比之下，蘋果這個名為 Foundational Models 的團隊雖然只有約 16 人，但訓練模型的預算已經增長到了每天數百萬美元。

團隊由蘋果挖來的幾名前谷歌工程師組成（還在谷歌時，他們就是 Giannandrea 的手下），由 Ruoming Pang 領導，他在谷歌工作了 15 年後，於 2021 年選擇加入了蘋果。

Ruoming Pang 據知情人士透露，該團隊扮演的角色，類似於谷歌和 Meta 的 AI 實驗室——研究人員負責開發 AI 模型，其他部門負責把模型應用到產品之中。

除此之外，根據近期的一篇研究論文以及 LinkedIn 上的員工資料，蘋果至少還有兩個團隊，也在開發語言或圖像模型。

其中一個視覺團隊，致力於開發能夠生成「圖像、視頻或 3D 場景」的應用。另一個團隊則在進行多模態 AI 的長期研究——讓模型同時識別和生成圖像、視頻以及文本。

現在，蘋果已經開發了多個模型，正在緊鑼密鼓地進行內部測試。

Siri 即將大升級

在蘋果團隊看來，目前最先進的模型 Ajax GPT（或稱 Apple GPT），已經超越了 GPT-3.5。此前我們曾報道過，蘋果正在暗中開發「Apple GPT」，欲與 OpenAI、谷歌打擂。

有了如此強大的語言模型加持，蘋果旗下的一系列產品當然都會來一波大升級。

比如下個命令，Siri 就會自動創建出個動圖，然後發送給手機裏的某個人。並且，蘋果還會上線一個名為 Shortcuts 的 app，可以讓用户手動編程，串起不同 app 的功能。預計在明年的新版 iOS 操作系統中，我們應該就能見到這些功能了！

不過，具體要如何在產品中應用 LLM，蘋果還沒有一個定論。眾所周知，蘋果一直都在標榜自己對用户隱私的保護，因此在各類功能的實現上，也更傾向於在設備上離線運行，而不是在雲服務器上。

據知情人士透露，「Apple GPT」的參數量已經超過了 2000 億個。想要運行如此龐大的模型，不僅需要強大的算力，還需要足夠的儲存空間。顯然，這些要求對於一台小小的 iPhone 來説，實在有些勉強了。

對此，谷歌的 PaLM 2 倒是開了一個很好先例——模型被調教成了四種不同的規模，其中的一種就可以在設備上離線使用。

蘋果，在變成「另一個谷歌」？

説回團隊的事，Giannandrea 最初加入蘋果，就是為了把更多的 AI 融進蘋果的軟件，比如 Siri。在被 ChatGPT 的輝煌打臉後，他終於打消了對 AI 聊天機器人的顧慮。值得慶幸的是，Giannandrea 至少有一項決定是明智的——他要讓蘋果變得更「谷歌」。

因此，蘋果的員工被給予了高度的自由和很大的靈活性，來進行各種研究、發表論文。因此，Foundational Models 團隊才得以存在。要知道在此前，蘋果對此有諸多限制，因而流失了不少人才。

蘋果變得更「谷歌」的另一個原因是，2018 年 Giannandrea 加入蘋果後，挖來了不少谷歌的骨幹工程師和研究者。另外，他還在蘋果內部大力推介谷歌的雲服務（包括谷歌開發的 TPU 芯片）來訓練 Siri 和其他產品的模型。

大牛，是從谷歌挖的

蘋果的這支隊伍裏，可謂人才濟濟。Foundational Models 的前身，是一個由荷蘭計算機科學家 Arthur Van Hoff 領導的團隊。

Van Hoff 是 Sun Microsystems 團隊的早期成員，就是這個大名鼎鼎的團隊，在上世紀 90 年代創建了 Java。2019 年，Van Hoff 加入蘋果，當時他負責開發新版 Siri（內部代號為 Blackbird），但蘋果放棄了這個版本。

後來，他帶領團隊開始主攻 LLM。起初，這個團隊只有少數幾名員工。最出名的是兩位來自牛津大學的英國研究員，Tom Gunter 和 Thomas Nickson，他們負責 NLP。

^{Tom Gunter}

^{Thomas Nickson}

2021 年，Ruoming Pang 加入了蘋果，來幫忙訓練 LLM。

與其他研究員不同，他被特批留在紐約，蘋果希望在那裏建立一個機器學習團隊的前哨站。

Ruoming Pang 憑藉自己在神經網絡方面的研究，贏得了業內廣泛的關注。比如神經網絡如何與移動電話處理器一起工作，如何使用並行式計算來訓練神經網絡。

幾個月後，蘋果挖來前谷歌 AI 高管 Daphne Luong，來監督 Van Hoff 的團隊和 Samy Bengio 的團隊。後者也是蘋果在 2021 年從谷歌挖來的。

^{Samy Bengio}

後來，團隊內部似乎發生了一些變動，Pang 接管了 Foundational Models 團隊。而 Van Hoff 在今年開始無限期休假。不過，根據最新的 LinkedIn 資料，Van Hoff 已於今年 8 月離職。

^{Arthur van Hoff}

而另外一位曾經的蘋果多模態研究團隊負責人 Jon Shlens，則是在「蘋果 - 谷歌」之間反覆橫跳。

2012 年，Shlens 加入谷歌出任高級研究科學家，一做就是 11 年 6 個月。

2021 年底，他跳槽到了蘋果，負責長期開展以多模態學習為重點的機器學習研究。不到 2 年時間，Shlens 又回到了谷歌。根據 The Information 的分析，他在 Google DeepMind 負責的新團隊，和谷歌即將推出的具有多模態功能的 Gemini 模型，也有着千絲萬縷的聯繫。

^{Jon Shlens}

服務器，也首選谷歌

蘋果之所以會招來 Pang，也是公司內部越來越清晰地意識到：LLM 在機器學習中，很重要。

知情者爆料，在 OpenAI 於 2020 年 6 月發佈 GPT-3 後，蘋果機器學習組的員工們就鬧起來了，要求公司調撥更多資金，來讓他們訓練模型。據悉，為了節省成本，蘋果高管歷來都是鼓勵工程師們使用更便宜的谷歌雲計算服務，而不是亞馬遜的。

因為谷歌是 Safari 瀏覽器的默認搜索引擎合作商，所以谷歌雲服務的價格也會對蘋果更低。當然，合作歸合作，蘋果從沒停止過從谷歌和 Meta 的 AI 隊伍中挖人。據統計，自 AXLearn 於 7 月上傳以來，已有至少十二名加入蘋果機器學習團隊的成員在 GitHub 上為項目做出了貢獻。其中 7 人以前曾在谷歌或 Meta 工作。

蘋果，也會「開源」了？

有趣的是，在 Ruoming Pang 的影響下，Foundational Models 團隊竟然在今年 7 月的時候，悄悄把訓練 Ajax GPT 用的機器學習框架 AXLearn 給傳到了 GitHub 上。基於谷歌開源框架 JAX 以及加速線性代數 XLA 的 AXLearn，可以用於快速訓練機器學習模型，並且針對谷歌的 TPU 進行了優化。

^{項目地址：https://github.com/apple/axlearn}

具體來説，AXLearn 採用面向對象的方法來解決構建、迭代和維護模型時出現的軟件工程挑戰。用户能夠從可重複使用的構建模塊中組合模型，並與其他庫（如 Flax 和 Hugging Face transformers 等）集成。

AXLearn 除了支持在數千個加速器訓練上對具有數百億參數的模型進行訓練外，還支持包括自然語言處理、計算機視覺和語音識別等廣泛的應用常見，幷包含了訓練 SOTA 模型所需的基線配置。如果説，我們把蘋果的 Ajax GPT 比作是一座「房子」，那麼 AXLearn 就是「藍圖」，而 JAX 則是用於繪製這些藍圖的「筆和紙」。

不過，蘋果並沒有公開訓練模型所用的數據，也就是「建築材料」。不過，我們並不清楚蘋果公開發布 AXLearn 的原因，但通常來説是希望其他工程師也可以對其進行改進。

本文來源：新智元，原文標題：《蘋果日砸百萬，豪賭 2000 億參數 Apple GPT！瘋狂挖角谷歌，打造核彈級 iPhone》