苹果日砸百万，豪赌 2000 亿参数 Apple GPT！疯狂挖角谷歌，打造核弹级 iPhone

苹果急了？

据 The Information 报道，为了加速开发 LLM，苹果现在不仅大幅增加了研究经费——每天烧掉数百万美元，还从谷歌挖来了许多工程师。对此，苹果员工一致认为，他们的 Apple GPT 大模型能力已经超过了 GPT-3.5。

而 Siri 也要飞升了——只要告诉它，「用最近拍的 5 张照片创建一个 GIF，发给我朋友」，它就会自动执行这一连串操作，行云流水，而我们连手指都不需要点一下。至于大模型团队的主力，已经被外媒扒出来了——关键角色几乎都来自于谷歌。

注意这张图，下面要考生成式 AI 的大厂之战，苹果必不会缺席！

AI 负责人不甘：慢了一步

苹果，本来也有机会成为 OpenAI。四年前，苹果的 AI 主管 John Giannandrea 就曾组建了一个团队开发对话式 AI，也就是大语言模型。

这一举措当然很有先见之明，但还是晚了一步——去年秋天，OpenAI 抢先发布的 ChatGPT，已经率先吸引了全世界的注意力。几位苹果内部工作人员表示，苹果其实并非对大语言模型的繁荣毫无准备，但 Giannandrea 此前却一再怀疑：AI 模型驱动的聊天机器人究竟能有什么用。现在，苹果显然后悔了——就是花再大代价，也要把大模型做出来！

16 人主力，多个团队共同冲刺 LLM

这个代价是多大？Sam Altman 曾表示，OpenAI 历时数月训练出的地表最强 GPT-4，烧了 1 亿多美元。相比之下，苹果这个名为 Foundational Models 的团队虽然只有约 16 人，但训练模型的预算已经增长到了每天数百万美元。

团队由苹果挖来的几名前谷歌工程师组成（还在谷歌时，他们就是 Giannandrea 的手下），由 Ruoming Pang 领导，他在谷歌工作了 15 年后，于 2021 年选择加入了苹果。

Ruoming Pang 据知情人士透露，该团队扮演的角色，类似于谷歌和 Meta 的 AI 实验室——研究人员负责开发 AI 模型，其他部门负责把模型应用到产品之中。

除此之外，根据近期的一篇研究论文以及 LinkedIn 上的员工资料，苹果至少还有两个团队，也在开发语言或图像模型。

其中一个视觉团队，致力于开发能够生成「图像、视频或 3D 场景」的应用。另一个团队则在进行多模态 AI 的长期研究——让模型同时识别和生成图像、视频以及文本。

现在，苹果已经开发了多个模型，正在紧锣密鼓地进行内部测试。

Siri 即将大升级

在苹果团队看来，目前最先进的模型 Ajax GPT（或称 Apple GPT），已经超越了 GPT-3.5。此前我们曾报道过，苹果正在暗中开发「Apple GPT」，欲与 OpenAI、谷歌打擂。

有了如此强大的语言模型加持，苹果旗下的一系列产品当然都会来一波大升级。

比如下个命令，Siri 就会自动创建出个动图，然后发送给手机里的某个人。并且，苹果还会上线一个名为 Shortcuts 的 app，可以让用户手动编程，串起不同 app 的功能。预计在明年的新版 iOS 操作系统中，我们应该就能见到这些功能了！

不过，具体要如何在产品中应用 LLM，苹果还没有一个定论。众所周知，苹果一直都在标榜自己对用户隐私的保护，因此在各类功能的实现上，也更倾向于在设备上离线运行，而不是在云服务器上。

据知情人士透露，「Apple GPT」的参数量已经超过了 2000 亿个。想要运行如此庞大的模型，不仅需要强大的算力，还需要足够的储存空间。显然，这些要求对于一台小小的 iPhone 来说，实在有些勉强了。

对此，谷歌的 PaLM 2 倒是开了一个很好先例——模型被调教成了四种不同的规模，其中的一种就可以在设备上离线使用。

苹果，在变成「另一个谷歌」？

说回团队的事，Giannandrea 最初加入苹果，就是为了把更多的 AI 融进苹果的软件，比如 Siri。在被 ChatGPT 的辉煌打脸后，他终于打消了对 AI 聊天机器人的顾虑。值得庆幸的是，Giannandrea 至少有一项决定是明智的——他要让苹果变得更「谷歌」。

因此，苹果的员工被给予了高度的自由和很大的灵活性，来进行各种研究、发表论文。因此，Foundational Models 团队才得以存在。要知道在此前，苹果对此有诸多限制，因而流失了不少人才。

苹果变得更「谷歌」的另一个原因是，2018 年 Giannandrea 加入苹果后，挖来了不少谷歌的骨干工程师和研究者。另外，他还在苹果内部大力推介谷歌的云服务（包括谷歌开发的 TPU 芯片）来训练 Siri 和其他产品的模型。

大牛，是从谷歌挖的

苹果的这支队伍里，可谓人才济济。Foundational Models 的前身，是一个由荷兰计算机科学家 Arthur Van Hoff 领导的团队。

Van Hoff 是 Sun Microsystems 团队的早期成员，就是这个大名鼎鼎的团队，在上世纪 90 年代创建了 Java。2019 年，Van Hoff 加入苹果，当时他负责开发新版 Siri（内部代号为 Blackbird），但苹果放弃了这个版本。

后来，他带领团队开始主攻 LLM。起初，这个团队只有少数几名员工。最出名的是两位来自牛津大学的英国研究员，Tom Gunter 和 Thomas Nickson，他们负责 NLP。

^{Tom Gunter}

^{Thomas Nickson}

2021 年，Ruoming Pang 加入了苹果，来帮忙训练 LLM。

与其他研究员不同，他被特批留在纽约，苹果希望在那里建立一个机器学习团队的前哨站。

Ruoming Pang 凭借自己在神经网络方面的研究，赢得了业内广泛的关注。比如神经网络如何与移动电话处理器一起工作，如何使用并行式计算来训练神经网络。

几个月后，苹果挖来前谷歌 AI 高管 Daphne Luong，来监督 Van Hoff 的团队和 Samy Bengio 的团队。后者也是苹果在 2021 年从谷歌挖来的。

^{Samy Bengio}

后来，团队内部似乎发生了一些变动，Pang 接管了 Foundational Models 团队。而 Van Hoff 在今年开始无限期休假。不过，根据最新的 LinkedIn 资料，Van Hoff 已于今年 8 月离职。

^{Arthur van Hoff}

而另外一位曾经的苹果多模态研究团队负责人 Jon Shlens，则是在「苹果 - 谷歌」之间反复横跳。

2012 年，Shlens 加入谷歌出任高级研究科学家，一做就是 11 年 6 个月。

2021 年底，他跳槽到了苹果，负责长期开展以多模态学习为重点的机器学习研究。不到 2 年时间，Shlens 又回到了谷歌。根据 The Information 的分析，他在 Google DeepMind 负责的新团队，和谷歌即将推出的具有多模态功能的 Gemini 模型，也有着千丝万缕的联系。

^{Jon Shlens}

服务器，也首选谷歌

苹果之所以会招来 Pang，也是公司内部越来越清晰地意识到：LLM 在机器学习中，很重要。

知情者爆料，在 OpenAI 于 2020 年 6 月发布 GPT-3 后，苹果机器学习组的员工们就闹起来了，要求公司调拨更多资金，来让他们训练模型。据悉，为了节省成本，苹果高管历来都是鼓励工程师们使用更便宜的谷歌云计算服务，而不是亚马逊的。

因为谷歌是 Safari 浏览器的默认搜索引擎合作商，所以谷歌云服务的价格也会对苹果更低。当然，合作归合作，苹果从没停止过从谷歌和 Meta 的 AI 队伍中挖人。据统计，自 AXLearn 于 7 月上传以来，已有至少十二名加入苹果机器学习团队的成员在 GitHub 上为项目做出了贡献。其中 7 人以前曾在谷歌或 Meta 工作。

苹果，也会「开源」了？

有趣的是，在 Ruoming Pang 的影响下，Foundational Models 团队竟然在今年 7 月的时候，悄悄把训练 Ajax GPT 用的机器学习框架 AXLearn 给传到了 GitHub 上。基于谷歌开源框架 JAX 以及加速线性代数 XLA 的 AXLearn，可以用于快速训练机器学习模型，并且针对谷歌的 TPU 进行了优化。

^{项目地址：https://github.com/apple/axlearn}

具体来说，AXLearn 采用面向对象的方法来解决构建、迭代和维护模型时出现的软件工程挑战。用户能够从可重复使用的构建模块中组合模型，并与其他库（如 Flax 和 Hugging Face transformers 等）集成。

AXLearn 除了支持在数千个加速器训练上对具有数百亿参数的模型进行训练外，还支持包括自然语言处理、计算机视觉和语音识别等广泛的应用常见，并包含了训练 SOTA 模型所需的基线配置。如果说，我们把苹果的 Ajax GPT 比作是一座「房子」，那么 AXLearn 就是「蓝图」，而 JAX 则是用于绘制这些蓝图的「笔和纸」。

不过，苹果并没有公开训练模型所用的数据，也就是「建筑材料」。不过，我们并不清楚苹果公开发布 AXLearn 的原因，但通常来说是希望其他工程师也可以对其进行改进。

本文来源：新智元，原文标题：《苹果日砸百万，豪赌 2000 亿参数 Apple GPT！疯狂挖角谷歌，打造核弹级 iPhone》