Qualcomm: Running large models on mobile chips, this will be the "Holy Grail"

人工智能对于芯片的影响正逐步从云端延伸至手机端。明年，一旦搭载高通高端芯片的手机推出，普通用户将能够随时随地使用生成式人工智能。

据网络科技新闻 CNET 当地时间周五文章，高通产品管理高级副总裁 Ziad Asghar 表示，手机嵌入生成式人工智能（AIGC）的解决方案比基于云的 AIGC 更加个性和有用。

“我认为这将成为圣杯，” Asghar 说，“这是真正的承诺，让我们对这项技术的发展前景感到非常兴奋。”

7 月中旬，高通发布公告称，将和 Meta 合作，2024 年推出 “手机版 Llama 2”。

目前，高通正在将 AIGC 嵌入下一代高端芯片中，该芯片将于今年 10 月底在夏威夷举行的高通骁龙峰会上首次亮相。

在 Asghar 的实验室中，高通芯片能够处理 70 亿个参数的 AI 模型，虽然远远低于 OpenAI GPT-3 模型的 1750 亿个参数，但应该适合移动搜索。

“我们实际上将能够在（夏威夷）峰会上进行设备演示，” Asghar 说。

报道称，本次峰会上的演示设备可能会搭载高通下一代高端芯片骁龙 8 Gen3。早在今年 2 月份，高通就已经发布了全球首个运行在安卓手机上的图片生成软件 Stable Diffusion 的终端演示，该手机搭载了骁龙 8 Gen2 芯片。

在设备上使用生成式 AI 有很多好处。比如，所搜索记录和个人数据是保密的，不会通过远程服务器中转。本地 AI 也比云端更快，而且可以在飞机上等缺少手机服务的地区工作。

更重要的是，基于设备的解决方案还具有商业和效率意义。高通在上个月发布的白皮书中表示，随着机器学习模型变得越来越复杂，运行服务器的成本越来越高。

早在 4 月份，OpenAI 每天要花费大约 70 万美元让 ChatGPT 回答提示，并且成本预测是基于 GPT-3 模型，而不是更复杂且维护成本可能更高的 GPT-4 模型。

据悉，高通的解决方案不需要一个完整的服务器群，而是让设备现有的芯片大脑做所有需要的思考，因此，不需要额外的成本。

市场研究公司 Techsponential 分析师 Avi Greengart 通过电子邮件告诉 CNET：“在手机上运行人工智能实际上是免费的——你预先为计算能力付费。”

而在手机端以外，高通还计划在即将举办的峰会上宣布针对 PC 和汽车的 AIGC 解决方案。

Asghar 说：“对于我们这些看着《霹雳游侠》长大的人来说，KITT（《霹雳游侠》中那辆会说话的汽车）现在将成为现实。”