挑战英伟达，需要另辟蹊径

Groq 是近期 AI 芯片界的一个明星。原因是其号称比英伟达的 GPU 更快。3 月 2 日，据报道，Groq 收购了一家人工智能解决方案公司 Definitive Intelligence。这是 Groq 在 2022 年收购高性能计算和人工智能基础设施解决方案公司 Maxeler Technologies 后的第二次收购。Groq 来势很凶。

自从 ChatGPT 爆火以来，英伟达凭借 GPU 在市场上独孤求败，虽然也出现了不少挑战者，但都没有像 Groq 这般引人注意。

成立于 2016 年的 Groq，其创始人是被称为 “TPU 之父” 的前谷歌员工乔纳森·罗斯，团队中成员不乏有谷歌、亚马逊、苹果的前员工。这帮人通过简单的设计开发了一款 LPU（语言处理单元）推理引擎。就是这个 LPU 芯片让 Groq 在 AI 市场上异军突起，引得大家刷屏。据悉，LPU 可在当今大火的 LLM（大语言模型）中展现出非常快速的推理速度，比 GPU 有显著提升。不要小看 AI 推理的市场，2023 年第四季度，英伟达有 4 成收入来源于此。因此，众多英伟达的挑战者是从推理切入的。

那么，它是如何做到速度快的？为何能够叫板英伟达？在芯片架构和技术路径上有哪些可圈可点之处？。。。。对于这款引发广泛关注的芯片，很多人也希望能够了解其背后究竟有哪些玄妙？近日，半导体行业观察有幸采访到了北京大学集成电路学院，长聘副教授孙广宇，孙教授为我们提供了一些专业见解，至于网上对 Groq 价格的各种推测，其比性能等估算更复杂，本文在此将不作过多探讨，而是侧重于技术层面的解析，以期为读者带来一些启发。

2）影响模型质量的两个最大因素是模型大小 (参数数量) 和序列长度 (输入查询的最大大小)。模型大小可以被认为是一个搜索空间：空间越大，效果越好。例如，70B 参数模型通常会比 7B 参数模型产生更好的答案。序列长度类似于上下文。更大的序列长度意味着更多的信息——更多的上下文——可以输入到模型中，从而导致更相关和相关的响应。

在 Anyscale 的 LLMPerf 排行榜上（这是一个针对大型语言模型（LLM）推理提供商的性能、可靠性和效率评估的基准测试），Groq LPU 在其首次公开基准测试中就取得了巨大成功。使用 Groq LPU 推理引擎运行的 Meta AI 的 Llama2 70B，在输出 tokens 吞吐量上，实现了平均 185 tokens/s 的结果，比其他基于云的推理提供商快了 3 到 18 倍。对于首个 Token 返回时间（TTFT），Groq 达到了 0.22 秒。所有 Llama 2 的计算都在 FP16 上完成。

这是如何实现的呢？

LPU 推理引擎主要攻克 LLM 的两个瓶颈——计算量和内存带宽。Groq LPU 能够与英伟达叫板，其纯 SRAM的方案起到了很大的作用。

不同于英伟达 GPU 所使用的 HBM 方案，Groq 舍弃了传统的复杂储存器层级，将数据全部放置在片上 SRAM 中，利用 SRAM 的高带宽（单芯片 80TB/s），可以显著提升 LLM 推理中带宽受限的（Memory Bound）部分，比如 Decode Stage 计算和 KV cache 的访存。SRAM 本身是计算芯片必须的存储单元，GPU 和 CPU 等利用 SRAM 来搭建片上的高速缓存，在计算过程中尽可能减少较慢的 DRAM 访问。但由于单个芯片的 SRAM 容量有限，所以涉及到数百个芯片协同处理，这也涉及芯片间的互连设计，以及系统层面的算法部署等。

Groq 提到，由于没有外部内存带宽瓶颈，LPU 推理引擎提供了比图形处理器更好的数量级性能。

这种纯 SRAM 的架构在最近几年一直被学术界和工业界所讨论，比如华盛顿大学在文章【Chiplet Cloud: Building AI Supercomputers for Serving Large Generative Language Models】【2】中提到，与 DDR4 和 HBM2e 相比，SRAM 在带宽和读取能耗上具有数量级的优势，从而获得更好的 TCO/Token 设计，如下图所示。市面上，包括 Groq 以及其他公司如 Tenstorrent、Graphcore、Cerebras 和国内的平头哥半导体（含光 800）、后摩智能（H30）等，都在尝试通过增加片上 SRAM 的容量和片上互连的能力来提升数据交互的效率，从而在 AI 处理芯片领域寻求与英伟达不同的竞争优势。

纯 SRAM 架构的优势在哪里？孙教授指出主要涵盖两方面：第一个方面是 SRAM 本身有着高带宽和低延迟优势，可以显著提升系统在处理访存受限算子的能力。另一方面，由于 SRAM 的读写相比 DRAM 具有确定性，纯 SRAM 的架构给软件提供了确定性调度的基础。编译器可以细粒度地排布计算和访存操作，最大化系统的性能。对于 GPU 来说，由于 HBM 访问延迟会有波动，Cache 层级的存在也提升了访存延迟的不确定性，增加了编译器做细粒度优化的难度。

众所周知，英伟达 GPU 所使用的 HBM 方案面临着成本高、散热、产能不足的难题。那么，这种纯 SRAM 架构又有哪些挑战呢？

孙教授分析到：“纯 SRAM 架构的挑战也很明显，主要来自于容量的限制。Groq 等芯片基本上都是在CNN时代进行的立项和设计，对于这个阶段的模型，单芯片百兆 SRAM 来作为存储是够用的。但是在大模型时代，由于模型大小通常可以达到上百 GB，而且 KV-Cache（一种关键数据结构）的存储也非常占用内存，单芯片 SRAM 的容量在大模型场景下显得捉襟见肘。”

他以 Groq 的方案为例来说，为了满足 70B 模型的推理需求，它集成了 576 个独立的芯片，而集成如此多的芯片，对芯片间、节点间互联的带宽和延迟要求也非常的高。576 芯片的集群只有 100GB 的 SRAM 容量。模型需要通过细粒度的流水线并行（PP）和张量并行（TP）的方式进行切分，来保证每个芯片分到的模型分块在 200MB 以内。细粒度切分的代价是芯片间通信的数据量和开销显著上升，虽然 Groq 在互联方面也进行了定制优化来降低延迟，但是通过简单估算可以发现，目前芯片间数据传输同样可能成为性能瓶颈。”

另一方面，由于容量的限制，其留给推理时的激活值的存储空间十分受限。特别是目前 LLM 推理需要保存 KV-Cache，这是随着输入输出长度线性增长的数据。通常对于 70B 模型，即使用了特殊技术进行 KV-Cache 压缩（GQA），32K 的上下文长度需要为每个请求保留 10GB 左右的 KV-Cache，这意味着在 32K 场景下同时处理的请求数最大仅为 3。对于 Groq 来说，由于依赖流水线并行（TP），需要至少流水线级数这么多的请求来保证系统有较高利用率，较低的并发数会显著降低系统的资源利用率。所以，如果未来长上下文（Long-Context）的应用场景，在 100K 甚至更长的上下文下，纯 SRAM 架构能支持的并发数会非常受限。换一个角度看，对于边缘场景，如果采用更激进的 MQA、更低的量化比特，可能会使 SRAM 架构更为适用。

如果 Groq 这类芯片确实能够找到合适的应用场景，应该会让算法从业者更积极挖掘模型压缩、KV-Cache 压缩等算法，来缓解纯 SRAM 架构的容量瓶颈。一些对推理延迟有强需求的算法和应用，如 AutoGPT, 各种 Agent 算法等，整个算法流程需要链式处理推理请求的，会更有可能做到实时处理，满足人与真实世界交互的需求。

因此，在孙教授看来，采用纯 SRAM 还是 HBM 与未来模型发展和应用的场景非常相关。对于数据中心这类采用较大的 batch 数、较长的 sequence length、追求吞吐的场景，HBM 这类大容量存储应该更加合适。对于机器人、自动驾驶等边缘侧，batch 通常为 1，sequence length 有限，追求延时的场景，尤其考虑到模型有机会继续压缩，纯 SRAM 的场景应该有更大的机会。另外，还可以同时期待一些新的存储介质的发展，能否将片上存储容量从百 MB 突破到 GB 的规模。