OpenAI 取消 GPT-4 Turbo 所有每日限制！

2 月 17 日，OpenAI 在社交平台宣布，取消了 GPT-4 Turbo 的所有每日限制，并将速率限制提升 1 倍。现在，每分钟可处理高达 150 万 TPM 的数据。

OpenAI 这一周的连续王炸组合拳，从 ChatGPT 增加 “记忆存储”，到视频模型 Sora 再到 GPT-4 Turbo 全面取消每日限制，打的谷歌、Meta 有点晕头转向抢尽风头。

对于用户来说，只希望巨头之间撕的更凶一些，这样咱们看到的、得到的、用到的也就更多。

2023 年初，OpenAI 的估值只有 200 多亿美元，年底暴涨至 800 亿美元，很多人认为这也太虚高了。看了前天推出的 Sora 后，多数人沉默了感觉 OpenAI 的估值太保守了。

为什么 OpenAI 要进行速率限制

OpenAI 表示，速率限制是其 API 对开发者或产品用户，在指定时间段内访问 OpenAI 服务器的次数增加的一种服务限制。这样做主要有以下几个原因。

1）有助于防止 API 被滥用或误用。例如，黑客可能会向 API 提出大量请求，致使服务器超载或宕机。通过设置速率限制，可以防止此类事情发生。

2）速率限制有助于确保，每个人都能公平地访问 API。如果一个人或一个组织频繁提出过多的服务请求，可能会导致其他所有人都无法使用 API。通过限制单个用户的请求数量，OpenAI 可以确保大多数人都有机会使用 API，而不会出现速度变慢的情况。

3）速率限制可有效帮助 OpenAI 管理其基础设施的总负载。如果对 API 的请求急剧增加，可能会给服务器造成负担，出现服务中断等严重问题。去年，OpenAI 刚发布自定义 GPT 时，就发生过一次类似事情。

OpenAI的速率限制，有哪些种类

目前，OpenAI 一共使用了 5 种速率限制：RPM（每分钟请求数）、RPD（每天请求数）、TPM（每分钟 tokens 数量）、TPD（每天 tokens 数量）和 IPM（每分钟图像数量）。

任何一种请求都可能触发速率限制，例如，用户向 ChatCompletions 端点发送 20 个请求，其中只有 100 个 tokens，这样就会触发速率限制（假如 RPM 限制是 20）；即使你在这 20 个请求中没有发送 150k 的 tokens。

简单来说，这五种限制，你只要满足一种就会触发。

需要注意的是，速率限制是对组织级别实施的，对个体用户没啥影响。速率限制因所使用的模式而异，组织每月在 API 上的总支出也有"使用限制"。

如何查看自己的限制等级用户可以在账户设置的 "限制 "功能，查看组织的速率和使用限制。随着你对 OpenAI 的 API 的使用以及组织在 AP 上的费用支出的增加，会自动升级你的使用级别。目前，一共有 5 个等级。

如何避免速率限制

OpenAI 的 Cookbook 发布了一个攻略，帮助大家避免出现速率限制的错误，以及一个用于在批处理 API 请求时，保持速率限制的示例 Python 脚本。

地址：https://cookbook.openai.com/examples/how_to_handle_rate_limits

OpenAI 表示，最简单的避免速率限制方法，就是使用 “指数退避重试”。

主要通过动态调整重试等待时间，这种机制可有效减少服务器的负载，提高请求成功的可能性，并对系统资源进行高效管理。

代码展示

指数退避重试能在连续的失败尝试之间引入逐渐增加的延迟，以减少对服务器或网络资源的压力，增加后续尝试成功的可能性。

但使用指数退避重试时，也需要注意几个事项：1）重试次数和最大延迟时间的限制，以防止无休止的重试；2）合理设置最小延迟和倍数，以适应具体应用场景的需求；

3）记录和监控重试事件，以便于故障排查和性能优化；4）考虑请求的幂等性，确保重试不会引起数据错误或不一致。‍

文章来源：AIGC 开放社区 原文标题《OpenAI 取消 GPT-4 Turbo，所有每日限制！》

风险提示及免责条款

市场有风险，投资需谨慎。本文不构成个人投资建议，也未考虑到个别用户特殊的投资目标、财务状况或需要。用户应考虑本文中的任何意见、观点或结论是否符合其特定状况。据此投资，责任自负。