openai账号chatgpt3.5与4.0速率限制详解

以下资料文档来源于官方文档

速率限制

概述

什么是速率限制?

速率限制是 API 对用户或客户端在指定时间段内可以访问服务器的次数施加的限制。

为什么我们有速率限制?

速率限制是 API 的常见做法,实施速率限制有几个不同的原因:

  • 它们有助于防止滥用或误用 API。例如,恶意参与者可能会用请求淹没 API,试图使其过载或导致服务中断。通过设置速率限制,OpenAI可以防止此类活动。
  • 速率限制有助于确保每个人都可以公平访问 API。如果一个人或组织发出过多的请求,则可能会使其他人的API陷入困境。通过限制单个用户可以发出的请求数量,OpenAI 确保最多的人有机会使用 API,而不会遇到速度变慢的情况。
  • 速率限制可以帮助 OpenAI 管理其基础设施上的总负载。如果对 API 的请求急剧增加,则可能会对服务器造成负担并导致性能问题。通过设置速率限制,OpenAI 可以帮助为所有用户保持流畅一致的体验。
  • 请完整阅读本文档,以更好地了解OpenAI的限速系统的工作原理。我们包括代码示例和可能的解决方案来处理常见问题。建议在填写速率限制提高申请表之前遵循本指南,并在上一节中详细说明如何填写该表单。

    如果对于账号需要提升速率请求的,openai官方有提供提高速率请求的申请表

图片[1]-openai账号chatgpt3.5与4.0速率限制详解-晓白博客网 图片[2]-openai账号chatgpt3.5与4.0速率限制详解-晓白博客网 图片[3]-openai账号chatgpt3.5与4.0速率限制详解-晓白博客网

下面是官方的gpt3.5与4.0账号速率限制的大概情况

我们会根据所使用的特定终端节点以及您拥有的帐户类型,在组织级别(而不是用户级别)强制实施速率限制。速率限制以两种方式度量:RPM(每分钟请求数)和 TPM(每分钟令牌数)。下表突出显示了我们 API 的默认速率限制,但在填写速率限制提高请求表单后,这些限制可能会根据您的使用案例增加。

文本和嵌入 聊天 编辑 图像 音频
免费试用用户 3 转/分
150,000 TPM
3 转/分
40,000 TPM
3 转/分
150,000 TPM
5张/分钟 3 转/分
即用即付用户(前 48 小时) 60 转/分
250,000 TPM
60 转/分
60,000 TPM
20 转/分
150,000 TPM
50张/分钟 50 转/分
即用即付用户(48 小时后) 3,500 转/分
350,000 胎压监测系统
3,500 转/分
90,000 胎压监测系统
20 转/分
150,000 TPM
50张/分钟 50 转/分

对于 ,即用即付用户的 TPM 限制是上面列出的值的 2 倍,使限制分别为 120K TPM 和 180K TPM。gpt-3.5-turbo-16k

对于我们的旧型号,TPM(每分钟令牌数)单位因型号版本而异:

类型 1 TPM 等于
达芬奇 每分钟 1 个代币
居里 每分钟 25 个代币
巴贝奇 每分钟 100 个代币
阿达 每分钟 200 个代币

实际上,这意味着您每分钟可以向模型发送大约 200 倍的令牌。adadavinci

重要的是要注意,任何一种选择都可以达到速率限制,具体取决于首先发生的情况。例如,您可以向 Edit 终端节点发送 20 个仅包含 100 个令牌的请求,即使您在这 150 个请求中未发送 20k 个令牌,这也将填满您的限制。

GPT-4 速率限制

在 GPT-4 的有限测试版推出期间,该模型将具有更严格的速率限制以满足需求。如果你是即用即付用户,则 / 的默认速率限制为 40k TPM 和 200 RPM。/ 的默认速率限制为 150k TPM 和 1k RPM。由于容量限制,我们无法满足提高速率限制的请求。在当前状态下,该模型旨在用于实验和原型设计,而不是大批量生产用例。gpt-4gpt-4-0613gpt-4-32kgpt-4-32k-0613

晓白博客网版权所有,原文地址https://www.xbnb.cn/10561
© 版权声明
THE END
喜欢就支持一下吧
点赞0 分享
相关推荐
评论 如有资源失效请在下面及时反馈,谢谢!! 抢沙发

请登录后发表评论

    请登录后查看评论内容