应对 OpenAI 限流
Rate Limit 用于保护服务稳定。可靠应用会塑造需求、遵循供应商信号，并通过官方渠道申请更高容量；不会轮换密钥来规避配额。
速览
使用准入控制、优先队列与按负载划分的请求和 Token 预算。
读取当前限流与重试指导，并使用带 Jitter 的退避。
设置截止时间、最大尝试次数，并让所有层只有一个重试 Owner。
监控合理增长，并通过获批流程申请更高限制。
限流响应意味着什么
限流错误可能反映请求速率、Token 吞吐、并发工作、Project 或 Organization 配额、模型容量或支出约束。应按照供应商报告的作用范围分类；如果两条路由共享同一 Project 预算，换模型也未必有效。该请求应以原生错误、重试提示与当前供应商文档为准。
避免限流事故最可靠的方法，是在 API Call 前塑造需求。估算请求与 Token 需求，为延迟敏感型负载保留容量，限制租户并发，只让截止时间允许等待的任务进入队列。可延后任务应批处理或调度执行，避免在突发期间与交互流量竞争。
重试同样消耗容量。立即同步重试会放大事故，并让正在恢复的服务持续过载。应遵循供应商时间提示，使用随机指数退避，指定唯一重试负责人，并在父截止时间、尝试次数或支出预算耗尽时停止。必须降载时，返回带 Request ID 和现实重试建议的受控响应。
合规响应选项
| 选项 | 最适合 | 选择前验证 |
|---|---|---|
| 排队与退避 | 交互工作可在有界截止时间内等待。 | 核对队列年龄、取消、优先级、Jitter 与重试归属。 |
| 批处理合格负载 | 离线任务可使用官方支持的批处理路径。 | 核对功能支持、完成窗口、结果处理与当前条款。 |
| 缓存安全结果 | 相同或可复用的确定性工作有获批缓存策略。 | 核对新鲜度、隐私、租户隔离、失效与正确性。 |
| 合格回退 | 备选模型或供应商独立满足负载。 | 核对用户意图、策略、能力、数据条款与语义差异。 |
可靠性控制
在过量工作消耗稀缺上游容量前拒绝或延后。
在副本间协调请求、Token、并发与支出限制。
持续压力下丢弃可选工作并返回受控错误。
追踪饱和度、队列年龄、限流错误、重试与预算耗尽。
事故前测试限流行为
应使用安全 Simulator 或经过批准的测试环境，不能为了观察结果而故意耗尽生产配额。既要重现短时突发，也要重现持续需求，并使用应用真实的 Prompt 大小、输出长度与租户分布。
- 在模型、Project 与 Token 预算等范围注入带与不带重试提示的限流响应。
- 验证 Header 感知的有界退避、唯一重试负责人和共享尝试预算。
- 测量队列深度与年龄、取消传播、降载和租户公平性。
- 确认优先流量仍拥有保留容量，后台任务先降级。
- 演练官方容量申请、受控降级与不会引发重试突增的恢复过程。
集中需求与重试决策
流量先进入 Admission Control，系统在此估算需求并检查租户、工作负载与全局预算。被接受的异步任务进入带最大等待年龄与取消支持的有界优先队列；交互任务只有在容量与截止时间仍允许时才继续。分布式 Budget Service 以足够原子的方式分配请求、Token 与并发容量，避免每个 Worker 都以为同一份配额尚未占用。
单一执行层负责调用 API、保留原生错误证据并拥有重试权。成功正常返回；429 则根据策略选择有界等待、降载或独立合格备用项。Telemetry 将观测用量反馈给 Admission Control，对账再把本地估算与供应商用量比较，避免本地预算长期漂移。
生产规则：绝不能通过轮换 Key、拆分 Account 或更改身份规避已执行配额。
在退避与重试期间保护外部动作
QVeris 可能在模型决策之前、期间或之后调用外部 API、工具、服务与实时数据。被限流的推理调用与已经完成的外部动作属于不同状态。应持久化动作处于已规划、已提交、已确认还是已拒绝，避免排队或故障切换后的模型请求重放整个工作流。
父截止时间与 Cancellation Signal 可以继续传播，但工具执行应使用独立 Action ID 与幂等密钥。恢复时从最后一个已验证状态继续，只有实时数据的新鲜度窗口已过期时才刷新，既避免重复副作用，也避免基于等待期间已经过期的证据做决策。
在请求到达模型前计算准入
避免限流首先依赖工作负载整形，而不是重试。估算输入加预留输出 Token，执行每租户并发控制，并且只排队仍能满足截止时间的任务。重试是最后防线，而不是容量计划。
def admit(request, tenant, limiter):
estimated = estimate_input_tokens(request) + request.max_output_tokens
if request.deadline_ms <= now_ms():
return Reject("deadline_expired")
if not limiter.concurrent.try_acquire(tenant):
return QueueOrReject("tenant_concurrency")
if not limiter.tokens.try_reserve(tenant, estimated):
limiter.concurrent.release(tenant)
return QueueOrReject("token_budget")
return Permit(reserved_tokens=estimated)- 分别处理 RPM、TPM、并发、支出与供应商容量信号。
- 使用带截止时间的有界队列，避免流量峰值变成延迟事故。
- 用实际用量对账预留 Token，并在取消时释放容量。
实施参考已根据官方资料核验：OpenAI rate limits。
FAQ
不可以。不要规避配额；遵循供应商条款并通过官方方式申请容量。
不应。只有指导、截止时间、预算与幂等允许时才重试。
只有备选独立合格且策略批准时才允许。