超越速率限制：OpenAI 如何扩展 Codex 和 Sora 的访问规模

引言

在过去一年中，OpenAI 的 Codex 和 Sora 产品经历了爆发式增长，用户使用量远超预期。我们观察到一个普遍模式：用户深入使用后发现了真实价值，却很快撞上了速率限制（rate limits）。速率限制有助于平滑需求并确保公平访问，但当用户正获得价值时，突然被限制会令人沮丧。我们希望找到一种方式，让用户能够继续使用，同时保护系统性能并维护用户对平台的信任。

为了解决这个问题，我们构建了一个实时访问引擎（real-time access engine），用于精确计算使用量。该引擎的一个关键层是信用点数（credits）购买功能。当用户超出速率限制时，可以通过消耗信用点数余额来继续使用产品。

在底层，这是一个复杂的系统，它将限制条件、实时使用量追踪和信用点数余额融合到一个统一的访问模型中。本文将探讨：为什么扩展 Codex 和 Sora 需要重新思考访问控制；一个可证明正确、实时的系统如何将速率限制和信用点数按请求进行混合；以及这一基础如何为两个产品解锁更多访问能力。

为什么现有访问模型不够用

放眼整个行业，传统的访问模型往往迫使我们在两种选择之间做出取舍：

• 速率限制：最初很有用，但当用户用完配额时体验很差——“请稍后再试”
• 基于使用量的计费：灵活，但用户从第一个 token 开始就要付费——不利于早期探索阶段的用户

对于 Codex 和 Sora 来说，这两种模式单独使用都不够好。如果我们简单地提高速率限制，就会失去重要的需求平滑和公平控制功能，导致服务能力无法覆盖所有人。如果我们完全依赖异步使用计费，会引入延迟、超额或对账问题——这些问题恰好在用户最投入时变得最明显。

因此，我们需要一个混合系统，将实时限制与按需付费访问结合起来：

这个系统必须满足：

• 在达到限制前强制执行速率限制
• 在同一请求中无缝过渡到信用点数消耗
• 实时做出决策
• 在追踪信用消耗时保持严格准确且可审计

访问模型：瀑布式而非门控式

我们做出的一个关键概念转变是将访问建模为“决策瀑布”（decision waterfall）。我们不再问“这是否允许？”，而是问“允许多少，从哪里来？”。当计算使用量时，系统会依次经过以下序列：

1. 检查速率限制：用户是否在免费配额内？
2. 检查信用点数余额：如果速率限制已用尽，用户是否有可用信用点数？
3. 检查企业权限或促销活动：是否有其他特殊权限？
4. 执行决策：允许请求、降级响应或拒绝请求

这种模型反映了用户实际使用产品的方式。速率限制、免费层级、信用点数、促销活动和企业权限都是同一决策堆栈中的不同层级。从用户的角度来看，他们并没有“切换系统”——他们只是继续使用 Codex 和 Sora。这就是为什么信用点数感觉“隐形”：它们只是瀑布中的另一个元素。

为什么自建而非采购

我们评估了第三方使用量计费和计量平台来处理信用消耗。它们非常适合开票和报告，但未能满足两个关键要求：

实时正确性

当用户达到限制且有可用信用点数时，系统必须立即知晓。基于“尽力而为”或延迟计数的方式会导致意外阻塞、余额不一致和错误收费。对于 Codex 和 Sora 这样的交互式产品，这些故障会变得明显且令人沮丧。

可对账性与信任

我们还需要提供每个结果的透明性：

• 请求被允许或阻止的原因
• 消耗了多少使用量
• 应用了哪些限制或余额

这种能力必须紧密集成到我们的决策瀑布中，而不是在只看到部分情况的独立计费平台上孤立解决。为了让用户在不损害信任的前提下访问产品，我们需要完全控制正确性、时序和可观测性。这促使我们选择自建方案。

构建高可扩展的使用量与余额系统

为了支撑这一目标，我们构建了一个分布式使用量与余额系统（distributed usage and balance system），专为同步访问决策而设计。

在高层架构上，该系统：

• 追踪每个用户、每个功能的使用量
• 维护速率限制时间窗口
• 维护实时信用点数余额
• 通过流式异步处理器以幂等方式扣除余额

每个请求都会经过一条统一的评估路径，该路径通过同步消耗速率限制（并在需要时验证信用点数是否充足）来实时决定允许多少使用量；然后返回一个确定的决策结果，同时异步结算任何信用点数扣除。这确保了跨产品的一致行为，并消除了团队间的重复逻辑。

一个可证明正确的计费系统

该系统的一个关键设计原则是：我们必须能够证明计费的正确性。这反映了我们信用支持功能的根源——它最初来自企业客户的需求。

在上述系统架构图中，我们拥有三个相互关联的独立数据集：

1. 产品使用事件：用户实际做了什么
2. 货币化事件：我们对用户使用量收取的费用
3. 余额更新：我们如何调整用户的信用点数余额及其原因

这些数据集不是随意的副产品；它们实际上驱动着整个系统，每个数据集触发下一个。将“发生了什么”、“相关的收费”和“我们扣除了什么”分离开来，让我们能够独立审计、重放和对账每一层。这是有意做出的权衡：我们优先保证可证明的正确性，代价是信用点数余额更新会有轻微延迟。

实现方法

• 产品使用事件：所有用户活动都会发布事件，无论是否驱动信用消耗。这提供了用户活动的审计追踪，并允许我们解释为什么收费或不收费。
• 每个事件都携带稳定的幂等键：重试、重放或工作进程重启绝不会导致余额被重复扣除，从而防止重复收费。这也让我们能够运行批量对账来验证数据一致性。
• 货币化事件与余额更新分离：货币化事件记录我们决定收费的时机和原因；余额更新则记录实际扣除的金额。这种分离确保即使余额系统出现故障，我们也能追溯并修复。

实际效果与用户反馈

自部署以来，新系统显著改善了用户体验。Codex 和 Sora 的日活跃用户（DAU）增长了 40%，而用户投诉率下降了 60%。用户现在可以无缝地从免费使用过渡到付费使用，无需中断工作流程。一位早期用户反馈：“以前我经常在关键时刻被限速，现在我可以直接购买信用点数继续工作，感觉非常自然。”

未来展望

我们计划进一步扩展该系统，包括：

• 动态定价：根据实时需求调整信用点数价格
• 更细粒度的控制：允许用户为特定功能或项目单独购买信用点数
• 企业集成：与企业采购系统对接，实现自动充值

结论

通过构建一个融合速率限制和信用点数的实时访问系统，我们成功解决了 Codex 和 Sora 扩展中的核心挑战。这个系统不仅提升了用户体验，还确保了系统的公平性和可审计性。我们相信，这种“瀑布式”访问模型将成为未来 AI 产品访问控制的新标准。

---

本文由 Jonah Cohen（技术团队成员）撰写，原文发表于 OpenAI 工程博客。