OpenAI新方法：通过模拟部署预测模型行为，提前发现潜在风险

引言

在发布新模型之前，实验室不仅需要了解它能做什么，更需要知道它在真实世界中可能如何表现，包括可能引入哪些新风险。随着模型能力的增强，这一点变得愈发重要。作为我们部署前安全审查的一部分，我们利用目标评估、红队测试和其他检查来理解模型行为。现在，我们开始使用一种在模型实际部署前模拟其部署的方法，这提供了一种补充信号：在模型到达用户之前，就能预览候选模型可能的表现。

什么是部署模拟？

部署模拟是一种在模型正式部署前模拟其未来部署的方法。具体做法是：以隐私保护的方式，用新的候选模型重放之前的对话。这使我们能够在发布前研究新模型在真实语境中的响应，包括是否会出现新的不良行为及其出现频率。

在多个GPT-5系列Thinking模型的部署中，部署模拟改进了我们对不良行为发生率的估计，帮助我们在发布前发现了新形式的不对齐问题，并降低了模型意识到自己在被测试的风险。我们还将该方法应用于具有挑战性的代理（agentic）场景，表明它可以扩展到标准聊天之外的更复杂的代理设置（涉及工具使用），也可用于内部模型部署前的风险评估。

在模型开发过程中，我们已经利用部署模拟的洞察来识别传统评估的盲点，并为缓解措施和部署决策提供信息。随着我们使该流程更易于运行，预计它将在未来的模型开发过程中发挥更大作用。

部署模拟如何工作

行业通用的预部署评估通常由合成提示、人工编写提示或生产环境提示混合组成，这些提示被有意选择为困难、高风险或对抗性的。这些评估通常有两个相互交织的目标：评估模型在部署流量中极低概率出现的情境下的压力测试表现，以及获得对不良模型行为的总体理解，包括发现新的不良行为和预测其在部署时的发生频率。

虽然传统评估对第一个目标仍然至关重要，但部署模拟在第二个目标（针对非尾部风险）上迈出了重要一步（在我们的实验中，该方法无法可靠测量出现频率低于每20万条消息1次的行为）。部署模拟的优势在于规避了传统评估的一些核心挑战：

• 覆盖范围：很难确信评估提示能覆盖所有可能的不良模型行为类型。衡量新类型的不良行为需要创建新的评估，并知道要测量哪些危害。这可能耗时费力，且评估会随时间饱和。
• 选择偏差：传统评估通常针对特定的不良模型行为构建，选择方式偏向于之前出现过的语境。这可能使它们对这类行为在整个部署分布中的发生率的估计信息量不足。
• 模型可识别为测试：模型越来越能够判断自己正在被测试，这可能会扭曲它们的行为以及我们对安全性的下游测量。虽然我们在OpenAI使用的许多传统评估也来自生产流量且不存在此问题，但这是行业内许多传统评估的常见担忧。

部署模拟背后的主要技术很简单：我们从部署中获取最近的对话，移除旧模型的原始助手回复，然后用待发布的候选模型重新生成。我们通过搜索新的失败模式来评估补全结果，并基于这种类似部署的分布来估计部署时不良行为的发生频率。我们可以在发布后对真实部署流量进行相同的测量，从而验证我们的预部署预测。

部署模拟显著缓解了上述三个限制：通过使用代表近期使用情况的评估提示分布来解决采样偏差问题。使用代表性提示的部署模拟还可以缓解覆盖范围的担忧：只需模拟更多流量，我们就能获得对不良模型行为的更大覆盖。这种计算量与覆盖范围之间的权衡很重要，因为它使风险评估的这一轴线的质量随计算量扩展，而不是依赖构建更多评估所需的手动工作。此外，模型似乎无法区分通过部署模拟获得的对话与真实部署流量。

图1：部署模拟流程概览

方面	传统评估	部署模拟
覆盖范围	更适合低发生率但高严重性的风险，确保有覆盖	更适合理解部署流量中可能出现的风险谱系
代表性/偏差	专注于评估过去的或预测的特定风险，即使行为在部署中发生率极低	代表当前部署流量中高于一定发生率的风险
评估意识	可能有明显的测试线索（例如使用合成数据），除非用部署数据创建评估	类似部署的语境似乎能显著减轻评估意识
努力程度	需要自定义提示分布	利用现有流量

结论与展望

部署模拟为模型行为预测提供了一种全新的、数据驱动的方法。通过将评估从人工构建的测试转向基于真实用户交互的模拟，我们能够更准确地估计模型在现实世界中的表现，并提前发现潜在问题。随着我们持续优化这一流程，它将成为模型开发和安全评估中不可或缺的一环，帮助确保AI系统在部署前经过严格测试，减少意外风险。

OpenAI将继续探索部署模拟的更多应用场景，包括扩展到多模态模型、更复杂的代理系统以及持续学习环境。我们相信，这种方法将推动行业向更安全、更可靠的AI部署迈进。