加强安全生态系统：OpenAI 外部测试新策略

加强安全生态系统：OpenAI 外部测试新策略

在人工智能快速发展的今天，前沿 AI 的安全性已成为全球关注的焦点。OpenAI 始终坚信，独立、可信的第三方评估在强化前沿 AI 安全生态系统中扮演着至关重要的角色。本文将深入探讨 OpenAI 如何通过外部测试来增强模型安全性，以及这些合作如何影响我们的部署决策和安全标准。

第三方评估的重要性

第三方评估是指由独立机构对前沿模型进行的评估，旨在确认或提供额外证据，验证关于关键安全能力和缓解措施的主张。这些评估有助于验证安全声明、防止盲点，并提高能力和风险的透明度。通过邀请外部专家测试我们的前沿模型，我们希望能够建立对能力评估和防护措施深度的信任，同时提升整个安全生态系统的水平。

自 GPT-4 发布以来，OpenAI 已与众多外部合作伙伴合作，对模型进行测试和评估。这些合作主要分为三种形式：

1. 独立评估：针对关键前沿能力和风险领域，如生物安全、网络安全、AI 自我改进和策略欺骗。
2. 方法论审查：评估我们如何评估和解释风险。
3. 领域专家探测：专家直接在真实世界的专业任务上评估模型，并对其能力和相关防护措施提供结构化反馈。

为什么第三方评估至关重要？

第三方评估为我们的内部工作增添了独立评估层，加强了严谨性，并提供了额外保护，防止自我确认偏见。他们的评估结果与我们的内部评估相互印证，有助于为强大系统的负责任部署提供决策依据。

此外，我们将第三方评估视为构建弹性安全生态系统的一部分。我们的团队在能力和风险领域进行了广泛的内部测试，但独立组织带来了额外的视角和方法论。我们致力于支持多样化的合格评估组织，与我们一同定期评估前沿模型。

最后，我们致力于透明地展示这些输入如何影响我们的安全流程。我们经常公开第三方评估结果——例如，在系统卡中包含部署前评估摘要，并支持评估组织在保密性和准确性审查后发布更详细的工作。这种透明度通过展示外部输入如何塑造我们的能力评估和防护措施，建立了信任。基于可信访问、透明度和知识共享的持续关系，有助于整个生态系统领先于新兴风险，并培养适应性强、可操作的评估，为前沿 AI 系统制定更强标准和更明智的治理提供支持。

外部实验室的独立评估

从 GPT-4 发布开始，我们就在部署前支持对早期模型检查点的独立评估。此后，我们扩大了与一系列第三方组织的合作，这些组织在关键前沿能力和风险领域的评估方面拥有深厚专业知识。我们将独立实验室的工作范围定义为开放式测试，外部团队运用自己的方法，就特定前沿能力提出主张或评估。

例如，对于 GPT-5，OpenAI 协调了广泛的外部能力评估，涵盖关键风险领域，如长周期自主性、策略欺骗、欺骗与监督规避、湿实验室规划可行性以及进攻性网络安全评估。这些独立评估补充了根据 OpenAI 准备框架进行的评估，包括 METR 的时间范围评估或 SecureBio 的病毒学能力测试（VCT）评估等基准。

为支持这些评估，我们提供了对早期模型检查点的安全访问、选择性的评估结果以具体化我们观察到的能力提升、必要时零数据保留，以及缓解措施较少的模型。例如，在网络安全和生物安全领域进行测试的组织，测试了带有和不带有安全缓解措施的模型，以探测底层能力。其他几个组织获得了直接的思维链访问权限，使他们能够检查模型的推理轨迹。这一增强的透明度步骤使评估者能够识别出可能仅通过阅读思维链才能辨别的沙袋行为或策略欺骗行为。访问权限在安全控制措施到位的情况下提供，我们随着模型能力和测试需求的发展不断更新这些控制措施。

方法论审查

在某些情况下，外部评估者非常适合提供方法论审查，为前沿实验室用于评估风险的框架和证据提供额外视角。例如，在 gpt-oss 发布期间，我们使用了对抗性微调来估计开放权重模型的最坏情况能力，如《估计开放权重 LLM 的最坏情况前沿风险》中所述。核心安全问题是，恶意行为者是否可以通过微调模型，使其在生物或网络等领域达到准备框架下的“高”能力水平。由于这需要资源密集型的对抗性微调，我们邀请第三方评估者审查我们的内部方法和结果，并提出建议，而不是重复类似工作。

这涉及一个为期数周的过程，包括分享评估推出、对抗性微调方法的细节，以及收集关于改进方法的结构化建议。

领域专家探测

领域专家（SME）探测是第三方评估的另一种形式，专家直接在真实世界的专业任务上评估模型。这种方法特别适用于评估模型在高度专业化领域的表现，例如医学诊断、法律分析或工程设计。通过让领域专家直接与模型互动，我们能够获得关于模型能力、局限性和潜在风险的更深入见解。

例如，在生物安全领域，专家可能要求模型设计实验方案或分析病毒数据，以评估其是否具备高能力生物威胁的潜力。在网络安全领域，专家可能测试模型识别漏洞或构建攻击代码的能力。这些评估结果为我们提供了宝贵的反馈，帮助我们改进模型的安全防护措施。

透明度和保密性

在第三方评估合作中，透明度和保密性之间的平衡至关重要。我们与评估组织签订协议，明确保密条款和出版条款。评估组织可以在经过保密性和准确性审查后发布详细工作，这有助于公开分享知识，同时保护敏感信息。

我们相信，这种平衡对于建立信任和推动整个 AI 安全生态系统的发展至关重要。通过公开评估结果和方法，我们不仅展示了对外部输入的重视，还促进了最佳实践的分享和标准的制定。

未来展望

随着 AI 技术的不断进步，第三方评估将继续在我们的安全策略中发挥核心作用。我们计划进一步扩大与独立评估组织的合作，涵盖更多风险领域和能力维度。同时，我们将继续改进评估方法，确保它们能够跟上模型能力的快速发展。

我们呼吁整个 AI 社区共同参与，建立更强大的安全生态系统。通过共享知识、方法和最佳实践，我们可以共同应对前沿 AI 带来的挑战，确保其安全、负责任地发展。

结论

OpenAI 的第三方评估策略是构建强大 AI 安全生态系统的关键组成部分。通过独立评估、方法论审查和领域专家探测，我们能够获得多元化的视角，验证安全声明，并提高透明度。这些合作不仅帮助我们做出更明智的部署决策，还为整个行业树立了安全标准。我们期待与更多合作伙伴一起，推动 AI 安全的发展，确保技术进步惠及全人类。