GPT-5.6 Sol 在 ARC-AGI-3 上原始得分多少？为什么这么低？

原始得分仅 7.8%，使用官方测试框架时为 13.3%。低分主因不是模型能力不足，而是测试框架默认丢弃每步私有推理并使用滚动截断窗口，模型无法记住过去思考，每次行动都要重新理解游戏，导致进展缓慢。

开启哪两个设置能让 ARC-AGI-3 得分翻三倍？

开启「保留推理」和「压缩」两个 API 设置。启用后 GPT-5.6 Sol 在公开集得分从 13.3% 升至 38.3%，翻近三倍，同时输出令牌减少 6 倍。这两个设置已在 ChatGPT 和 Codex 中使用。

ARC-AGI-3 的得分是怎么算的？人类大概多少？

得分采用相对人类行动效率（RHAE），将模型性能与人类基线比较。根据官方游戏日志，人类测试者平均得分约 48%。模型不会被告知评分方式，也看不到自己的分数，每步只返回当前帧文本和所在关卡。

ARC-AGI-3 测试框架为什么故意做得很通用？

ARC 认为简单通用的框架没有工具或特殊功能，能使模型缺点更明显、模型比较更公平。商业开发者常针对每个模型特性优化测试框架，而 ARC-AGI-3 刻意避免这一点，以衡量智能体在陌生 2D 游戏中的学习和推理能力。

AI人工智能

开启两个设置，ARC-AGI-3 基准测试得分翻三倍：OpenAI 的 GPT-5.6 Sol 深度优化实践

bingdada

八月 2, 2026218 次阅读约 7 分钟阅读

快速回答

OpenAI 发现，在 ARC-AGI-3 基准测试中为 GPT-5.6 Sol 开启「保留推理」和「压缩」两个 API 设置后，公开任务集得分从 13.3% 提升至 38.3%，翻近三倍，同时输出令牌减少 6 倍。此前默认测试框架会丢弃每步私有推理并使用滚动截断窗口，导致模型反复重新理解游戏、难以积累进展，这解释了其原始得分仅 7.8% 而人类基线约 48% 的差距。

核心要点

引言：一个令人困惑的低分谜题
基准测试的隐形影响因素
ARC-AGI-3 基准测试解析
问题根源：推理丢弃与滚动截断
解决方案：保留推理与压缩

GPT-5.6 Sol 此前曾成功解决了数学领域长期悬而未决的问题，如 cycle double cover 猜想，并击败了《宝可梦：火红》等游戏。然而，在 ARC-AGI-3——一个由 2D 益智游戏组成的基准测试中，GPT-5.6 Sol 的得分仅为 7.8%，而 GPT-5.5 几乎无法参与游戏，得分仅为可怜的 0.4%。这引发了团队的深思：是 2D 益智游戏对模型来说异常困难，还是存在其他原因？

基准测试的隐形影响因素

基准测试很少孤立地衡量 AI 模型。它们还衡量了关于 API 设置、测试框架设计和提示的较不显眼的选择。在 ARC-AGI-3 的案例中，OpenAI 发现，开启两个在 ChatGPT 和 Codex 中使用的 API 设置——保留推理和压缩——使公开任务集的得分翻了三倍，并将输出令牌减少了 6 倍。使用官方测试框架时，GPT-5.6 Sol 在 ARC-AGI-3 公开集上的得分为 13.3%。而启用保留推理和压缩后，得分提升至 38.3%。得分衡量的是相对人类行动效率 (RHAE)，这是一种将模型性能与人类基线进行比较的指标。根据官方游戏日志，估计人类测试者的平均得分为 48%。模型不会被告知如何评分，也无法在整个过程中看到自己的分数——行动只返回每帧的文本表示和当前所在关卡。

ARC-AGI-3 基准测试解析

ARC-AGI-3 是一个旨在衡量 AI 智能体学习和推理能力的基准测试。智能体探索不熟悉的 2D 游戏，并在没有明确指令的情况下推断其工作原理。你可以在 arcprize.org/tasks 上玩 25 个演示游戏。 ARC-AGI-3 使用了一个故意通用的测试框架，没有工具或特殊功能。ARC 的理由是，简单的框架使模型的缺点更加明显，并使模型比较更加公平。相比之下，商业开发者会针对每个模型的特性和怪癖优化测试框架。在游戏领域，GPT-5.6 Sol 曾使用纯视觉框架击败了《宝可梦：火红》，使用 Codex 计算机使用击败了《杀戮尖塔》，并完成了《Baba Is You》的前几个阶段。那么 ARC-AGI-3 有何不同？

问题根源：推理丢弃与滚动截断

受 ARC 对 GPT-5.5 缺点的分析启发，OpenAI 检查了 GPT-5.6 Sol 的一些尝试。与 ARC 一样，他们发现模型似乎不够聪明。它在每个行动上花费很长时间，并且难以取得进展。但深入调查后，他们发现模型的大部分困惑并非模型本身固有，而是由测试框架的设置引起的。首先，他们注意到每次游戏行动后，所有私有推理都被丢弃。这意味着每次行动，GPT-5.6 Sol 都被要求重新理解游戏，无法记住过去的思考。模型仍然可以看到过去动作的记录和简短的附带注释，但无法看到导致这些动作的计划、见解或想法。其次，他们发现测试框架使用了滚动截断窗口，导致随着历史记录的增长，较旧的行动变得不可见。因此，GPT-5.6 Sol 不仅无法记住过去的思考，还失去了对过去行动的记忆。这两个测试框架特性——丢弃推理和滚动截断——有助于解释为什么 GPT-5.6 Sol 难以随时间学习。

解决方案：保留推理与压缩

保留推理：让模型记住思考过程

OpenAI 的模型在输出回复或工具调用之前，会通过私有推理消息进行思考。这些私有思考消息作为对话历史的一部分被保留。如果对话变得太长，他们会总结并继续。这是模型训练的方式，也是它们在 ChatGPT 和 Codex 中部署的方式。为了更好地匹配生产设置，OpenAI 使用 Responses API 实现了 ARC-AGI-3 测试框架。他们的 API 使上下文管理变得简单：对于 GPT-5.6，传递先前的响应 ID 可以自动跨工具调用和轮次保留推理。启用保留推理后，OpenAI 注意到两个重大变化。首先，GPT-5.6 Sol 在每个行动前花费的思考时间更少，因为它不再需要每轮从头开始解释游戏。其次，当它能够记住过去的想法时，GPT-5.6 Sol 在随时间学习和采用连贯策略方面表现更好。

压缩：替代滚动截断

下一个改进来自用压缩替换滚动截断，这是 Responses API 中的另一个设置。 ARC-AGI-3 测试框架通过滚动截断解决上下文限制问题。当对话上下文超过 175,000 个字符时，最旧的消息会被丢弃。滚动截断有两个缺点。首先，模型会丢失早期的观察和行动。其次，它在大部分任务中使用更完整的上下文窗口操作，这可能会轻微影响性能。当 OpenAI 在 ARC-AGI-3 上启用压缩时，GPT-5.6 Sol 能够更好地在更长的运行中保留关于每个游戏的知识，并以更少的输出令牌获得更高的分数。

结果：得分翻三倍，效率提升

6 倍为了说明保留推理和启用压缩的效果，以下动画展示了 GPT-5.6 Sol 在使用不同测试框架解决一系列 ARC-AGI-3 谜题时，其 175K 上下文窗口的变化。两个中心列展示了不同测试框架如何不同地使用模型上下文窗口。凭借更好的过去记忆，GPT-5.6 Sol 每个行动思考更少，进展更快。注意：OpenAI 的实现使用 175,000 个令牌的限制而不是字符，但这最终会带来显著差异。

结论与启示

这个发现揭示了 AI 基准测试中一个常被忽视的维度：测试框架的设计和 API 设置对模型性能有巨大影响。对于 OpenAI News 而言，这不仅是技术突破，更是对行业标准测试方法的重要反思。在 ARC-AGI-3 这样的基准测试中，模型的表现不仅取决于其自身能力，还取决于如何配置和调用它。OpenAI 通过优化两个关键设置——保留推理和压缩——显著提升了 GPT-5.6 Sol 的性能，为 AI 智能体的实际部署提供了宝贵经验。未来，随着 AI 模型在复杂任务中的应用日益广泛，理解并优化这些“隐形”因素将成为提升性能的关键。OpenAI 将继续探索如何通过更好的 API 设计和测试框架，释放模型的全部潜力。

关于 Bingdada

Bingdada 是一个专注 SEO、GEO（生成式引擎优化）与 AEO（答案引擎优化）的内容平台，由资深内容编辑、SEO 技术工程师与 AI 研究专家组成的团队持续运营。我们追踪搜索引擎与生成式 AI 的最新动态，为读者提供准确、实用、可落地的方法论与行业洞察。 编辑团队：内容策划 · 技术编辑 · AI 研究组网站：bingdada.com © 2026 Bingdada. 保留所有权利。