GeneBench-Pro：评估AI在计算生物学中的高阶判断能力

引言：科学研究中的判断力挑战

科学数据很少附带使用说明书。研究人员必须自行判断：某个模式反映的是生物学规律还是噪声，数据是否足以支撑待解答的问题，以及每个结果应如何指导下一步行动。AI代理在执行复杂分析方面日益强大，但真正的科学研究不仅仅依赖事实回忆或预定义流程，更取决于这些高阶判断能力。

今天，我们正式推出 GeneBench-Pro——一个高难度的研究级基准测试，旨在检验模型是否能够应对真实世界计算生物学中需要大量判断力的分析任务。它在 GeneBench 的基础上进行了扩展，覆盖基因组学、定量生物学和转化医学中更困难、更贴近实际的任务，捕捉计算生物学研究的复杂性、迭代性和模糊性。截至目前，很少有评估能真正衡量系统层面的判断能力，而这些能力恰恰是现实计算研究中的难点，包括处理模糊性、修正假设、选择正确分析路径以及判断结果是否可用于决策。由于这些技能难以形式化，即使它们对AI整体性能的约束日益明显，也难以进行严格评估。

GeneBench-Pro 的设计目标

GeneBench-Pro 专为精确测量这些高阶能力而设计。在 GeneBench-Pro 中，我们将“研究品味”定义为塑造分析过程的判断链：数据能支持哪些问题、早期诊断结果应如何影响模型或估计目标、初始计划何时需要修正。每个 GeneBench-Pro 问题都为模型提供一个真实且杂乱的数据集、简要的实验背景以及一个与下游决策相关的目标估计量。要正确回答，模型必须探索数据、选择合适的分析方法、进行迭代实验，并给出最终答案。

数据集构建

在生物学中，数据生成（如基因组测序）的成本已大幅下降，一些研究人员认为，当前瓶颈已不再是样本收集，而是下游计算与分析。GeneBench-Pro 旨在评估突破这一瓶颈的进展，包含 129 个问题，涵盖计算生物学多个领域和方法。

领域图谱：10 大领域与 21 个子领域的 129 个问题

点击上方图谱中的圆点可了解具体基准问题。此图谱展示了 GeneBench-Pro 的广泛覆盖范围。更多详细信息请访问案例研究页面，其中有 10 个代表性问题的深入解析。

避免常见基准测试缺陷

GeneBench-Pro 也旨在避免常见基准测试的失败模式。许多长时程生物学基准测试基于混乱的历史数据集构建多步骤问题，其中可能不存在唯一正确的分析路径。一个代理可能选择某个合理的阈值，而另一个代理可能选择另一个同样合理的选项，这更多地反映了基准创建者的主观选择，而非模型性能的根本差异。反之亦然：如果问题对数值不够敏感，代理可能在分析中犯下根本性错误，但仍能给出及格结果。

为避免这些缺陷，每个 GeneBench-Pro 问题都是合成构建的：我们已知完整的因果结构，并直接模拟数据生成过程。这使我们能够调整每个问题的复杂度，确保合理的主观分析选择差异仍能产生可接受的数值结果，并通过消融研究验证看似合理但错误的分析路径会失败。然后，我们通过详细的痕迹分析审计问题草案，检查信息泄露和意外解决方案路径。这让我们确信：获得正确答案取决于选择正确的分析路径，而非利用捷径或匹配某个任意的作者偏好。

外部专家审核

我们将 129 个 GeneBench-Pro 问题中的 82 个发送给外部领域专家，包括研究生、博士后、行业科学家和教授。审稿人评估了每个问题的现实性、目标答案的可识别性以及方法和估计量的适当性。反馈用于改进问题。

“我审阅的问题对研究生来说，若没有经验丰富的导师反复反馈，完成起来会很有挑战性。数据包含技术和质量控制问题，需要深思熟虑、具有反思性的数据分析，并意识到潜在陷阱才能成功完成；它们并非简单地应用现成方法处理干净且精心整理的数据。” —— Alexander Strudwick Young，加州大学洛杉矶分校人类遗传学助理教授

“即使当前模型无法可靠地从头到尾独立运行分析……”

结论与展望

GeneBench-Pro 为 AI 在计算生物学中的高阶判断能力提供了首个系统级评估框架。通过合成数据生成、严格消融和专家审核，它确保了评估的严谨性和现实相关性。未来，我们将持续扩展问题集，并探索如何将“研究品味”进一步形式化，以推动 AI 在科学研究中的深度应用。