bingdada2026年6月17日，一项名为LifeSciBench的全新基准测试正式发布。这项由专家撰写并经过同行评审的基准测试，根植于真实的生命科学研究场景，旨在更全面地评估AI系统在生命科学领域的实际应用能力。
随着AI代理系统在科学任务中的表现日益强大，它们对生命科学研究者的实际价值取决于其处理真实研究复杂性的能力。现实中的科研工作很少表现为简单的事实回忆问题或清晰的预测任务。研究人员需要解读不完整的证据、协调相互矛盾的结果、设计复杂的实验、排除实验故障、评估转化风险，并在不确定性中决定下一步行动。
当前的基准测试未能完全捕捉这些能力。许多生命科学评估聚焦于狭窄的领域或孤立的技能，导致问题具有结构化的格式和清晰的参考答案。虽然这些基准有其价值，但它们往往无法真正评估模型是否能在更广泛的研究层面工作中做出贡献。
为了弥补这一差距，我们设计了LifeSciBench。该基准的每一项任务都根植于具有博士水平训练和直接推进生物技术及制药领域药物发现项目经验的实践生命科学家的判断。
LifeSciBench包含750项由专家撰写的任务，涵盖7个工作流程和7个生物学领域。具体数据如下：
LifeSciBench衡量的是AI系统是否能够支持现实的生命科学研究任务，而不仅仅是回答生物学问题。为了定义基准分类法，我们调查了实践生命科学家在应用研究环境中最常使用的工作流程。然后，我们将他们的回答归纳为七个重复出现的类别：
每项任务的结构都类似于科学家向知识渊博的合作者提出的请求：科学提示、任何相关的上下文或工件，以及自由形式的回答。专家编写的评分标准评估模型是否能针对特定问题提供正确的答案，以及科学家期望的详细程度、论证、注意事项和格式。
LifeSciBench在评估科学推理的同时，也评估现实世界科学使用所需的不那么明确、更实用的技能。其任务要求模型处理真实的研究问题：解读证据、做出基于领域的判断，并传达对专家评审员有用的结论。许多任务还要求模型处理不确定性，并基于支持数据文件进行推理，而不仅仅依赖提示文本。
该基准旨在反映生命科学工作的复杂性。总体而言，79%的任务需要多个推理或决策步骤，平均每项任务四个步骤。LifeSciBench包含1,062个附加工件，涵盖图表、PDF、表格、序列文件、结构或化学文件以及网络参考文献。超过一半的任务（53%）要求模型从至少一个工件中解读或综合信息。
任务由173位来自不同生命科学学科的专家科学家创建。每位科学家都拥有博士水平的训练和生物技术或制药行业的经验。任务在接收前可以根据需要进行任意次数的修订，没有固定的轮次上限；已接收的任务平均经历了六次自主自动审核周期，并至少完成了两轮专家评审。评审基于可验证的正确答案或强烈的专家共识，相关领域的评审员之间至少有90%的一致性。这一过程有助于确保已接收的任务具有科学依据、清晰可评分，并代表应用研究。
LifeSciBench任务使用详细的、针对特定任务的评分标准进行评分，该评分标准将预期回答分解为具体的科学主张、计算、决策、论证等。在整个基准中，专家制定的评分标准包含19,020个标准——平均每项任务25个——以评估科学正确性和对研究决策的有用性。
这种设计反映了科学研究在实践中是如何被评估的：许多生命科学任务不能仅通过检查最终答案来评分。一个回答可能得出正确的高层结论，但如果它忽略了关键的实验局限性或未能主动提出一个高度重要的生物学细微差别，仍可能被认为不完整。相反，一个部分回答可能包含高质量的推理，即使它没有完全解决任务。
细粒度的评分标准捕捉了这种细微差别。LifeSciBench不仅评估最终答案的准确性，还评估模型是否以科学有效和操作有用的方式得出答案。
以下是一个评估示例，展示了如何从论文、图表、表格和实验记录中提取、协调和审计科学证据：
我们正在准备一次针对AAV9-microDys-X的B类FDA会议，这是一种基于AAV9的微肌萎缩蛋白基因疗法，用于杜氏肌营养不良症，表达来自MCK启动子的138 kDa构建体。我们希望得到严厉的批评，评估我们当前的资料包是否真的支持基于微肌萎缩蛋白表达作为替代终点的加速批准，该终点合理可能预测临床获益。研究背景：开放标签的1b/2期研究，纳入12名4-7岁、确诊DMD且具有框外杆状结构域缺失的行走男孩。资料包包括：治疗前股外侧肌活检：使用针对N端肌动蛋白结合域的MANEX1A抗体进行定量Western blot，显示健康对照肌萎缩蛋白的0-3%。12周治疗后对侧股外侧肌活检：使用相同的Western blot，平均微肌萎缩蛋白为健康对照的38%（范围18-61%），归一化至总蛋白。
LifeSciBench代表了AI评估在生命科学领域的一个重要进步。通过专注于真实的研究任务、专家判断和细粒度的评分标准，它提供了一个更全面的框架来衡量AI系统在复杂科研环境中的实际能力。这有助于推动AI在药物发现、精准医学和基础生物学研究等领域的实际应用。
随着AI技术继续快速发展，像LifeSciBench这样的基准测试对于确保这些工具能够真正服务于科学界、加速发现并改善人类健康至关重要。
SEO & GEO 技术探索者，专注于搜索引擎优化和生成式引擎优化。
OpenAI销售团队规模一年增长三倍，通过构建GTM Assistant智能助手，将顶尖销售经验系统化，实现销售生产力提升20%，让销售代表每周多出一天时间专注于客户关系。
OpenAI 正式发布 AI 视频生成模型 Sora，通过水印溯源、肖像权控制、青少年保护、内容过滤等多维安全策略，在推动视频创作创新的同时，构建了负责任的 AI 应用框架。
OpenAI 发布 Sora 2，视频生成模型迎来 GPT-3.5 时刻。新模型在物理准确性、可控性上大幅提升，支持同步音效和对话，并推出基于‘角色’功能的社交 iOS 应用。
获取最新的 SEO 与 GEO 技术资讯。
我们尊重您的隐私，随时可以取消订阅。
