公司地址
与以往侧重于考察模型是否记忆知识或能否遵循既定步骤完成任务的传统评估方式不同,GeneBench-Pro 更加注重人工智能模型在实际科研场景中的应用潜力。该基准测试旨在让模型处理包含模糊、不完整甚至干扰信息的数据,并在此基础上进行判断和分析以得出结论。
GeneBench-Pro 涵盖了基因组学、定量生物学以及转化医学等多个领域,共计包含 129 道题目。这些题目分布在 10 个主要领域和 21 个子领域之下,涉及统计遗传学、群体遗传学、功能基因组学、蛋白质组学等多个方向。在每道题中,模型将获得接近真实科研环境的数据集,以及简要的实验背景说明和与后续决策相关的一个目标问题。模型需要自主完成数据探索、选择分析方法,并在此过程中不断调整策略,最终给出答案。
为规避传统长流程基准测试中常见的评分偏差,OpenAI 在设计 GeneBench-Pro 时采用了合成数据(Synthetic Data)作为核心构建方法。这是因为使用历史真实数据出题时,可能存在多条有效的分析路径,导致模型即便采用错误方法也可能偶然获得正确答案。通过利用合成数据,OpenAI 可以完全掌握数据的底层因果关系和生成过程,从而更精确地评估模型是否真正理解问题,而非仅仅通过“取巧”的方式得出结果。
目前,OpenAI 已在 Hugging Face 上发布了 10 道具有代表性的 GeneBench-Pro 示例题目,并提供交互式界面供外部研究人员进行体验。未来,OpenAI 计划开放其中 50 道题目给 Artificial Analysis 进行独立的第三方评测,以验证不同模型在这一基准测试下的实际表现。