GPQA
GPQA 是一个研究生级别的科学基准测试:博士专家的答题正确率为 65%,而使用网络搜索的非专家为 34%。了解其 Diamond 子集以及如何解读分数。
GPQA 是 Graduate-Level Google-Proof Q&A 的简称,是一项包含 448 道生物学、化学和物理学选择题的基准测试。这些题目由领域专家编写,旨在让专家能够作答,但即便开放不受限制的网页访问,熟练的非专家也无法作答。纽约大学、Cohere 和 Anthropic 的 David Rein 及其同事于 2023 年 11 月在论文 GPQA:研究生级别的 Google-proof 问答基准中发布了该基准,用于衡量大语言模型(LLM)的科学推理能力。难度更高、包含 198 道题的 Diamond 子集,已成为模型发布公告中最常引用的分数之一,涵盖 OpenAI 的 GPT-5和 Anthropic 的 Claude 4 系列模型。
该基准还用于可扩展监督研究,这是AI 安全和超级对齐的一个分支:如果 AI 系统最终能回答人类监督者无法核查的问题,人们就需要验证这些答案的方法。GPQA 提供了一批已经存在专家与非专家知识差距的问题。
题目编写与验证方式#
作者通过 Upwork 雇用了 61 名承包人员,他们都拥有或正在攻读博士学位。出题者先起草一道包含一个正确答案和三个合理干扰项的问题。同一领域的第二位专家作答并提供反馈,出题者修改后,再由第三位专家回答修改后的版本。随后,三位拥有博士学位、但来自其他领域的非专家验证人员,在可以完全访问互联网但不能使用 AI 助手的情况下尝试回答每道题,平均耗时 37 分钟。如果专家答对而非专家答错,出题者会获得奖金;这种激励鼓励他们编写客观上可解、但难以通过搜索找到答案的问题。
随论文发布的有机化学样题要求让甲基环戊二烯与甲基异戊基酮反应生成富烯衍生物,再让这些衍生物与丙烯酸乙酯反应,并询问最终产物中有多少种化学结构不同的异构体。作答需要逐步推演每个反应过程,这正是思维链提示和推理模型所针对的多步问题。
这一流程得出了该基准公布的初始基准成绩。专家正确回答了其所在领域 65% 的问题;如果排除他们事后意识到自己答错的问题,正确率则升至 74%。非专家的正确率只有 34%,比随机猜测预期的 25% 高九个百分点,这就是“Google-proof”在实际中的含义。该基准发布时,表现最好的 GPT-4基准模型使用少样本思维链提示,得分约为 39%。
Extended、Main 和 Diamond 子集#
GPQA 提供三个嵌套子集,每个子集的筛选条件都比上一个更严格:
- 扩展集(546 道题):筛选前发布的所有题目。作者另外保留了 18 道未发布的题目。
- 主集(448 道题):两位专家验证者中至少一人认同答案,且三位非专家中答对的人数不超过两人。
- Diamond 集(198 道题):两位专家都认同答案,且答对的非专家不超过一人。如果专家答错后明确指出了自己的错误,仍计为认同答案。
Diamond 集是比较模型的标准选择,因为它保留了答案最明确、专家与非专家之间差距最大的题目。
如何解读 GPQA 分数#
2024 年 9 月,OpenAI 报告称,其 o1 推理模型在 Diamond 集上的准确率超过了博士级专家;到 2026 年,前沿模型公布的最佳分数已超过 90%。达到这种水平后,小幅差距所包含的信息不多。Diamond 集中的每道题约占半个百分点;在 198 道题上达到 90%准确率时,标准误差约为 2.1 个百分点,因此 95% 置信区间约为正负 4 个百分点,分数相差几个百分点的两个模型在统计上无法区分。
协议细节也会影响分数。零样本或少样本提示、是否允许思维链、平均多少个样本、是否打乱答案选项,以及模型能否使用工具,都会改变结果。因此,公平比较必须固定这些条件;例如,Humanity's Last Exam会单独报告工具设置。公开基准还面临污染风险。GPQA 数据包含一段金丝雀字符串,供训练流程过滤;作者也要求用户不要以纯文本形式在网上发布题目,因为示例一旦泄露到网络文本中,高分就可能反映出记忆能力。这是一种数据泄漏,而 LiveCodeBench通过为题目标注日期来规避这种风险。
视觉基准测试也遵循相同的报告规范。Ultralytics 目标检测文档会列出 YOLO26 在包含 5,000 张图像的 COCO val2017 划分上的平均精度均值 (mAP),旁边还会注明可复现每个数值的确切验证命令,并添加 nms=False 以复现端到端列中的结果。Ultralytics VLM Leaderboard使用相同的验证代码评估视觉语言模型,并记录图像采样方式和每个框的评分方法。










