Humanity's Last Exam (HLE)

Humanity's Last Exam（HLE）是一项包含 2,500 道专家编写题目的基准测试，涵盖 100 多个学术领域，旨在衡量 AI 系统在前沿人类知识领域的能力。Center for AI Safety 和 Scale AI 于 2025 年 1 月发布该基准，于 2025 年 4 月敲定公开题目集，并于 2026 年 1 月将其发表于 Nature。这个名称体现了它的目标：打造一场闭卷学术考试，难度足以在早期测试无法区分顶尖大语言模型（LLM）后仍能提供有用信息。

这个问题就是基准测试饱和。到 2024 年，前沿模型在广泛使用的知识测试 MMLU 上得分超过 90%，因此后续提升难以解读。HLE 的设计目标是让这些相同模型的得分保持在个位数；在基准发布时，它们确实如此。

题目如何收集#

近 1,000 名学科专家编写了这些题目，他们大多是教授、研究人员和拥有研究生学位的人员，来自 50 个国家的 500 多家机构。每道候选题都会先交由多个前沿 LLM 测试，只有模型答错，或在选择题中表现不如随机猜测时，才会保留。超过 70,000 次此类尝试最终筛选出约 13,000 道题供人工审核。第一轮审核由拥有研究生学位的审核人员进行，每道题经过一到三次审核，以便出题者将其改为答案封闭且无歧义的形式；第二轮中，组织者和审核人员选出最佳题目组成最终题集。这种筛选方式类似于 GPQA采用的方法：其 Diamond 集只保留大多数具备网络访问条件的熟练非专家都无法答对的科学问题。50 万美元的奖金池为排名前 50 的题目各支付 5,000 美元，为随后 500 道题各支付 500 美元。

数学占题目总数的 41%，其次是生物学与医学（11%）、计算机科学与 AI（10%）、物理学与人文学科（各 9%）、化学（7%）以及工程学（4%）。一道人体解剖学样题询问，只有蜂鸟才有的籽骨支持多少对肌腱；专家可能知道这类细节，搜索引擎却难以快速找到答案。约 24% 的题目是选择题，其余 76% 要求给出精确的简短答案，由官方排行榜使用的评判模型 o3-mini 与参考答案进行比较，同时接受等价形式，例如用分数代替小数。私有留出集可以发现模型是否对公开题目过拟合；当基准文本泄露到训练数据后，这种风险会加大。这是一种数据泄漏，而 LiveCodeBench通过为题目标注日期来应对。

约 14% 的题目是多模态题目，要求结合文本与示意图、图表或拍摄的铭文作答，因此 HLE 也是一项专家级视觉问答测试。这些题目用于评估视觉语言模型（VLM）的推理能力；在 Ultralytics Platform Agents中，LLM 模块会调用这些模型：先由 YOLO26检测器筛查图像，再将图像和检测结果发送给用户选择的视觉语言模型。

准确率与校准误差#

HLE 会为每个模型报告两个数值：

• 准确率：答对问题的比例。在原始论文中，GPT-4o 得分为 2.7%，Claude 3.5 Sonnet 为 4.1%，Gemini 1.5 Pro 为 4.6%；OpenAI 的 o1 推理模型得分为 8.0%，而 o3-mini 在纯文本题目上达到 13.4%。
• 校准误差：每次回答时，模型都会给出 0% 到 100% 的置信度；模型自报置信度与实际准确率之间的均方根差值，可衡量模型对自身认知的把握程度。基准发布初期的模型校准误差在 73% 到 89% 之间，说明它们会自信地回答自己答错的问题，这是一种可量化的幻觉。

随着推理模型的出现，准确率迅速提高，但校准能力却有所滞后。在官方排行榜上，Gemini 3 Pro 的准确率达到 38.3%，校准误差为 57.2%；GPT-5 的准确率为 25.3%，校准误差为 50.0%。校准误差是不确定性量化在 LLM 中的直接应用；置信度与正确性之间的相同差距，也是语义熵等检测方法的依据。

修订版本：HLE-Rolling 和 HLE-Diamond#

AI 研究实验室 FutureHouse 于 2025 年 7 月发布的一项调查估计，纯文本化学和生物学答案中近 30% 与已发表文献相矛盾，其他审核人员也指出了一些措辞模糊的问题。组织者部分复现了这些发现，并于 2025 年 10 月启动持续更新的分支 HLE-Rolling。经过一年的清理，他们于 2026 年 9 月 22 日发布了 HLE-Diamond：一个精炼后的 1,000 道题子集，分为 500 道推理题和 500 道知识题，设计为闭卷作答。工具访问会显著改变结果，因此排行榜和代理评估会随每项分数一同报告工具设置。发布时，GPT-6 Astra 在 HLE-Diamond 上领先：不使用工具时得分为 59.9%，使用网页搜索和代码执行时得分为 82.9%。