Humanity's Last Exam (HLE)

Humanity's Last Exam（HLE）は、人類の知識の最前線におけるAIシステムの能力を測るために作られた、100を超える学術分野にわたる専門家作成の2,500問からなるベンチマークです。Center for AI SafetyとScale AIが2025年1月に公開し、2025年4月に一般公開用の問題セットを確定し、2026年1月にNatureで発表しました。その名称は、以前のテストでは最高性能の大規模言語モデル（LLM）を区別できなくなった後も、有用な情報を提供し続けるほど難しい、記述式の学術試験を目指すことを表しています。

この問題はベンチマーク飽和です。2024年までに、広く利用される知識テストMMLUでフロンティアモデルのスコアが90%を超え、さらなる向上を読み取るのが難しくなりました。HLEは、同じモデルのスコアが1桁台になるよう設計され、公開時には実際にそうなりました。

問題の収集方法#

50か国、500を超える機関に所属する教授、研究者、大学院修了者を中心に、約1,000人の各分野の専門家が問題を作成しました。各候補問題を複数のフロンティアLLMで事前にテストし、モデルが誤答した場合、または選択式問題でランダム推測より成績が悪かった場合にのみ採用しました。こうした試行が7万件を超え、約13,000問が人間によるレビューに進みました。第1段階では、大学院の学位を持つレビュアーが各問題を1～3回レビューし、執筆者が記述式で曖昧さのない問題に修正できるようにしました。第2段階では、主催者とレビュアーが最良の問題を最終セットに採用しました。このフィルターは、Webにアクセスできる熟練した非専門家の大半が解けなかった科学問題だけを残すGPQAのDiamondセットの手法に似ています。賞金総額50万ドルのうち、上位50問にはそれぞれ5,000ドル、続く500問にはそれぞれ500ドルが支払われました。

問題の41%は数学で、生物学と医学が11%、コンピューターサイエンスとAIが10%、物理学と人文科学がそれぞれ9%、化学が7%、工学が4%を占めます。公開された例題の1つでは、ハチドリだけに見られる種子骨によって支えられる、対になった腱がいくつあるかを問います。専門家なら分かる一方で、検索エンジンではすぐに見つからない種類の細かな知識です。問題の約24%は選択式です。残る76%では、厳密な短答が必要です。公式Leaderboardでは判定モデルのo3-miniが参照解答と比較し、小数の代わりに分数を使うなど、同等の表記を許容します。非公開の保留セットは、公開問題への過学習を検出します。これは、ベンチマークのテキストがトレーニングデータに漏れるとリスクが高まる、データリーケージの一種です。LiveCodeBenchは、問題に日付を付けることでこの問題に対処します。

問題の約14%はマルチモーダルで、文章と図、グラフ、または撮影された碑文を組み合わせており、HLEは専門家レベルの視覚質問応答テストになっています。これらの問題は、ビジョン言語モデル（VLM）の推論を評価します。これは、Ultralytics Platform AgentsのLLMブロックが、YOLO26検出器による画像のスクリーニング後に呼び出すモデルです。画像と検出結果を、ユーザーが選択したビジョン言語モデルに送信します。

精度と較正誤差#

HLEでは、各モデルについて2つの数値を報告します。

• 精度：正しく解答された問題の割合です。元の論文では、GPT-4oが2.7%、Claude 3.5 Sonnetが4.1%、Gemini 1.5 Proが4.6%、OpenAIの推論モデルo1が8.0%を記録し、o3-miniはテキストのみの問題で13.4%に達しました。
• 較正誤差：各モデルは回答ごとに0%から100%の信頼度を示します。示された信頼度と実際の精度の差の二乗平均平方根によって、モデルが自分の知識をどれほど正確に把握しているかを測定します。公開時期のモデルの較正誤差は73%から89%で、誤答した問題にも自信を持って回答していたことを意味します。これは測定可能な幻覚の一形態です。

推論モデルの精度は急速に上昇しましたが、較正は後れを取りました。公式Leaderboardでは、Gemini 3 Proが精度38.3%、較正誤差57.2%を記録し、GPT-5は精度25.3%、較正誤差50.0%でした。較正誤差は、LLMへの不確実性定量化の直接的な応用です。信頼度と正解率の同じ差が、セマンティックエントロピーなどの検出手法の基礎にもなっています。

改訂版：HLE-RollingとHLE-Diamond#

AI研究機関FutureHouseが2025年7月に報告した調査では、テキストのみの化学・生物学の回答の約30%が公開文献と矛盾すると推定され、他のレビュアーは曖昧な表現を指摘しました。主催者は調査結果の一部を再現し、2025年10月に継続的に更新される派生版HLE-Rollingを公開しました。1年間の整理を経て、2026年9月22日にHLE-Diamondを公開しました。これは推論問題500問と知識問題500問に分けられた、改良版の1,000問のサブセットで、外部資料を参照しない条件で解答するよう設計されています。ツールへのアクセスによって結果が大きく変わるため、Leaderboardやエージェント評価では各スコアとともにツール設定を報告します。公開時、GPT-6 Astraは、ツールなしで59.9%、Web検索とコード実行ありで82.9%を記録し、HLE-Diamondをリードしました。