GPQA
GPQAは大学院レベルの科学ベンチマークです。博士号取得者の専門家が65%、ウェブ検索を行う非専門家が34%の正答率を示します。Diamondセットとスコアの読み解き方について解説します。
GPQA(Graduate-Level Google-Proof Q&A)は、生物学、化学、物理学に関する448問の選択式ベンチマークです。専門家が解答できる一方で、熟練した非専門家はWebへの無制限アクセスがあっても解けないよう、各分野の専門家が問題を作成しました。New York University、Cohere、AnthropicのDavid Reinらは、GPQA: A Graduate-Level Google-Proof Q&A Benchmarkという論文で、大規模言語モデル(LLM)の科学的推論能力を測るため、2023年11月にGPQAを公開しました。難易度の高い198問のDiamondサブセットは、OpenAIのGPT-5からAnthropicのClaude 4モデルまで、モデル発表で最も広く報告されるスコアの1つになっています。
このベンチマークは、AI安全性とスーパーアラインメントの一分野である、スケーラブルな監督に関する研究向けにも設計されました。AIシステムが人間の監督者には検証できない質問にいずれ答えるようになるなら、その回答を検証する方法が必要です。GPQAは、専門家と非専門家の間にすでにその差が存在する質問を提供します。
問題の作成と検証方法#
著者らはUpworkを通じて、博士号を取得済みまたは取得を目指す請負業者61人を採用しました。執筆者が、正解1つともっともらしい誤答3つを含む質問を作成しました。同じ分野の2人目の専門家が解答してフィードバックを提供し、執筆者が修正した後、3人目の専門家が改訂版に解答しました。その後、他分野の博士号取得者である非専門家の検証者3人が、AIアシスタントを使わずインターネットには完全にアクセスできる状態で各質問に挑戦し、平均37分を費やしました。専門家は正解し、非専門家は不正解だった場合に執筆者へボーナスが支払われ、客観的に解答可能でありながら検索では解きにくい質問が評価されました。
論文とともに公開された有機化学の例では、メチルシクロペンタジエンとメチルイソアミルケトンを反応させてフルベン誘導体を生成し、さらにそれらをアクリル酸エチルと反応させます。最終生成物を構成する化学的に異なる異性体が何種類あるかを問う問題です。解答には、各反応段階を順に検討する必要があります。これは、Chain-of-Thoughtプロンプティングや推論モデルが対象とする多段階問題の一例です。
このプロセスによって、ベンチマークの代表的なベースラインが得られました。専門家は自分の専門分野の質問の65%に正解し、後から自分の誤りに気付いたケースを除くと74%に上昇しました。非専門家の正解率は34%にとどまり、ランダム推測で期待される25%を9ポイント上回りました。実際には、これが「Googleで解けない」という意味です。公開時、few-shot Chain-of-Thoughtプロンプティングを使った最も強力なGPT-4のベースラインは、約39%を記録しました。
Extended、Main、Diamondの各セット#
GPQAには、順により厳しい条件でフィルタリングされた、入れ子構造のサブセットが3つあります。
- Extended(546問):フィルタリング前に公開されたすべての質問です。著者らはさらに18問を未公開セットとして保留しました。
- Main(448問):2人の専門家検証者のうち少なくとも1人が正解に同意し、非専門家3人のうち正解者が2人以下だった質問です。
- Diamond(198問):専門家2人が正解に同意し、非専門家の正解者が1人以下だった質問です。解答を間違えた専門家でも、後から自分の誤りを明確に特定した場合は、正解に同意したものとして数えます。
Diamondは、最も明確な解答があり、専門家と非専門家の差が最も大きい質問を維持するため、モデル比較の標準的な選択肢です。
GPQAスコアの読み方#
2024年9月、OpenAIは推論モデルo1がDiamondで博士号取得者の専門家を上回る精度を達成したと報告しました。2026年までに、フロンティアモデルの最高報告スコアは90%を超えました。この水準では、小さな差から得られる情報は限られます。Diamondの各問題は約0.5パーセントポイントに相当し、198問で精度が90%の場合の標準誤差は約2.1ポイントです。そのため、95%信頼区間は約±4ポイントにわたり、数ポイント差のモデル同士は統計的に区別できません。
プロトコルの詳細によってもスコアは変わります。ゼロショットかfew-shotプロンプティングか、Chain-of-Thoughtを許可するか、平均化するサンプル数、解答選択肢をシャッフルするか、ツールを使えるかによって結果が変わるため、公平な比較では条件を固定します。Humanity's Last Examでは、ツール設定を分けて報告しています。公開ベンチマークには、データ汚染という別のリスクもあります。GPQAのデータには、トレーニングパイプラインで除外できるカナリア文字列が含まれています。また、著者らは質問をプレーンテキストでオンラインに投稿しないよう求めています。例題がWeb上のテキストに漏れると、高スコアが記憶を反映する可能性があるためです。これはデータリーケージの一種であり、LiveCodeBenchは問題に日付を付けることでこれを回避します。
コンピュータービジョンのベンチマークでも、同じ報告規律が求められます。Ultralyticsの物体検出ドキュメントでは、5,000枚の画像からなるCOCO val2017分割におけるYOLO26の平均適合率 (mAP)を、各数値を再現するための正確な検証コマンドと並べて掲載し、エンドツーエンドの列を再現するにはnms=Falseを追加します。Ultralytics VLM Leaderboardでは、同じ検証コードを使って視覚言語モデルを評価し、画像のサンプリング方法と各ボックスのスコア付け方法を説明しています。










