YOLOのライセンス
Ultralytics用語集に戻る

GPQA

GPQAは大学院レベルの科学ベンチマークです。博士号取得者の専門家が65%、ウェブ検索を行う非専門家が34%の正答率を示します。Diamondセットとスコアの読み解き方について解説します。

GPQA(Graduate-Level Google-Proof Q&A)は、生物学、化学、物理学に関する448問の選択式ベンチマークです。専門家が解答できる一方で、熟練した非専門家はWebへの無制限アクセスがあっても解けないよう、各分野の専門家が問題を作成しました。New York University、Cohere、AnthropicのDavid Reinらは、GPQA: A Graduate-Level Google-Proof Q&A Benchmarkという論文で、大規模言語モデル(LLM)の科学的推論能力を測るため、2023年11月にGPQAを公開しました。難易度の高い198問のDiamondサブセットは、OpenAIのGPT-5からAnthropicのClaude 4モデルまで、モデル発表で最も広く報告されるスコアの1つになっています。

このベンチマークは、AI安全性とスーパーアラインメントの一分野である、スケーラブルな監督に関する研究向けにも設計されました。AIシステムが人間の監督者には検証できない質問にいずれ答えるようになるなら、その回答を検証する方法が必要です。GPQAは、専門家と非専門家の間にすでにその差が存在する質問を提供します。

問題の作成と検証方法#

著者らはUpworkを通じて、博士号を取得済みまたは取得を目指す請負業者61人を採用しました。執筆者が、正解1つともっともらしい誤答3つを含む質問を作成しました。同じ分野の2人目の専門家が解答してフィードバックを提供し、執筆者が修正した後、3人目の専門家が改訂版に解答しました。その後、他分野の博士号取得者である非専門家の検証者3人が、AIアシスタントを使わずインターネットには完全にアクセスできる状態で各質問に挑戦し、平均37分を費やしました。専門家は正解し、非専門家は不正解だった場合に執筆者へボーナスが支払われ、客観的に解答可能でありながら検索では解きにくい質問が評価されました。

論文とともに公開された有機化学の例では、メチルシクロペンタジエンとメチルイソアミルケトンを反応させてフルベン誘導体を生成し、さらにそれらをアクリル酸エチルと反応させます。最終生成物を構成する化学的に異なる異性体が何種類あるかを問う問題です。解答には、各反応段階を順に検討する必要があります。これは、Chain-of-Thoughtプロンプティングや推論モデルが対象とする多段階問題の一例です。

このプロセスによって、ベンチマークの代表的なベースラインが得られました。専門家は自分の専門分野の質問の65%に正解し、後から自分の誤りに気付いたケースを除くと74%に上昇しました。非専門家の正解率は34%にとどまり、ランダム推測で期待される25%を9ポイント上回りました。実際には、これが「Googleで解けない」という意味です。公開時、few-shot Chain-of-Thoughtプロンプティングを使った最も強力なGPT-4のベースラインは、約39%を記録しました。

Extended、Main、Diamondの各セット#

GPQAには、順により厳しい条件でフィルタリングされた、入れ子構造のサブセットが3つあります。

  • Extended(546問):フィルタリング前に公開されたすべての質問です。著者らはさらに18問を未公開セットとして保留しました。
  • Main(448問):2人の専門家検証者のうち少なくとも1人が正解に同意し、非専門家3人のうち正解者が2人以下だった質問です。
  • Diamond(198問):専門家2人が正解に同意し、非専門家の正解者が1人以下だった質問です。解答を間違えた専門家でも、後から自分の誤りを明確に特定した場合は、正解に同意したものとして数えます。

Diamondは、最も明確な解答があり、専門家と非専門家の差が最も大きい質問を維持するため、モデル比較の標準的な選択肢です。

GPQAスコアの読み方#

2024年9月、OpenAIは推論モデルo1がDiamondで博士号取得者の専門家を上回る精度を達成したと報告しました。2026年までに、フロンティアモデルの最高報告スコアは90%を超えました。この水準では、小さな差から得られる情報は限られます。Diamondの各問題は約0.5パーセントポイントに相当し、198問で精度が90%の場合の標準誤差は約2.1ポイントです。そのため、95%信頼区間は約±4ポイントにわたり、数ポイント差のモデル同士は統計的に区別できません。

プロトコルの詳細によってもスコアは変わります。ゼロショットかfew-shotプロンプティングか、Chain-of-Thoughtを許可するか、平均化するサンプル数、解答選択肢をシャッフルするか、ツールを使えるかによって結果が変わるため、公平な比較では条件を固定します。Humanity's Last Examでは、ツール設定を分けて報告しています。公開ベンチマークには、データ汚染という別のリスクもあります。GPQAのデータには、トレーニングパイプラインで除外できるカナリア文字列が含まれています。また、著者らは質問をプレーンテキストでオンラインに投稿しないよう求めています。例題がWeb上のテキストに漏れると、高スコアが記憶を反映する可能性があるためです。これはデータリーケージの一種であり、LiveCodeBenchは問題に日付を付けることでこれを回避します。

コンピュータービジョンのベンチマークでも、同じ報告規律が求められます。Ultralyticsの物体検出ドキュメントでは、5,000枚の画像からなるCOCO val2017分割におけるYOLO26の平均適合率 (mAP)を、各数値を再現するための正確な検証コマンドと並べて掲載し、エンドツーエンドの列を再現するにはnms=Falseを追加します。Ultralytics VLM Leaderboardでは、同じ検証コードを使って視覚言語モデルを評価し、画像のサンプリング方法と各ボックスのスコア付け方法を説明しています。

ソリューションを見る

スポーツにおけるコンピュータービジョン

スポーツにおけるコンピュータービジョン

Ultralytics YOLOが、選手やボールの追跡、パフォーマンス分析、コーチングへの知見、アスリートのリハビリを通じて、スポーツビジョンをどのように支えるかをご紹介します。
詳しく見る
航空画像向けコンピュータービジョン

航空画像向けコンピュータービジョン

Ultralytics YOLOを使用して、ドローンや航空画像をリアルタイムの知見に変換し、農業、水産養殖、自然保護、地理空間分析に活用できます。
詳しく見る
航空宇宙分野のコンピュータービジョン

航空宇宙分野のコンピュータービジョン

Ultralytics YOLOを活用して航空宇宙分野でコンピュータビジョンを導入し、航空機検査、滑走路上のFOD検出、空港の地上業務、複合材の欠陥検出に活用できます。
詳しく見る
セキュリティ分野のコンピュータービジョン

セキュリティ分野のコンピュータービジョン

Ultralytics YOLOモデルであらゆる施設を保護しましょう。ビジョンAIは、周辺監視、脅威検知、ナンバープレート認識、職場の安全管理を支援します。
詳しく見る
ロボティクス分野のコンピュータービジョン

ロボティクス分野のコンピュータービジョン

Ultralytics YOLOモデルで、よりスマートなマシンを実現しましょう。ロボティクスにおけるビジョンAIは、自律ナビゲーション、認識、物体追跡、リアルタイム制御を支援します。
詳しく見る
物流におけるコンピュータービジョン

物流におけるコンピュータービジョン

Ultralytics YOLOモデルで物流を効率化しましょう。ビジョンAIにより、荷物検査、仕分け、車両追跡、倉庫のリアルタイム安全監視を実現します。
詳しく見る
小売業におけるコンピュータービジョン

小売業におけるコンピュータービジョン

Ultralytics YOLOモデルで小売のあり方を変革しましょう。ビジョンAIにより、在庫追跡、棚の監視、行列管理、より高度な顧客インサイトを実現します。
詳しく見る
医療分野におけるコンピュータービジョン

医療分野におけるコンピュータービジョン

Ultralytics YOLOモデルで医療ソリューションを構築しましょう。医療分野のビジョンAIは、医用画像処理の高速化、より高度な診断、患者モニタリングを実現します。
詳しく見る
製造業におけるコンピュータービジョン

製造業におけるコンピュータービジョン

Ultralytics YOLOモデルで製造を最適化しましょう。ビジョンAIは、品質管理、欠陥検出、PPE準拠、組立ラインの自動化を推進します。
詳しく見る
自動車分野におけるコンピュータービジョン

自動車分野におけるコンピュータービジョン

Ultralytics YOLOモデルで自動車分野にコンピュータービジョンを導入しましょう。ビジョンAIは、道路の安全性、運転支援、車両の自動化を向上させ、よりスマートな道路を実現します。
詳しく見る
農業におけるコンピュータービジョン

農業におけるコンピュータービジョン

Ultralytics YOLOモデルでスマート農業にビジョンAIを導入しましょう。作物のモニタリング、家畜の追跡、精密農業を支援し、より高く効率的な収量を実現します。
詳しく見る

AIの未来を一緒に築きましょう!

機械学習の未来に向けた歩みを始めましょう