Benchmark Dataset
ベンチマークデータセットでは、データ、分割、指標、ルールを固定し、モデルを同じ条件で比較できるようにします。事例、評価プロトコル、注意点を紹介します。
ベンチマークデータセットとは、あらかじめデータ分割が定義された固定の公開データセットと公式評価指標を備え、研究コミュニティが同じタスクを同じ条件下でモデルを比較するために使用するものです。結果は指標ごとに1つの数値で報告され、たとえば、top-1精度をImageNetで測定した値や、COCO val2017でのmAP50-95などが挙げられますが、これらの数値を論文間で比較できるのは、全員が同じ画像、ラベル、スコア計算コード、ルールを使用しているからです。ベンチマークは機械学習 (ML)の進展を追跡し、どの手法が採用されるかを決定し、論文やモデルカードに掲載される主要な数値を提供します。
ベンチマークで定義される内容#
ベンチマークでは、2つのスコアが比較できなくなる原因となり得るすべての要素を固定します。
- データと分割: 誰もより簡単なサブセットで評価できないよう、学習、検証、テストに使う画像を正確に定めます。
- タスクとラベルセット: 1,000クラスのうち1つ、または80種類の物体カテゴリそれぞれに対するバウンディングボックスとクラスなど、モデルが出力すべき内容を定めます。
- 指標とスコア計算コード: 0.50から0.95までの10個のIoU閾値で適合率を平均するCOCO評価など、公式の実装を定めます。
- ルール: 追加の学習データ、テスト時拡張、モデルアンサンブルが許可されるかなど、有効なエントリーの条件を定めます。
多くのベンチマークでは、チームがテストセットに合わせて調整できないよう、テストラベルを非公開にしています。参加者は公開された分割データで学習し、テスト画像の予測をアップロードします。評価サーバーが非公開ラベルと照合してスコアを算出した後、結果がリーダーボードに表示されます。ImageNetのようにテストラベルが公開されない場合、論文では代わりに公開された検証用分割データの結果を報告します。
代表的なベンチマークデータセット#
- 画像分類: top-1精度とtop-5精度で評価するImageNet-1kと、小規模な実験向けのCIFAR-10およびCIFAR-100です。
- 物体検出とセグメンテーション: 80カテゴリを持ち、主な指標にmean average precision (mAP)を使うCOCO、20カテゴリのPascal VOC、そしてロングテール認識向けに1,203カテゴリを持つLVISがあります。
- 自動運転: 実際の交通状況を撮影したカメラ映像とLiDAR記録を含むKITTIとWaymo Open Datasetです。
- 言語と推論: GPQAの大学院レベルの科学問題、Humanity's Last Examの幅広い分野にわたる専門家向け問題、LiveCodeBenchのコーディング問題です。
Ultralyticsは、640ピクセルの5,000枚のCOCO val2017分割におけるYOLO26の検出精度を、単一モデル・単一スケールのmAP50-95として公開しています。数値はYOLO26nの40.9からYOLO26xの57.5までで、yolo detect val data=coco.yamlでこの評価を再現できます。Ultralytics VLM Leaderboardは同じ方法を視覚言語モデルに適用し、医用画像、航空写真、小売店の棚などの分野にわたる実世界の検出データセットで、各モデルをmAP50で採点します。
ベンチマークの限界#
- ベンチマークへの過学習: 1つのテストセットで何年もモデル選択を続けると、分野全体がそのセット固有の癖に合わせてしまう可能性があります。ImageNetV2では、元の手順で新しいテストセットを収集してこの問題を検証しました。精度は11~14%低下しましたが、モデルの順位は維持されました。著者らは、低下の原因はテストセットの再利用ではなく、画像がわずかに難しくなったことだと結論付けました。
- ラベルの誤り: 広く使われているテストセット10種を調査した研究では、ラベルの少なくとも3.3%に誤りがあると推定されました。ラベルを修正したImageNetでは、当初誤ラベルだったテスト画像の割合がわずか6%増えるだけで、ResNet-18がResNet-50を上回ります。
- 飽和: 最先端モデルのスコアがラベルノイズによる上限に近づくと、スコアの差ではモデルを区別できなくなり、より難易度の高い後継ベンチマークが登場します。大規模言語モデルがMMLUで90%の精度を達成した後、Humanity's Last Examでは専門家向けの問題が2,500問集められました。
- 汚染: Web規模の学習データにテスト項目が混入すると、大規模言語モデルのスコアが実力以上に高くなります。LiveCodeBenchでは、公開日とともに新しいコンテスト問題を継続的に追加し、各モデルの学習データの締め切り以降に公開された問題で評価することで、この問題に対処します。
- デプロイ環境との不一致: ベンチマークが測定するのは、ある1つのデータ分布です。COCOで1位のモデルでも、工場や病院では、小さな物体、珍しい物体、特定領域に固有の物体を見落とすことがあります。そのため、チームは自らのユースケースに基づくゴールデンデータセットも保持します。
ベンチマークデータセットと関連用語#
- テストデータ: 完成したモデルを一度評価するために、学習から除外しておくデータです。ベンチマークのテスト分割は分野全体で共有するテストデータですが、チーム独自のテストセットではデプロイ先のデータに対する性能を測定します。
- 検証データ: 開発中にハイパーパラメーターの調整やチェックポイントの選択に使用するデータです。ベンチマークでは、この用途のために公式の検証用分割データが用意されていることがよくあります。
- ベンチマーク(速度): ONNX RuntimeやTensorRTなど、指定したハードウェアとランタイムでモデルのレイテンシ、スループット、メモリ使用量を測定します。通常はエクスポートのたびに精度も確認し、変換によってモデルの性能が低下していないことを確かめます。










