YOLOのライセンス
Ultralytics用語集に戻る

Benchmark Dataset

ベンチマークデータセットでは、データ、分割、指標、ルールを固定し、モデルを同じ条件で比較できるようにします。事例、評価プロトコル、注意点を紹介します。

ベンチマークデータセットとは、あらかじめデータ分割が定義された固定の公開データセットと公式評価指標を備え、研究コミュニティが同じタスクを同じ条件下でモデルを比較するために使用するものです。結果は指標ごとに1つの数値で報告され、たとえば、top-1精度をImageNetで測定した値や、COCO val2017でのmAP50-95などが挙げられますが、これらの数値を論文間で比較できるのは、全員が同じ画像、ラベル、スコア計算コード、ルールを使用しているからです。ベンチマークは機械学習 (ML)の進展を追跡し、どの手法が採用されるかを決定し、論文やモデルカードに掲載される主要な数値を提供します。

ベンチマークで定義される内容#

ベンチマークでは、2つのスコアが比較できなくなる原因となり得るすべての要素を固定します。

  • データと分割: 誰もより簡単なサブセットで評価できないよう、学習、検証、テストに使う画像を正確に定めます。
  • タスクとラベルセット: 1,000クラスのうち1つ、または80種類の物体カテゴリそれぞれに対するバウンディングボックスとクラスなど、モデルが出力すべき内容を定めます。
  • 指標とスコア計算コード: 0.50から0.95までの10個のIoU閾値で適合率を平均するCOCO評価など、公式の実装を定めます。
  • ルール: 追加の学習データ、テスト時拡張、モデルアンサンブルが許可されるかなど、有効なエントリーの条件を定めます。

多くのベンチマークでは、チームがテストセットに合わせて調整できないよう、テストラベルを非公開にしています。参加者は公開された分割データで学習し、テスト画像の予測をアップロードします。評価サーバーが非公開ラベルと照合してスコアを算出した後、結果がリーダーボードに表示されます。ImageNetのようにテストラベルが公開されない場合、論文では代わりに公開された検証用分割データの結果を報告します。

代表的なベンチマークデータセット#

Ultralyticsは、640ピクセルの5,000枚のCOCO val2017分割におけるYOLO26の検出精度を、単一モデル・単一スケールのmAP50-95として公開しています。数値はYOLO26nの40.9からYOLO26xの57.5までで、yolo detect val data=coco.yamlでこの評価を再現できます。Ultralytics VLM Leaderboardは同じ方法を視覚言語モデルに適用し、医用画像、航空写真、小売店の棚などの分野にわたる実世界の検出データセットで、各モデルをmAP50で採点します。

ベンチマークの限界#

  • ベンチマークへの過学習: 1つのテストセットで何年もモデル選択を続けると、分野全体がそのセット固有の癖に合わせてしまう可能性があります。ImageNetV2では、元の手順で新しいテストセットを収集してこの問題を検証しました。精度は11~14%低下しましたが、モデルの順位は維持されました。著者らは、低下の原因はテストセットの再利用ではなく、画像がわずかに難しくなったことだと結論付けました。
  • ラベルの誤り: 広く使われているテストセット10種を調査した研究では、ラベルの少なくとも3.3%に誤りがあると推定されました。ラベルを修正したImageNetでは、当初誤ラベルだったテスト画像の割合がわずか6%増えるだけで、ResNet-18がResNet-50を上回ります。
  • 飽和: 最先端モデルのスコアがラベルノイズによる上限に近づくと、スコアの差ではモデルを区別できなくなり、より難易度の高い後継ベンチマークが登場します。大規模言語モデルがMMLUで90%の精度を達成した後、Humanity's Last Examでは専門家向けの問題が2,500問集められました。
  • 汚染: Web規模の学習データにテスト項目が混入すると、大規模言語モデルのスコアが実力以上に高くなります。LiveCodeBenchでは、公開日とともに新しいコンテスト問題を継続的に追加し、各モデルの学習データの締め切り以降に公開された問題で評価することで、この問題に対処します。
  • デプロイ環境との不一致: ベンチマークが測定するのは、ある1つのデータ分布です。COCOで1位のモデルでも、工場や病院では、小さな物体、珍しい物体、特定領域に固有の物体を見落とすことがあります。そのため、チームは自らのユースケースに基づくゴールデンデータセットも保持します。
  • テストデータ: 完成したモデルを一度評価するために、学習から除外しておくデータです。ベンチマークのテスト分割は分野全体で共有するテストデータですが、チーム独自のテストセットではデプロイ先のデータに対する性能を測定します。
  • 検証データ: 開発中にハイパーパラメーターの調整やチェックポイントの選択に使用するデータです。ベンチマークでは、この用途のために公式の検証用分割データが用意されていることがよくあります。
  • ベンチマーク(速度): ONNX RuntimeやTensorRTなど、指定したハードウェアとランタイムでモデルのレイテンシ、スループット、メモリ使用量を測定します。通常はエクスポートのたびに精度も確認し、変換によってモデルの性能が低下していないことを確かめます。

ソリューションを見る

スポーツにおけるコンピュータービジョン

スポーツにおけるコンピュータービジョン

Ultralytics YOLOが、選手やボールの追跡、パフォーマンス分析、コーチングへの知見、アスリートのリハビリを通じて、スポーツビジョンをどのように支えるかをご紹介します。
詳しく見る
航空画像向けコンピュータービジョン

航空画像向けコンピュータービジョン

Ultralytics YOLOを使用して、ドローンや航空画像をリアルタイムの知見に変換し、農業、水産養殖、自然保護、地理空間分析に活用できます。
詳しく見る
航空宇宙分野のコンピュータービジョン

航空宇宙分野のコンピュータービジョン

Ultralytics YOLOを活用して航空宇宙分野でコンピュータビジョンを導入し、航空機検査、滑走路上のFOD検出、空港の地上業務、複合材の欠陥検出に活用できます。
詳しく見る
セキュリティ分野のコンピュータービジョン

セキュリティ分野のコンピュータービジョン

Ultralytics YOLOモデルであらゆる施設を保護しましょう。ビジョンAIは、周辺監視、脅威検知、ナンバープレート認識、職場の安全管理を支援します。
詳しく見る
ロボティクス分野のコンピュータービジョン

ロボティクス分野のコンピュータービジョン

Ultralytics YOLOモデルで、よりスマートなマシンを実現しましょう。ロボティクスにおけるビジョンAIは、自律ナビゲーション、認識、物体追跡、リアルタイム制御を支援します。
詳しく見る
物流におけるコンピュータービジョン

物流におけるコンピュータービジョン

Ultralytics YOLOモデルで物流を効率化しましょう。ビジョンAIにより、荷物検査、仕分け、車両追跡、倉庫のリアルタイム安全監視を実現します。
詳しく見る
小売業におけるコンピュータービジョン

小売業におけるコンピュータービジョン

Ultralytics YOLOモデルで小売のあり方を変革しましょう。ビジョンAIにより、在庫追跡、棚の監視、行列管理、より高度な顧客インサイトを実現します。
詳しく見る
医療分野におけるコンピュータービジョン

医療分野におけるコンピュータービジョン

Ultralytics YOLOモデルで医療ソリューションを構築しましょう。医療分野のビジョンAIは、医用画像処理の高速化、より高度な診断、患者モニタリングを実現します。
詳しく見る
製造業におけるコンピュータービジョン

製造業におけるコンピュータービジョン

Ultralytics YOLOモデルで製造を最適化しましょう。ビジョンAIは、品質管理、欠陥検出、PPE準拠、組立ラインの自動化を推進します。
詳しく見る
自動車分野におけるコンピュータービジョン

自動車分野におけるコンピュータービジョン

Ultralytics YOLOモデルで自動車分野にコンピュータービジョンを導入しましょう。ビジョンAIは、道路の安全性、運転支援、車両の自動化を向上させ、よりスマートな道路を実現します。
詳しく見る
農業におけるコンピュータービジョン

農業におけるコンピュータービジョン

Ultralytics YOLOモデルでスマート農業にビジョンAIを導入しましょう。作物のモニタリング、家畜の追跡、精密農業を支援し、より高く効率的な収量を実現します。
詳しく見る

AIの未来を一緒に築きましょう!

機械学習の未来に向けた歩みを始めましょう