Test Data

テストデータとは、機械学習 (ML)モデルの最終的なパフォーマンスを評価するために厳密に確保された、より大きなデータセットの特定のサブセットです。学習の初期段階で使用されるデータとは異なり、テストデータは開発サイクルの最後になるまでアルゴリズムによって完全に「未確認」の状態に保たれます。この分離は、コンピュータビジョン (CV)モデルやその他のAIシステムが、新しい現実世界の入力に対してどの程度汎化できるかを偏りなく評価するために非常に重要です。本番環境をシミュレーションすることで、テストデータは、モデルが学習例を単に記憶するのではなく、基礎となるパターンを真に学習したかどうかを開発者が検証するのに役立ちます。

Link to this sectionMLライフサイクルにおけるテストデータの役割#

標準的な機械学習ワークフローにおいて、データは通常3つの異なるカテゴリに分割され、それぞれが独自の目的を果たします。これらの分割の違いを理解することは、堅牢な人工知能 (AI)システムを構築するために不可欠です。

• 学習データ: これはデータセットの中で最大の割合を占め、モデルの学習に使用されます。アルゴリズムは、この特定の例セットでのエラーを最小限に抑えるように、内部パラメータ（重み）を反復的に調整します。
• 検証データ: このサブセットは、学習プロセス中にハイパーパラメータを調整し、アーキテクチャの決定を導くために頻繁に使用されます。これは、モデルが学習データに対してはうまく機能するものの新しいデータに対して失敗する、過学習を防ぐための中間的なチェックとして機能します。
• テストデータ: これはモデルにとっての最終的な「試験」です。重みの更新や設定の調整に使用されることはありません。テストデータでの評価により、精度、再現率、平均精度 (mAP)などの決定的なパフォーマンス指標が得られ、関係者はそれを使用してモデルがモデルデプロイの準備ができているかどうかを判断します。

これらの分割の適切な管理は、Ultralytics Platformのようなツールによって促進されることが多く、アップロードされたデータセットをこれらの重要なカテゴリに自動的に整理することで、厳密なモデル評価を確実に行うことができます。

Link to this section偏りのない評価の重要性#

テストデータの主な価値は、データセットのバイアスや分散の問題を検出できる点にあります。モデルが学習データで99%の精度を達成しているにもかかわらず、テストデータでは60%しか達成できない場合、それは高い分散（過学習）を示しています。逆に、両方でパフォーマンスが低い場合は、未学習（アンダーフィッティング）を示唆しています。

Using a designated test set adheres to scientific principles of reproducibility and objectivity. Without a pristine test set, developers risk "teaching to the test," effectively leaking information from the evaluation phase back into the training phase—a phenomenon known as data leakage. This results in overly optimistic performance estimates that crumble when the model faces real-world data.

Link to this section実社会での応用#

テストデータは、システムが稼働する前に安全性と信頼性を確保するために、AIを採用しているすべての業界で不可欠です。

• 自動運転: 自動運転車の開発において、学習データは晴天時に走行した数百万マイルの高速道路のデータで構成されるかもしれません。しかし、テストデータには、車が学習中に明示的に「見た」ことのない、大雪、突然の障害物、混乱を招く道路標識などの、まれで困難なシナリオを含める必要があります。これにより、物体検出システムが予測不可能な環境で安全に反応できることが保証されます。
• 医療診断: 医療画像における腫瘍検出のためのモデルを構築する際、学習セットは特定の病院のデータベースから取得される可能性があります。モデルが堅牢であり、一般的な使用に対して安全であることを検証するために、テストデータは理想的には異なる病院から取得され、異なる機器で撮影され、多様な患者層を代表するスキャンで構成されるべきです。この外部検証により、AIが特定の機器タイプや集団に対してバイアスを持っていないことが確認されます。

Link to this sectionコードによるパフォーマンスの評価#

ultralyticsパッケージを使用すると、保留データセットに対するモデルのパフォーマンスを簡単に評価できます。valモードは通常、学習中の検証に使用されますが、データセットのYAML設定で定義された特定のテスト分割で実行するように設定することも可能です。

Here is how to evaluate a pre-trained YOLO26 model to obtain metrics like mAP50-95:

from ultralytics import YOLO

# Load a pre-trained YOLO26 model
model = YOLO("yolo26n.pt")

# Evaluate the model's performance on the validation set
# (Note: In a strict testing workflow, you would point 'data'
# to a YAML that defines a specific 'test' split and use split='test')
metrics = model.val(data="coco8.yaml")

# Print a specific metric, e.g., mAP at 50-95% IoU
print(f"Mean Average Precision (mAP50-95): {metrics.box.map}")

このプロセスにより包括的な指標が生成され、開発者はYOLO26とYOLO11のような異なるアーキテクチャを客観的に比較し、選択したソリューションがプロジェクトの定義された目標を満たしていることを確認できます。厳密なテストは、高品質なAI安全性基準が満たされていることを保証するための最終的なゲートキーピングステップです。