テストデータ

機械学習では、テストデータは、完全にトレーニングおよび調整された後、モデルの最終評価に使用される、データセットの個別の独立した部分です。このデータセットは、モデルの「期末試験」として機能し、新しい、見えないデータに対するパフォーマンスの偏りのない評価を提供します。コア原則は、モデルが開発中にテストデータから学習したり、影響を受けたりしてはならないということです。この厳格な分離により、精度や平均適合率（mAP）など、テストセットで計算されたパフォーマンスメトリックが、実際のシナリオに一般化するモデルの能力の真の反映であることが保証されます。厳格なモデルテストは、モデルのデプロイ前の重要なステップです。

MLライフサイクルにおけるテストデータの役割

典型的な機械学習（ML）プロジェクトでは、データは異なる目的に合わせて慎重に分割されます。これらの分割間の区別を理解することは基本です。

• トレーニングデータ: これは、モデルを教えるために使用されるデータの最大のサブセットです。モデルは、トレーニングセット内の例に基づいて、内部の重みを調整することにより、パターン、特徴、および関係を繰り返し学習します。効果的なモデルの作成は、高品質のトレーニングデータと、このモデルトレーニングのヒントガイドにあるようなベストプラクティスに従うことに依存します。
• 検証データ: これは、トレーニングプロセス中に使用される別のデータセットです。その目的は、モデルのパフォーマンスに関するフィードバックを見えないデータに対して提供することであり、これはハイパーパラメータの調整（例：学習率の調整）と過学習の防止に役立ちます。それは学習戦略を導くのに役立つ練習テストのようなものです。評価は、専用の検証モードを使用して実行されることがよくあります。
• テストデータ: このデータセットは、すべてのトレーニングと検証が完了するまで完全に隔離されます。モデルのパフォーマンスに関する最終的な偏りのないレポートを提供するために一度だけ使用されます。テストデータを使用してモデルにさらに調整を加えると、結果が無効になります。これは、「データリーク」または「テストへのティーチング」と呼ばれる間違いです。この最終評価は、Ultralytics YOLOモデルなどのモデルがデプロイ後にどのように機能するかを理解するために不可欠です。Ultralytics HUBのようなツールは、プロジェクトのライフサイクル全体でこれらのデータセットを管理するのに役立ちます。

ベンチマークデータセットはテストセットとして機能しますが、その主な役割は、ImageNet Large Scale Visual Recognition Challenge（ILSVRC）のような学術的な課題でよく使用される、さまざまなモデルを比較するための公開標準として機能することです。この例は、モデル比較ページで確認できます。

実際のアプリケーション

1. 自動車におけるAI: 開発者は、トレーニングと検証のために何千時間もの運転映像を使用して、自動運転車用の物体検出モデルを作成します。このモデルをフリートに展開する前に、テストデータセットに対して評価されます。このテストセットには、夜間の大雨の中での運転、吹雪の中のナビゲート、他の物体によって部分的に隠された歩行者の検出など、以前には見られなかった困難なシナリオが含まれます。このテストセットでのモデルのパフォーマンスは、多くの場合、nuScenesのようなベンチマークからのデータを使用して、自動車におけるAIアプリケーションに必要な厳格な安全性と信頼性の基準を満たしているかどうかを判断します。
2. 医療画像解析: コンピュータビジョン（CV）モデルは、ある病院から提供された胸部X線画像から肺炎の兆候を検出するように学習されます。臨床的に有用であることを保証するため、モデルは別の病院システムの画像データセットでテストする必要があります。このテストデータには、異なる機器で撮影され、多様な患者集団から得られ、異なる放射線科医によって解釈された画像が含まれます。この外部テストセットでモデルの性能を評価することは、FDAなどの規制当局からの承認を得て、医療におけるAIの有用性を確認するために不可欠です。このプロセスは、モデルがデータセットの偏りを回避し、新しい臨床環境で確実に機能するのに役立ちます。