高品質なコンピュータビジョンデータセットの重要性

2019年の時点で、エンタープライズにおけるartificial intelligence (AI) adoptionは過去4年間で270%増加しました。この成長により、コンピュータビジョン（CV）アプリケーション、つまり機械が周囲の現実世界からの視覚データを解釈して分析できるようにするAIシステムの急速な統合が促進されました。これらのアプリケーションは、medical imagingにおける疾患の検出や自動運転車の実現から、交通におけるトラフィックフローの最適化、セキュリティシステムにおける監視の強化まで、幅広いテクノロジーを支えています。

Ultralytics YOLO11のような最先端のcomputer vision modelsが持つ驚異的な精度と比類のないパフォーマンスが、この指数関数的な成長を主に牽引してきました。しかし、これらのモデルのパフォーマンスは、モデルのトレーニング、検証、テストに使用されるデータの品質と量に大きく依存します。

十分な高品質データがなければ、コンピュータビジョンモデルを業界基準に適合させるように効果的にトレーニングしたり微調整したりすることは困難です。本記事では、コンピュータビジョンモデルの構築においてデータが果たす重要な役割と、コンピュータビジョンにおいて高品質なデータがなぜそれほど重要なのかを探ります。また、カスタムコンピュータビジョンモデルのトレーニング中に高品質なデータセットを作成するためのヒントもいくつかご紹介します。それでは始めましょう！

コンピュータビジョンモデル構築におけるデータの役割#

コンピュータビジョンモデルは、画像や動画の大きなdatasetsでトレーニングしてパターンを認識し、正確な予測を行うことができます。例えば、object detection modelは、何百、あるいは何千ものアノテーション付き画像や動画でトレーニングを行うことで、オブジェクトを正確に識別することができます。

このトレーニングデータの品質と量がmodel's performanceに影響を与えます。

コンピュータビジョンモデルは、学習したデータからのみ学習できるため、高品質なデータと多様な例を提供することが成功のために極めて重要です。十分かつ多様なデータセットがなければ、これらのモデルは実世界のシナリオを正確に分析できず、偏った結果や不正確な結果を生み出す可能性があります。

これが、model trainingにおけるデータの役割を明確に理解することが重要である理由です。高品質なデータの特性について見ていく前に、コンピュータビジョンモデルのトレーニング中に遭遇する可能性のあるデータセットの種類を理解しておきましょう。

コンピュータビジョンデータセットの種類#

computer visionでは、トレーニングプロセスで使用されるデータは3つのタイプに分類され、それぞれが特定の目的に役立ちます。各タイプの概要は次のとおりです。

• Training Data: これは、ゼロからモデルをトレーニングするために使用される主要なデータセットです。事前に定義されたlabelsが付いた画像と動画で構成されており、モデルがパターンを学習してオブジェクトを認識できるようにします。
• Validation Data: これは、トレーニング中のモデルのパフォーマンスをチェックするために使用されるデータのセットです。モデルが新しく未知のデータに対して正しく機能することを確実にするのに役立ちます。
• Testing Data: トレーニング済みモデルの最終的なパフォーマンスを評価するために使用される独立したデータセットです。モデルが完全に新しく未知のデータに対してどの程度predictionsを行えるかをチェックします。

Fig 1. コンピュータビジョンにおけるデータの分類方法。

高品質なコンピュータビジョンデータセットの5つの特徴#

データセットの種類に関係なく、成功するコンピュータビジョンモデルを構築するには高品質なデータが不可欠です。データセットを高品質にするための重要な特性をいくつか挙げます。

• Accuracy: 理想的には、データは現実世界の状況を正確に反映し、正しいラベルを含んでいる必要があります。例えば、vision AI in healthcareの場合、モデルが適切に学習できるように、X線やスキャンの画像を正確にアノテーションする必要があります。
• 多様性：優れたデータセットには、モデルがさまざまな状況でうまく機能するように、多様な例が含まれています。例えば、モデルが車を検出することを学習している場合、データセットには、さまざまな環境（昼、夜、雨など）における異なる形状、サイズ、色の車が含まれている必要があります。
• Consistency: 高品質なデータセットは、統一されたフォーマットと品質基準に従います。例えば、モデルが一貫した情報から学習できるように、画像は同様の解像度を持ち（一部がぼやけていて他が鮮明であるということはなく）、サイズ変更や色調整などの同じpreprocessing stepsを経る必要があります。
• Timeliness: 定期的に更新されるデータセットは、現実世界の変化についていくことができます。あらゆる種類の車両を検出するtraining a modelを行っているとします。電動スクーターなどの新しい車両が登場した場合は、モデルの正確性と最新性を維持するためにそれらをデータセットに追加する必要があります。
• Privacy: データセットに個人の写真などの機密情報が含まれている場合、プライバシー規則に従う必要があります。anonymization（特定可能な詳細の削除）やデータマスキング（機密部分の非表示）などの手法により、data securelyに使用できるようにしながらプライバシーを保護することができます。

低品質データによって引き起こされる課題#

高品質なデータの特性を理解することは重要ですが、低品質なデータがコンピュータビジョンモデルにどのような影響を与えるかを考慮することも同じくらい重要です。

過学習（オーバーフィッティング）や未学習（アンダーフィッティング）などの問題は、モデルのパフォーマンスに深刻な影響を与える可能性があります。Overfittingは、モデルがトレーニングデータに対しては良好なパフォーマンスを発揮する一方で、データセットに多様性が欠けているために、新しく未知のデータに対して苦戦する場合に発生します。一方、Underfittingは、モデルが意味のあるパターンを学習するために、データセットが十分な例や品質を提供しない場合に発生します。これらの問題を回避するには、多様で偏りのない高品質なデータセットを維持し、トレーニングと現実世界のアプリケーションの両方で信頼性の高いパフォーマンスを確保することが不可欠です。

Fig 2. 未学習と過学習の比較。

低品質なデータはまた、モデルが生データから意味のあるパターンを抽出し学習することを困難にする可能性があります。このプロセスはfeature extractionとして知られています。データセットが不完全である場合、関連性がない場合、または多様性に欠けている場合、モデルは効果的に機能するのに苦労する可能性があります。

場合によっては、低品質なデータはデータを単純化した結果であることがあります。データの単純化は、ストレージ容量の節約や処理コストの削減に役立ちますが、単純化しすぎると、モデルが正常に機能するために必要な重要な詳細が失われる可能性があります。これが、収集からdeploymentに至るまで、computer vision process全体を通じて高品質なデータを維持することが非常に重要である理由です。経験則として、モデルの信頼性の高い予測を保証するために、データセットは多様性と正確性を維持しながら、不可欠な特徴を含んでいる必要があります。

Fig 3. 特徴量抽出の理解。

コンピュータビジョンデータセットの品質を維持するためのヒント#

高品質なデータの重要性と低品質なデータの影響を理解したところで、データセットが確実に高い基準を満たすようにする方法を探っていきましょう。

すべては信頼できるデータ収集から始まります。クラウドソーシング、さまざまな地理的地域のデータ、合成データ生成などの多様なソースを使用することでreduces biasが図られ、モデルが現実世界のシナリオに対処しやすくなります。データが収集されたら、前処理が極めて重要です。ピクセル値を一貫した範囲にスケーリングする正規化や、回転、反転、ズームなどの変換を適用するaugmentationなどの手法により、データセットが強化されます。これらのステップは、モデルの汎化性能を高め、より堅牢にするのに役立ち、過学習のリスクを軽減します。

データセットを適切に分割することも重要なステップです。一般的なアプローチは、データの70%をトレーニングに、15%を検証に、15%をテストに割り当てることです。これらのセット間に重複がないことを再確認することで、データリークを防ぎ、正確なモデル評価を保証します。

Fig 4. トレーニング、検証、テスト間における一般的なデータの分割。

また、pre-trained models like YOLO11を使用して、時間と計算リソースを節約することもできます。大規模なデータセットでトレーニングされ、さまざまなcomputer vision tasks向けに設計されたYOLO11は、ニーズに合わせて特定のデータセットでファインチューニングすることができます。モデルをデータに適応させることで、過学習を回避し、強力なパフォーマンスを維持できます。

コンピュータビジョンデータセットの今後の展望#

AIコミュニティは従来、より多くのレイヤーを持つより深いモデルを構築することによってパフォーマンスを向上させることに焦点を当ててきました。しかし、AIが進化し続けるにつれて、焦点はoptimizing modelsからデータセットの品質の改善へとシフトしています。「AIの父」と呼ばれることが多いAndrew Ng氏は、「この10年間でAI界が経るべき最も重要なシフトは、data-centric AIへのシフトになるだろう」と信じています。

このアプローチは、ラベル精度の向上、ノイズの多い例の除去、多様性の確保によってデータセットを洗練させることを強調しています。コンピュータビジョンにおいて、これらの原則はバイアスや低品質なデータといった問題に対処し、モデルが実世界のシナリオで信頼性の高いパフォーマンスを発揮できるようにするために極めて重要です。

将来を見据えると、コンピュータビジョンの進歩は、膨大な量のデータを収集することではなく、より小規模で高品質なデータセットを作成することに依存するようになります。Andrew Ng氏によれば、「データの改善は一度きりの前処理ステップではなく、machine learningモデル開発の反復プロセスの中心的な部分である」とのことです。データ中心の原則に焦点を当てることで、コンピュータビジョンはさまざまな業界において、よりアクセシブルで、効率的で、インパクトのあるものになり続けます。

重要なポイント#

データは、ビジョンモデルのライフサイクル全体を通じて重要な役割を果たします。データ収集から前処理、トレーニング、検証、テストに至るまで、データの品質はモデルのパフォーマンスと信頼性に直接影響を与えます。高品質なデータと正確なラベル付けを優先することで、信頼性の高い正確な結果を提供する堅牢なコンピュータビジョンモデルを構築できます。

データ主導の未来に向けて進む中で、バイアスやプライバシー規制に関連するリスクを軽減するための倫理的配慮に対処することが不可欠です。最終的には、データの完全性と公平性を確保することが、コンピュータビジョン技術の可能性を最大限に引き出す鍵となります。

AIの詳細については、communityに参加し、GitHub repositoryをご覧ください。agricultureやmanufacturingなどの分野におけるその他のAIアプリケーションについては、ソリューションページをご覧ください。