Data Cleaning

データクリーニングとは、レコードセット、テーブル、またはデータベースから破損、不正確、または無関係なレコードを検出して修正（または削除）する重要なプロセスです。人工知能 (AI)と機械学習 (ML)の領域では、このステップはワークフローの中で最も時間がかかる一方、不可欠な部分と見なされることが多くあります。YOLO26のようなモデルが物体を効果的に認識できるようになる前に、トレーニングデータからエラーを除去しておく必要があります。これは、入力データの品質が低いと信頼性の低い出力につながる「Garbage In, Garbage Out」現象を防ぐためです。

AIにおけるデータ整合性の重要性#

高性能なコンピュータビジョンモデルは、使用するデータセットの品質に大きく依存します。データセットに誤ったラベルが付いた画像、重複、または破損したファイルが含まれていると、モデルはパターンの一般化に苦労し、過学習や推論精度の低下につながります。効果的なデータクリーニングにより、予測モデルの信頼性が向上し、アルゴリズムがノイズではなく有効な信号から学習できるようになります。

一般的なデータクリーニング手法#

実務担当者は、表形式データ用のPandasや、専用のビジョンツールなどを使用して、さまざまな戦略でデータセットを改善します。

• 欠損値の処理: 欠損データを含むレコードを削除するか、統計的な平均値または最近傍に基づく補完手法を使用して空白を埋めます。
• 重複の削除: トレーニングセット内の重複画像は、意図せずモデルに偏りを生じさせる可能性があります。重複を削除すると、モデルが特定の例を記憶するのを防ぎ、データセットバイアスの軽減に役立ちます。
• 外れ値の検出: 基準から大きく逸脱する異常や外れ値を特定して処理することが重要です。これらは統計分析やモデルの重みに偏りを生じさせる可能性があります。
• 構造の修復: クラスの一貫性を確保するため、クラスラベルのタイプミス（例: 「Car」と「car」の修正）を修正します。

実世界での利用例#

データクリーニングは、AIが導入されているさまざまな業界で重要な役割を果たします。

• 医用画像解析: ヘルスケアAIアプリケーションでは、データセットにアーティファクト、誤った患者メタデータ、または無関係な背景ノイズを含むスキャンが含まれていることがよくあります。このデータをクリーニングすることで、医用画像解析モデルが診断に関連する生物学的マーカーだけに集中できるようになります。
• 小売在庫管理: 小売業におけるAIでは、商品データセットに販売終了商品や、アスペクト比が正しくない画像が含まれている可能性があります。これらのデータセットをクリーニングすると、物体検出モデルが在庫量を正確に識別し、実環境での誤検出を減らせるようになります。

データクリーニングと前処理の違い#

しばしば同じ意味で使われますが、データクリーニングはデータ前処理とは異なります。データクリーニングは、エラーの修正と「不良」データの削除に重点を置きます。一方、前処理では、画像のリサイズ、正規化、または多様性を高めるためのデータ拡張の適用などにより、クリーニング済みのデータをモデルに適した形式へ変換します。

品質チェックの自動化#

Ultralytics Platformで利用できるものなど、最新のワークフローには、トレーニング開始前に破損画像やラベルの不整合を特定する自動チェックが統合されています。以下は、標準のPillowライブラリを使用して破損した画像ファイルをチェックおよび特定する方法を示す簡単なPythonの例です。これは、YOLO26のようなモデルにデータを入力する前によく行われる手順です。

from pathlib import Path

from PIL import Image


def verify_images(dataset_path):
    """Iterates through a directory to identify corrupt images."""
    for img_path in Path(dataset_path).glob("*.jpg"):
        try:
            with Image.open(img_path) as img:
                img.verify()  # Checks file integrity
        except (OSError, SyntaxError):
            print(f"Corrupt file found: {img_path}")


# Run verification on your dataset
verify_images("./coco8/images/train")