Data Cleaning

Data Cleaning ist der kritische Prozess des Erkennens und Korrigierens (oder Entfernens) korrupter, ungenauer oder irrelevanter Datensätze aus einem Datensatz, einer Tabelle oder einer Datenbank. Im Bereich der artificial intelligence (AI) und des machine learning (ML) wird dieser Schritt oft als der zeitaufwändigste, aber wesentlichste Teil des Workflows angesehen. Bevor ein Modell wie YOLO26 lernen kann, Objekte effektiv zu erkennen, müssen die training data von Fehlern bereinigt werden, um das Phänomen „Garbage In, Garbage Out“ zu verhindern, bei dem minderwertige Eingaben zu unzuverlässigen Ausgaben führen.

Die Bedeutung der Datenintegrität in der KI#

Leistungsstarke computer vision-Modelle hängen stark von der Qualität der Datensätze ab, die sie verwenden. Wenn ein Datensatz falsch beschriftete Bilder, Duplikate oder beschädigte Dateien enthält, hat das Modell Schwierigkeiten, Muster zu verallgemeinern, was zu overfitting oder schlechter inference accuracy führt. Eine effektive Datenbereinigung verbessert die reliability of predictive models und stellt sicher, dass der Algorithmus aus gültigen Signalen statt aus Rauschen lernt.

Gängige Datenbereinigungstechniken#

Anwender setzen verschiedene Strategien ein, um ihre Datensätze mit Tools wie Pandas für tabellarische Daten oder speziellen Vision-Tools zu verfeinern.

• Umgang mit fehlenden Werten: Dies beinhaltet entweder das Entfernen von Datensätzen mit fehlenden Daten oder die Verwendung von imputation techniques, um Lücken basierend auf statistischen Durchschnitten oder nächsten Nachbarn zu füllen.
• Entfernen von Duplikaten: Doppelte Bilder in einem Trainingsset können das Modell unbeabsichtigt verzerren. Das Entfernen stellt sicher, dass das Modell keine spezifischen Beispiele auswendig lernt, und hilft, dataset bias zu mindern.
• Ausreißererkennung: Das Identifizieren und Handhaben von anomalies oder outliers, die erheblich von der Norm abweichen, ist von entscheidender Bedeutung, da diese die statistische Analyse und die Modellgewichte verzerren können.
• Strukturelle Reparatur: Dies umfasst das Beheben von Tippfehlern in Klassenlabels (z. B. Korrektur von „Car“ vs. „car“), um die class consistency sicherzustellen.

Praxisanwendungen#

Datenbereinigung ist in verschiedenen Branchen, in denen KI eingesetzt wird, von zentraler Bedeutung.

• Analyse medizinischer Bilder: In healthcare AI applications enthalten Datensätze häufig Scans mit Artefakten, falschen Patientenmetadaten oder irrelevantem Hintergrundrauschen. Das Bereinigen dieser Daten stellt sicher, dass Modelle zur medical image analysis sich ausschließlich auf die für die Diagnose relevanten biologischen Marker konzentrieren.
• Einzelhandelsbestandsverwaltung: Für AI in retail können Produktdatensätze veraltete Artikel oder Bilder mit falschen Seitenverhältnissen enthalten. Das Bereinigen dieser Datensätze stellt sicher, dass object detection-Modelle Lagerbestände genau identifizieren und Fehlalarme in einer Live-Umgebung reduzieren können.

Unterscheidung zwischen Datenbereinigung und Vorverarbeitung#

While often used interchangeably, data cleaning is distinct from data preprocessing. Data cleaning focuses on fixing errors and removing "bad" data. In contrast, preprocessing involves transforming clean data into a format suitable for the model, such as image resizing, normalization, or applying data augmentation to increase variety.

Automatisierung von Qualitätsprüfungen#

Moderne Workflows, wie sie auf der Ultralytics Platform verfügbar sind, integrieren automatisierte Prüfungen, um beschädigte Bilder oder Label-Inkonsistenzen vor Beginn des Trainings zu identifizieren. Unten ist ein einfaches Python-Beispiel, das zeigt, wie man mit der Standard-Pillow library nach beschädigten Bilddateien sucht und diese identifiziert – ein üblicher Schritt, bevor Daten in ein Modell wie YOLO26 eingespeist werden.

from pathlib import Path

from PIL import Image


def verify_images(dataset_path):
    """Iterates through a directory to identify corrupt images."""
    for img_path in Path(dataset_path).glob("*.jpg"):
        try:
            with Image.open(img_path) as img:
                img.verify()  # Checks file integrity
        except (OSError, SyntaxError):
            print(f"Corrupt file found: {img_path}")


# Run verification on your dataset
verify_images("./coco8/images/train")