Data Cleaning

Datenbereinigung ist der entscheidende Prozess zum Erkennen und Korrigieren (oder Entfernen) von fehlerhaften, ungenauen oder irrelevanten Datensätzen aus einer Datenbank oder Tabelle. Im Bereich der künstlichen Intelligenz (KI) und des maschinellen Lernens (ML) wird dieser Schritt oft als der zeitaufwendigste, aber wichtigste Teil des Arbeitsablaufs angesehen. Bevor ein Modell wie YOLO26 effektiv lernen kann, Objekte zu erkennen, müssen die Trainingsdaten von Fehlern befreit werden, um das Phänomen "Garbage In, Garbage Out" zu verhindern, bei dem qualitativ minderwertiger Input zu unzuverlässigem Output führt.

Link to this sectionDie Bedeutung der Datenintegrität in der KI#

Leistungsstarke Computer Vision-Modelle sind in hohem Maße von der Qualität der Datensätze abhängig, die sie verarbeiten. Enthält ein Datensatz falsch beschriftete Bilder, Duplikate oder beschädigte Dateien, wird das Modell Schwierigkeiten haben, Muster zu verallgemeinern, was zu Overfitting oder einer schlechten Inferenzgenauigkeit führt. Eine effektive Datenbereinigung verbessert die Zuverlässigkeit von Vorhersagemodellen und stellt sicher, dass der Algorithmus von validen Signalen lernt und nicht von Rauschen.

Link to this sectionGängige Datenbereinigungstechniken#

Anwender nutzen verschiedene Strategien, um ihre Datensätze mit Tools wie Pandas für tabellarische Daten oder spezialisierten Vision-Tools zu verfeinern.

• Umgang mit fehlenden Werten: Dies beinhaltet entweder das Entfernen von Datensätzen mit fehlenden Daten oder die Verwendung von Imputationstechniken, um Lücken auf der Grundlage statistischer Durchschnitte oder nächstgelegener Nachbarn zu füllen.
• Entfernen von Duplikaten: Doppelte Bilder in einem Trainingsdatensatz können das Modell unbeabsichtigt verzerren. Das Entfernen dieser stellt sicher, dass das Modell keine spezifischen Beispiele auswendig lernt, was dabei hilft, Datensatz-Bias zu mindern.
• Ausreißererkennung: Das Identifizieren und Handhaben von Anomalien oder Ausreißern, die signifikant von der Norm abweichen, ist entscheidend, da diese die statistische Analyse und die Modellgewichte verfälschen können.
• Strukturelle Korrektur: Dies umfasst das Beheben von Tippfehlern in Klassenbezeichnungen (z. B. Korrektur von "Car" vs. "car"), um die Klassenkonsistenz zu gewährleisten.

Link to this sectionPraxisanwendungen#

Datenbereinigung ist in verschiedenen Branchen, in denen KI eingesetzt wird, von zentraler Bedeutung.

• Medizinische Bildanalyse: In KI-Anwendungen im Gesundheitswesen enthalten Datensätze oft Scans mit Artefakten, falschen Patientenmetadaten oder irrelevantem Hintergrundrauschen. Die Bereinigung dieser Daten stellt sicher, dass sich Modelle für die medizinische Bildanalyse ausschließlich auf die für die Diagnose relevanten biologischen Marker konzentrieren.
• Einzelhandelsbestandsverwaltung: Bei KI im Einzelhandel können Produktdatensätze veraltete Artikel oder Bilder mit falschen Seitenverhältnissen enthalten. Die Bereinigung dieser Datensätze stellt sicher, dass Objekterkennungsmodelle Lagerbestände genau identifizieren und Fehlalarme in einer Live-Umgebung reduzieren können.

Link to this sectionUnterscheidung zwischen Datenbereinigung und Vorverarbeitung#

Obwohl die Begriffe oft synonym verwendet werden, unterscheidet sich die Datenbereinigung von der Datenvorverarbeitung. Die Datenbereinigung konzentriert sich auf die Fehlerbehebung und das Entfernen von "schlechten" Daten. Im Gegensatz dazu beinhaltet die Vorverarbeitung die Umwandlung sauberer Daten in ein für das Modell geeignetes Format, wie z. B. Bildskalierung, Normalisierung oder die Anwendung von Datenaugmentierung zur Erhöhung der Vielfalt.

Link to this sectionAutomatisierung von Qualitätsprüfungen#

Moderne Arbeitsabläufe, wie sie auf der Ultralytics Platform verfügbar sind, integrieren automatisierte Prüfungen, um beschädigte Bilder oder Inkonsistenzen bei Beschriftungen zu identifizieren, bevor das Training beginnt. Unten findest du ein einfaches Python-Beispiel, das zeigt, wie man mit der Standard-Pillow-Bibliothek nach beschädigten Bilddateien sucht und diese identifiziert – ein gängiger Schritt, bevor Daten in ein Modell wie YOLO26 eingespeist werden.

from pathlib import Path

from PIL import Image


def verify_images(dataset_path):
    """Iterates through a directory to identify corrupt images."""
    for img_path in Path(dataset_path).glob("*.jpg"):
        try:
            with Image.open(img_path) as img:
                img.verify()  # Checks file integrity
        except (OSError, SyntaxError):
            print(f"Corrupt file found: {img_path}")


# Run verification on your dataset
verify_images("./coco8/images/train")