Data Preprocessing

Die Datenvorverarbeitung ist der entscheidende erste Schritt in der Pipeline für maschinelles Lernen, bei dem Rohdaten in ein sauberes und für Algorithmen verständliches Format umgewandelt werden. In der Praxis sind Daten oft unvollständig, inkonsistent und weisen keine spezifischen Verhaltensweisen oder Trends auf, sodass sie für einen Computer „schmutzig“ oder „verrauscht“ wirken. Die Vorverarbeitung schließt die Lücke zwischen Rohinformationen und den strukturierten Eingaben, die neuronale Netze benötigen, und wirkt sich erheblich auf die Genauigkeit und Effizienz des endgültigen Modells aus. Durch die Standardisierung und Bereinigung von Datensätzen stellen Ingenieure sicher, dass anspruchsvolle Architekturen wie YOLO26 aussagekräftige Muster statt Rauschen lernen können.

Warum ist die Datenvorverarbeitung wichtig?#

Modelle für maschinelles Lernen, insbesondere solche, die in der Computervision eingesetzt werden, reagieren empfindlich auf die Qualität und den Umfang der Eingabedaten. Ohne eine geeignete Vorverarbeitung kann ein Modell Schwierigkeiten haben, während des Trainings zu konvergieren, oder unzuverlässige Vorhersagen liefern. Wenn beispielsweise Bilder in einem Datensatz unterschiedliche Auflösungen oder Farbskalen haben, muss das Modell zusätzliche Kapazität darauf verwenden, den Umgang mit diesen Inkonsistenzen zu lernen, anstatt sich auf die eigentliche Aufgabe der Objekterkennung zu konzentrieren.

Vorverarbeitungstechniken zielen im Allgemeinen darauf ab:

• Datenqualität verbessern: Fehler, Ausreißer und Duplikate entfernen, damit der Datensatz den Problemraum genau abbildet.
• Eingaben standardisieren: Merkmale wie Pixelwerte auf einen einheitlichen Bereich, häufig zwischen 0 und 1, skalieren, damit Optimierungsalgorithmen wie der Gradientenabstieg gleichmäßiger funktionieren.
• Komplexität reduzieren: Datendarstellungen durch Techniken wie die Dimensionsreduktion vereinfachen und dadurch den Lernprozess beschleunigen.

Wichtige Techniken der Vorverarbeitung#

Zur Vorbereitung von Daten auf das Training werden verschiedene Standardmethoden eingesetzt, die jeweils einen bestimmten Zweck in der Datenpipeline erfüllen.

• Datenbereinigung: Dazu gehören der Umgang mit fehlenden Werten (Imputation), die Korrektur inkonsistenter Beschriftungen und das Herausfiltern beschädigter Dateien. Im Bereich der visuellen KI kann dies bedeuten, unscharfe Bilder zu entfernen oder falsche Koordinaten von Begrenzungsrahmen zu korrigieren.
• Normalisierung und Skalierung: Da die Pixelintensitäten stark variieren können, sorgt die Normalisierung von Bildern dafür, dass Pixel mit hohen Werten den Lernprozess nicht dominieren. Zu den gängigen Methoden gehören die Min-Max-Skalierung und die Z-Score-Normalisierung.
• Kodierung: Kategorische Daten wie Klassenbezeichnungen (z. B. „Katze“, „Hund“) müssen in numerische Formate umgewandelt werden. Techniken wie die One-Hot-Kodierung oder die Label-Kodierung sind gängige Verfahren.
• Größenanpassung und Formatierung: Deep-Learning-Modelle erwarten in der Regel Eingaben mit einer festen Größe. Vorverarbeitungspipelines passen unterschiedliche Bilder automatisch an eine Standardgröße wie 640x640 Pixel an, die für Echtzeit-Inferenz üblich ist.

Anwendungen in der Praxis#

Die Datenvorverarbeitung ist branchenübergreifend allgegenwärtig und stellt sicher, dass Rohdaten in verwertbare Erkenntnisse umgewandelt werden.

Diagnose durch medizinische Bildgebung#

In der KI im Gesundheitswesen ist die Vorverarbeitung für die Analyse von Röntgen- oder MRI-Aufnahmen unerlässlich. Medizinische Rohbilder enthalten häufig Sensorrauschen oder weisen je nach verwendeter Maschine Unterschiede bei Beleuchtung und Kontrast auf. Vorverarbeitungsschritte wie der Histogrammausgleich verbessern den Kontrast, sodass Tumore oder Frakturen besser sichtbar werden, während Filter zur Rauschreduzierung die Bildstruktur klarer darstellen. Diese Vorbereitung ermöglicht es Modellen, eine Tumorerkennung mit höherer Präzision durchzuführen, und kann durch die Verringerung falsch negativer Ergebnisse möglicherweise Leben retten.

Autonomes Fahren#

Selbstfahrende Autos sind auf Eingaben von mehreren Sensoren angewiesen, darunter LiDAR, Radar und Kameras. Diese Sensoren erzeugen Daten mit unterschiedlichen Raten und in unterschiedlichen Maßstäben. Die Vorverarbeitung synchronisiert diese Datenströme und filtert Umgebungsrauschen wie Regen oder Blendung heraus, bevor die Daten zusammengeführt werden. Für autonome Fahrzeuge stellt dies sicher, dass das Wahrnehmungssystem ein kohärentes Bild der Straße erhält und dadurch eine sichere Navigation sowie eine zuverlässige Fußgängererkennung in Echtzeitumgebungen ermöglicht.

Verwandte Konzepte#

Es ist wichtig, die Datenvorverarbeitung von anderen Begriffen zu unterscheiden, die im Arbeitsablauf des maschinellen Lernens vorkommen.

• vs. Datenerweiterung: Während die Vorverarbeitung Daten darauf vorbereitet, vom Modell technisch verwendet werden zu können (z. B. durch Größenanpassung), erzeugt die Datenerweiterung neue Variationen vorhandener Daten (z. B. durch Drehen oder Spiegeln von Bildern), um die Vielfalt des Datensatzes zu erhöhen. Weitere Informationen findest du in unserem Leitfaden zur YOLO-Datenerweiterung.
• vs. Merkmalsentwicklung: Bei der Vorverarbeitung geht es um die Bereinigung und Formatierung. Bei der Merkmalsentwicklung werden aus den Daten neue, aussagekräftige Variablen erstellt, um die Modellleistung zu verbessern, beispielsweise durch die Berechnung des „Körpermassenindex“ aus den Spalten für Größe und Gewicht.
• vs. Datenbeschriftung: Bei der Beschriftung wird die Ground Truth festgelegt, beispielsweise durch das Zeichnen von Begrenzungsrahmen um Objekte. Die Vorverarbeitung erfolgt nach der Datenerfassung und -beschriftung, aber bevor die Daten in das neuronale Netz eingespeist werden.

Praktisches Beispiel#

Im Ultralytics-Ökosystem wird die Vorverarbeitung während der Trainingspipeline häufig automatisch durchgeführt. Du kannst Bilder jedoch auch manuell mit Bibliotheken wie OpenCV vorverarbeiten. Das folgende Snippet zeigt, wie ein Bild geladen, auf eine standardisierte Eingabegröße für ein Modell wie YOLO26 skaliert und die Pixelwerte normalisiert werden.

import cv2
import numpy as np

# Load an image using OpenCV
image = cv2.imread("bus.jpg")

# Resize the image to 640x640, a standard YOLO input size
resized_image = cv2.resize(image, (640, 640))

# Normalize pixel values from 0-255 to 0-1 for model stability
normalized_image = resized_image / 255.0

# Add a batch dimension (H, W, C) -> (1, H, W, C) for inference
input_tensor = np.expand_dims(normalized_image, axis=0)

print(f"Processed shape: {input_tensor.shape}")

Bei umfangreichen Projekten kann der Einsatz von Tools wie der Ultralytics Platform diese Arbeitsabläufe optimieren. Die Plattform vereinfacht die Datensatzverwaltung und automatisiert viele Aufgaben der Vorverarbeitung und Annotation, um den Übergang von Rohdaten zu einem bereitgestellten Modell zu beschleunigen.