Validierungsdaten

Die Rolle der Validierungsdaten

Während des Modelltrainings lernt ein ML-Modell Muster aus den Trainingsdaten. Die Bewertung des Modells ausschließlich anhand dieser Daten kann jedoch irreführend sein, da sich das Modell die Trainingsbeispiele möglicherweise einfach merkt, ein Phänomen, das als Overfitting bekannt ist. Validierungsdaten dienen als Kontrollpunkt. Indem sie die Leistung des Modells während des Trainings regelmäßig anhand dieses separaten Satzes bewerten, können die Entwickler:

1. Hyperparameter abstimmen: Passen Sie Einstellungen wie die Lernrate, die Stapelgröße oder die Modellkomplexität auf der Grundlage von Leistungsmetriken(Genauigkeit, mAP usw.) an, die anhand der Validierungsmenge berechnet wurden. Dazu werden häufig Techniken verwendet, die in den Leitfäden zur Abstimmung von Hyperparametern beschrieben werden.
2. Modelle auswählen: Vergleichen Sie verschiedene Modellarchitekturen oder -versionen (z. B. Ultralytics YOLOv8 vs. YOLOv10) auf der Grundlage ihrer Validierungsleistung.
3. Vermeiden Sie Überanpassung: Überwachen Sie die Validierungsmetriken, um zu erkennen, wenn das Modell in der Validierungsmenge schlechter abschneidet, obwohl sich die Trainingsleistung verbessert, was auf eine Überanpassung hindeutet. Techniken wie das frühzeitige Abbrechen hängen von der Validierungsleistung ab.

Validierungsdaten vs. Trainings- und Testdaten

Das Verständnis für die Unterscheidung zwischen Trainings-, Validierungs- und Testdatensätzen ist für eine robuste Modellentwicklung von grundlegender Bedeutung:

• Trainingsdaten: Der größte Teil des Datensatzes, der direkt vom Lernalgorithmus verwendet wird, um Muster zu lernen und Modellgewichte anzupassen. Das Modell "sieht" diese Daten häufig während der Trainingsschleifen(Epochen).
• Validierungsdaten: Ein kleinerer Teil, der indirekt beim Training verwendet wird. Das Modell lernt nicht direkt von diesen Daten, aber die Leistung auf diesem Satz leitet Entscheidungen über Hyperparameter und Modellstruktur. Sie geben Aufschluss darüber, wie gut das Modell während der Entwicklungsphase auf neue Daten verallgemeinert werden kann.
• Testdaten: Ein völlig separater Teil von Daten, die das Modell während des Trainings oder der Validierung nie gesehen hat. Sie werden nur einmal verwendet, nachdem das Training und die Abstimmung abgeschlossen sind, um eine endgültige, unverzerrte Schätzung der Generalisierungsfähigkeit des Modells auf ungesehenen realen Daten zu erhalten.

Eine ordnungsgemäße Trennung, die häufig mit Tools wie Ultralytics HUB für die Versionierung und Verwaltung von Datensätzen verwaltet wird, stellt sicher, dass die Informationen aus dem Testsatz nicht in den Schulungs- oder Modellauswahlprozess "durchsickern", was zu allzu optimistischen Leistungsschätzungen führen würde.

Abstimmung der Hyperparameter und Modellauswahl

Validierungsdaten sind für die Abstimmung der Hyperparameter unerlässlich. Hyperparameter sind Konfigurationseinstellungen außerhalb des Modells selbst, die vor Beginn des Lernprozesses festgelegt werden. Beispiele hierfür sind die Lernrate, die Anzahl der Schichten in einem neuronalen Netz oder die Art des verwendeten Optimierungsalgorithmus. Die Entwickler trainieren mehrere Modellversionen mit verschiedenen Hyperparameterkombinationen, bewerten jede auf dem Validierungssatz und wählen die Kombination aus, die die beste Leistung erbringt. Diese systematische Suche kann mit Methoden wie der Rastersuche oder der Bayes'schen Optimierung automatisiert werden, was häufig durch in MLOps-Tools integrierte Plattformen erleichtert wird.

Beispiele aus der Praxis

1. Computer Vision Objekt-Erkennung: Beim Training eines Ultralytics YOLO-Modells zur Erkennung von Objekten in Bildern (z. B. mit dem VisDrone-Datensatz) wird ein Teil der beschrifteten Bilder als Validierungsdaten beiseite gelegt. Während des Trainings wird die mAP (mittlere durchschnittliche Präzision) des Modells nach jeder Epoche auf diesem Validierungssatz berechnet. Diese mAP der Validierung hilft bei der Entscheidung, wann das Training abgebrochen werden soll (frühzeitiger Abbruch) oder welche Datenerweiterungstechniken am besten funktionieren, bevor eine abschließende Leistungsüberprüfung auf dem Testset erfolgt. Wirksame Modellevaluierungsstrategien sind in hohem Maße auf diese Aufteilung angewiesen.
2. Verarbeitung natürlicher Sprache Textklassifizierung: Bei der Entwicklung eines Modells zur Klassifizierung von Kundenrezensionen als positiv oder negativ(Stimmungsanalyse) wird ein Validierungsset verwendet, um die optimale Architektur zu wählen (z.B. LSTM vs. Transformer) oder Hyperparameter wie Dropout-Raten abzustimmen. Das Modell mit dem höchsten F1-Score oder der höchsten Genauigkeit auf dem Validierungsset wird für die endgültigen Tests ausgewählt. Ressourcen wie Hugging Face stellen zu diesem Zweck häufig bereits aufgeteilte Datensätze zur Verfügung.

Kreuzvalidierung

Wenn die Menge der verfügbaren Daten begrenzt ist, wird häufig eine Technik namens Kreuzvalidierung (insbesondere K-Fold Cross-Validation) eingesetzt. Dabei werden die Trainingsdaten in "K" Teilmengen (Folds) aufgeteilt. Das Modell wird K-mal trainiert, wobei jedes Mal K-1 Falten für das Training und die verbleibende Falte als Validierungssatz verwendet wird. Die Leistung wird dann über alle K Durchläufe gemittelt. Dies ermöglicht eine robustere Schätzung der Modellleistung und eine bessere Nutzung der begrenzten Daten, wie in der Ultralytics-Anleitung zur K-Fold Cross-Validation erläutert.

Zusammenfassend lässt sich sagen, dass Validierungsdaten ein Eckpfeiler für den Aufbau zuverlässiger und leistungsstarker Modelle der Künstlichen Intelligenz (KI) sind. Sie ermöglichen eine effektive Abstimmung der Hyperparameter, Modellauswahl und Vermeidung von Überanpassung und stellen sicher, dass Modelle weit über die Daten hinaus verallgemeinert werden, auf denen sie trainiert wurden.