Validierungsdaten

Bei den Validierungsdaten handelt es sich um eine Stichprobe von Daten, die aus dem Trainingsprozess zurückgehalten werden und die dazu dienen, eine unvoreingenommene Bewertung der Anpassung eines Modells bei der Abstimmung seiner Hyperparameter vorzunehmen. Die Hauptaufgabe des Validierungssatzes besteht darin, die Entwicklung eines Modells für maschinelles Lernen (ML) zu steuern, indem es eine häufige, unabhängige Bewertung seiner Leistung bietet. Diese Rückkopplungsschleife ist für die Entwicklung von Modellen unerlässlich, die nicht nur auf den Daten, die sie gesehen haben, gut funktionieren, sondern auch effektiv auf neue, ungesehene Daten verallgemeinert werden können - ein Konzept, das für die Entwicklung robuster Systeme der künstlichen Intelligenz (KI) von zentraler Bedeutung ist.

Die Rolle der Validierungsdaten

Der Hauptzweck von Validierungsdaten besteht darin, eine Überanpassung zu verhindern. Eine Überanpassung liegt vor, wenn ein Modell die Trainingsdaten zu gut erlernt und dabei Rauschen und Details erfasst, die auf die neuen Daten nicht zutreffen, wodurch seine Leistung beeinträchtigt wird. Indem das Modell in regelmäßigen Abständen (z. B. nach jeder Epoche) mit dem Validierungssatz getestet wird, können die Entwickler den Generalisierungsfehler des Modells überwachen. Wenn sich die Leistung bei den Trainingsdaten weiter verbessert, während die Leistung bei den Validierungsdaten stagniert oder sich verschlechtert, ist dies ein klares Zeichen für eine Überanpassung.

Dieser Bewertungsprozess ist entscheidend für die Abstimmung der Hyperparameter. Bei den Hyperparametern handelt es sich um Konfigurationseinstellungen außerhalb des Modells, wie z. B. die Lernrate oder die Stapelgröße, die nicht aus den Daten gelernt werden. Der Validierungssatz ermöglicht es, mit verschiedenen Hyperparameterkombinationen zu experimentieren, um den Satz zu finden, der die beste Leistung erbringt. Dieser iterative Prozess ist ein zentraler Bestandteil der Modellauswahl und -optimierung.

Validierungsdaten vs. Trainings- und Testdaten

In einem typischen ML-Projekt wird der Datensatz in drei Teilmengen aufgeteilt, und es ist von grundlegender Bedeutung, ihre unterschiedlichen Rollen zu verstehen. Ein gängiger Ansatz für die Datenaufteilung besteht darin, 70 % für das Training, 15 % für die Validierung und 15 % für das Testen bereitzustellen.

• Trainingsdaten: Dies ist der größte Teil der Daten, die zum Lernen des Modells verwendet werden. Das Modell lernt iterativ Muster, Merkmale und Beziehungen aus diesem Datensatz, indem es seine internen Modellgewichte anpasst.
• Validierungsdaten: Diese separate Teilmenge wird verwendet, um eine unvoreingenommene Bewertung während des Trainingsprozesses vorzunehmen. Sie hilft bei der Abstimmung von Hyperparametern und bei wichtigen Entscheidungen, z. B. bei der Frage, wann ein frühzeitiges Stoppen erforderlich ist, um eine Überanpassung zu verhindern. Im Ultralytics-Ökosystem wird diese Bewertung im Validierungsmodus durchgeführt.
• Testdaten: Dieser Datensatz wird solange zurückgehalten, bis das Modell vollständig trainiert und abgestimmt ist. Er wird nur einmal verwendet, um eine endgültige, unvoreingenommene Bewertung der Leistung des Modells vorzunehmen. Die Leistung des Testdatensatzes gibt an, wie das Modell in einem realen Einsatzszenario voraussichtlich abschneiden wird.

Die Aufrechterhaltung einer strikten Trennung, insbesondere zwischen den Validierungs- und Testmengen, ist entscheidend für die genaue Bewertung der Fähigkeiten eines Modells und die Vermeidung des Kompromisses zwischen Verzerrung und Varianz.

Beispiele aus der Praxis

1. Computer Vision Objekt-Erkennung: Beim Training eines Ultralytics YOLO-Modells zur Erkennung von Objekten in Bildern (z. B. mit dem VisDrone-Datensatz) wird ein Teil der beschrifteten Bilder als Validierungsdaten beiseite gelegt. Während des Trainings wird die mAP (mittlere durchschnittliche Präzision) des Modells nach jeder Epoche auf diesem Validierungssatz berechnet. Diese Validierungs-MAP hilft bei der Entscheidung, wann das Training abgebrochen werden sollte oder welche Datenerweiterungstechniken am besten funktionieren, bevor eine abschließende Leistungsüberprüfung auf dem Testset erfolgt. Wirksame Modellevaluierungsstrategien beruhen in hohem Maße auf dieser Aufteilung.
2. Verarbeitung natürlicher Sprache Textklassifizierung: Bei der Entwicklung eines Modells zur Klassifizierung von Kundenrezensionen als positiv oder negativ(Stimmungsanalyse) wird ein Validierungsset verwendet, um die optimale Architektur zu wählen (z.B. LSTM vs. Transformer) oder Hyperparameter wie Dropout-Raten abzustimmen. Das Modell mit dem höchsten F1-Score oder der höchsten Genauigkeit auf dem Validierungsset wird für die endgültigen Tests ausgewählt. Ressourcen wie Hugging Face Datasets bieten häufig bereits aufgeteilte Datensätze für diesen Zweck.

Kreuzvalidierung

Wenn die Menge der verfügbaren Daten begrenzt ist, wird häufig eine Technik namens Kreuzvalidierung (insbesondere K-Fold Cross-Validation) eingesetzt. Dabei werden die Trainingsdaten in "K" Teilmengen (Folds) aufgeteilt. Das Modell wird K-mal trainiert, wobei jedes Mal K-1 Fold für das Training und der verbleibende Fold als Validierungsset verwendet wird. Die Leistung wird dann über alle K Durchläufe gemittelt. Dies ermöglicht eine robustere Schätzung der Modellleistung und eine bessere Nutzung begrenzter Daten, wie in Ressourcen wie der scikit-learn-Dokumentation und dem Ultralytics K-Fold Cross-Validation Guide erläutert wird.

Zusammenfassend lässt sich sagen, dass Validierungsdaten ein Eckpfeiler beim Aufbau zuverlässiger und leistungsstarker KI-Modelle mit Frameworks wie PyTorch und TensorFlow sind. Sie ermöglichen eine effektive Abstimmung der Hyperparameter, die Modellauswahl und die Vermeidung von Überanpassungen und stellen sicher, dass die Modelle weit über die Daten hinaus verallgemeinert werden können, auf denen sie trainiert wurden. Plattformen wie Ultralytics HUB bieten integrierte Tools für die effektive Verwaltung dieser Datensätze.