Optimieren Sie Modelle für maschinelles Lernen mit Validierungsdaten, um eine Überanpassung zu verhindern, Hyperparameter abzustimmen und eine robuste, praxisnahe Leistung zu gewährleisten.
Validierungsdaten sind eine entscheidende Komponente im Entwicklungszyklus des maschinellen Lernens (ML). Es handelt sich um eine separate Teilmenge des ursprünglichen Datensatzes, die sich von den Trainingsdaten, die zur Anpassung des Modells verwendet werden, und den Testdaten, die für die abschließende Bewertung verwendet werden, unterscheidet. Der Hauptzweck der Validierungsdaten besteht darin, eine unvoreingenommene Bewertung der Anpassung eines Modells an den Trainingsdatensatz vorzunehmen, während die Hyperparameter des Modells abgestimmt und Entscheidungen über die Architektur des Modells getroffen werden. Dieser Prozess hilft bei der Auswahl der besten Modellkonfiguration, bevor die endgültige Leistung des Modells auf ungesehenen Daten bewertet wird.
Während des Modelltrainings lernt ein ML-Modell Muster aus den Trainingsdaten. Die Bewertung des Modells ausschließlich anhand dieser Daten kann jedoch irreführend sein, da sich das Modell die Trainingsbeispiele möglicherweise einfach merkt, ein Phänomen, das als Overfitting bekannt ist. Validierungsdaten dienen als Kontrollpunkt. Indem sie die Leistung des Modells während des Trainings regelmäßig anhand dieses separaten Satzes bewerten, können die Entwickler:
Das Verständnis für die Unterscheidung zwischen Trainings-, Validierungs- und Testdatensätzen ist für eine robuste Modellentwicklung von grundlegender Bedeutung:
Eine ordnungsgemäße Trennung, die häufig mit Tools wie Ultralytics HUB für die Versionierung und Verwaltung von Datensätzen verwaltet wird, stellt sicher, dass die Informationen aus dem Testsatz nicht in den Schulungs- oder Modellauswahlprozess "durchsickern", was zu allzu optimistischen Leistungsschätzungen führen würde.
Validierungsdaten sind für die Abstimmung der Hyperparameter unerlässlich. Hyperparameter sind Konfigurationseinstellungen außerhalb des Modells selbst, die vor Beginn des Lernprozesses festgelegt werden. Beispiele hierfür sind die Lernrate, die Anzahl der Schichten in einem neuronalen Netz oder die Art des verwendeten Optimierungsalgorithmus. Die Entwickler trainieren mehrere Modellversionen mit verschiedenen Hyperparameterkombinationen, bewerten jede auf dem Validierungssatz und wählen die Kombination aus, die die beste Leistung erbringt. Diese systematische Suche kann mit Methoden wie der Rastersuche oder der Bayes'schen Optimierung automatisiert werden, was häufig durch in MLOps-Tools integrierte Plattformen erleichtert wird.
Wenn die Menge der verfügbaren Daten begrenzt ist, wird häufig eine Technik namens Kreuzvalidierung (insbesondere K-Fold Cross-Validation) eingesetzt. Dabei werden die Trainingsdaten in "K" Teilmengen (Folds) aufgeteilt. Das Modell wird K-mal trainiert, wobei jedes Mal K-1 Falten für das Training und die verbleibende Falte als Validierungssatz verwendet wird. Die Leistung wird dann über alle K Durchläufe gemittelt. Dies ermöglicht eine robustere Schätzung der Modellleistung und eine bessere Nutzung der begrenzten Daten, wie in der Ultralytics-Anleitung zur K-Fold Cross-Validation erläutert.
Zusammenfassend lässt sich sagen, dass Validierungsdaten ein Eckpfeiler für den Aufbau zuverlässiger und leistungsstarker Modelle der Künstlichen Intelligenz (KI) sind. Sie ermöglichen eine effektive Abstimmung der Hyperparameter, Modellauswahl und Vermeidung von Überanpassung und stellen sicher, dass Modelle weit über die Daten hinaus verallgemeinert werden, auf denen sie trainiert wurden.