Cross-Validation

Kreuzvalidierung ist ein robustes statistisches Resampling-Verfahren zur Bewertung der Leistung von Modellen des maschinellen Lernens (ML) anhand einer begrenzten Datenstichprobe. Anders als bei einer standardmäßigen Hold-out-Methode, bei der die Daten in einen einzigen Trainings- und Testsatz aufgeteilt werden, wird der Datensatz bei der Kreuzvalidierung in mehrere Teilmengen unterteilt. Dadurch wird sichergestellt, dass jeder Datenpunkt sowohl für das Training als auch für die Validierung verwendet wird. Diese Technik ist entscheidend, um zu beurteilen, wie gut sich die Ergebnisse einer statistischen Analyse auf einen unabhängigen Datensatz übertragen lassen. Außerdem hilft sie dabei, Overfitting zu erkennen, bei dem ein Modell möglicherweise Trainingsbeispiele auswendig lernt, statt verallgemeinerbare Muster zu erfassen.

Der Mechanismus der K-Fold-Kreuzvalidierung#

Die am häufigsten verwendete Variante dieser Technik ist die K-Fold-Kreuzvalidierung. Dabei wird der gesamte Datensatz zufällig in k gleich große Gruppen oder „Folds“ aufgeteilt. Der Trainingsprozess wird anschließend k Mal wiederholt. In jeder Iteration dient ein einzelner Fold als Validierungsdaten zum Testen des Modells, während die übrigen k-1 Folds als Trainingsdaten verwendet werden.

Die abschließende Leistungskennzahl wird typischerweise durch die Mittelung der Werte berechnet, beispielsweise von Genauigkeit, Präzision oder mittlerer durchschnittlicher Präzision (mAP), die aus jedem Durchlauf stammen. Dieser Ansatz reduziert die Varianz, die mit einem einzelnen Durchlauf einer Aufteilung in Trainings- und Testdaten verbunden ist, erheblich und liefert eine zuverlässigere Schätzung des Generalisierungsfehlers. Dadurch wird sichergestellt, dass die Bewertung nicht durch eine willkürliche Auswahl der Testdaten verzerrt wird.

Implementierung mit Ultralytics#

Kreuzvalidierung ist besonders nützlich bei der Arbeit mit kleineren Datensätzen oder bei einer sorgfältigen Optimierung von Hyperparametern. Moderne Deep-Learning-Frameworks wie PyTorch erleichtern zwar den Trainingsprozess, doch die Verwaltung der Folds erfordert eine sorgfältige Datenvorbereitung.

Das folgende Beispiel zeigt, wie du für ein Experiment mit 5-Fold-Kreuzvalidierung durch vorab erstellte YAML-Konfigurationsdateien iterierst, die das YOLO26-Modell verwenden. Dabei wird vorausgesetzt, dass du deinen Datensatz bereits in fünf separate Konfigurationsdateien aufgeteilt hast.

from ultralytics import YOLO

# List of dataset configuration files representing 5 folds
fold_yamls = [f"dataset_fold_{i}.yaml" for i in range(5)]

for i, yaml_file in enumerate(fold_yamls):
    # Load a fresh YOLO26 Nano model for each fold
    model = YOLO("yolo26n.pt")

    # Train the model, saving results to a unique project directory
    results = model.train(data=yaml_file, epochs=20, project="cv_experiment", name=f"fold_{i}")

Eine ausführlichere Anleitung zur Automatisierung der Erstellung solcher Aufteilungen findest du im Leitfaden zur K-Fold-Kreuzvalidierung.

Anwendungen in der Praxis#

Kreuzvalidierung ist in Branchen unverzichtbar, in denen Daten knapp oder teuer zu erfassen sind oder eine sicherheitskritische Zuverlässigkeit erforderlich ist.

• Medizinische Diagnostik: Bei der Analyse medizinischer Bilder sind Datensätze für seltene Erkrankungen oft klein. Eine einzelne Validierungsaufteilung könnte schwierige Fälle oder seltene Krankheitsbilder versehentlich ausschließen. Durch den Einsatz von Kreuzvalidierung stellen Forschende, die KI im Gesundheitswesen entwickeln, sicher, dass ihre Diagnosemodelle anhand jedes verfügbaren Patientenscans getestet werden. So wird überprüft, dass das System mit unterschiedlichen Bevölkerungsgruppen und Gerätetypen funktioniert.
• Präzisionslandwirtschaft: Die Umweltbedingungen im Außenbereich können stark variieren. Ein Modell zur Erkennung von Pflanzenkrankheiten könnte an sonnigen Tagen gut funktionieren, aber bei bedecktem Himmel versagen, wenn die entsprechenden Bilder ausschließlich im Trainingssatz enthalten waren. Kreuzvalidierung stellt sicher, dass das Modell gegenüber solchen Schwankungen robust ist, und hilft Landwirten, sich unabhängig von den Wetterbedingungen auf Werkzeuge für automatisiertes maschinelles Lernen (AutoML) zur konsistenten Überwachung zu verlassen.

Strategische Vorteile bei der Modellentwicklung#

Die Integration von Kreuzvalidierung in den Lebenszyklus der KI-Entwicklung liefert wichtige Erkenntnisse über den Bias-Varianz-Kompromiss.

1. Stabilitätsbewertung: Wenn die Leistungskennzahlen zwischen den Folds deutlich variieren, deutet dies darauf hin, dass das Modell stark von den konkreten Datenpunkten abhängt, die für das Training verwendet werden, was auf eine hohe Varianz hindeutet.

2. Dateneffizienz: Die begrenzten Daten werden maximal genutzt, da jede Beobachtung letztendlich sowohl für das Training als auch für die Validierung verwendet wird.

3. Optimierung von Hyperparametern: Sie liefert eine verlässliche Grundlage für die Auswahl der besten Strategien für Lernrate, Batchgröße oder Datenerweiterung, ohne den abschließenden Testsatz vorab einzusehen.

Abgrenzung verwandter Konzepte#

Es ist wichtig, die Kreuzvalidierung von anderen Begriffen zur Bewertung zu unterscheiden:

• Im Vergleich zur Hold-out-Validierung: Bei der Hold-out-Validierung gibt es eine einzige Aufteilung, beispielsweise 80/20. Sie ist zwar schneller und für sehr große Datensätze wie ImageNet geeignet, aber bei kleineren Datensätzen statistisch weniger robust als die Kreuzvalidierung.
• Im Vergleich zum Bootstrapping: Beim Bootstrapping werden Zufallsstichproben mit Zurücklegen gezogen, während die K-Fold-Kreuzvalidierung die Daten ohne Zurücklegen aufteilt, sodass jede Stichprobe genau einem Fold zugeordnet ist.

Die Verwaltung der Artefakte, Kennzahlen und Modelle aus mehreren Folds kann komplex sein. Die Ultralytics Platform vereinfacht dies durch eine zentrale Nachverfolgung von Experimenten. Dadurch können Teams die Leistung über verschiedene Folds hinweg vergleichen und Erkenntnisse aus der Modellbewertung mühelos visualisieren.