Cross-Validation

Kreuzvalidierung schätzt, wie gut ein Modell auf unbekannten Daten abschneidet, indem es mehrmals auf unterschiedlichen Aufteilungen desselben Datensatzes trainiert und ausgewertet wird und die Ergebnisse zusammengefasst werden. Bei der k-fachen Kreuzvalidierung werden die Daten in k gleich große Teile, sogenannte Folds, aufgeteilt. Jeder Fold dient einmal als Validierungsdatensatz, während das Modell auf den übrigen k − 1 Folds trainiert wird. Der Mittelwert der k Scores schätzt die Leistung, ihre Streuung zeigt, wie stark diese Schätzung davon abhängt, welche Beispiele zufällig in den Validierungsdatensatz gelangt sind. Kreuzvalidierung ist das übliche Auswertungsverfahren, wenn die Daten für einen einzigen zurückgehaltenen Split zu knapp sind, um einen verlässlichen Score zu liefern. Sie wird häufig zum Vergleichen von Algorithmen und zum Anpassen von Hyperparametern verwendet, ohne die Testdaten anzutasten.

So funktioniert die k-fache Kreuzvalidierung#

Der Datensatz wird einmal gemischt und in k Folds aufgeteilt, üblicherweise 5 oder 10. In jedem der k Durchläufe wird ein neues Modell trainiert: auf k − 1 Folds und ausgewertet auf dem verbleibenden Fold. So wird jedes Beispiel genau einmal zur Validierung und k − 1 Mal zum Training verwendet. Die k Scores werden gemittelt und zusammen mit ihrer Standardabweichung angegeben. Sobald die Kreuzvalidierung ein Modell oder einen Satz Hyperparameter ausgewählt hat, wird das endgültige Modell in der Regel mit diesen Einstellungen auf allen Trainingsdaten neu trainiert. Die Leave-one-out-Kreuzvalidierung ist der Extremfall, bei dem k der Anzahl der Beispiele entspricht. Dabei werden in jedem Durchlauf möglichst viele Daten zum Training verwendet, allerdings muss die gleiche Anzahl an Modellen wie an Beispielen trainiert werden.

Kreuzvalidierungs-Scores lesen#

Die Streuung zwischen den Folds ist ebenso aussagekräftig wie der Mittelwert. Das folgende Skript mit scikit-learn führt eine fünffache Kreuzvalidierung mit dem integrierten Brustkrebsdatensatz durch:

from sklearn.datasets import load_breast_cancer
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import StratifiedKFold, cross_val_score
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler

# 569 labeled tumor samples with 30 features each
X, y = load_breast_cancer(return_X_y=True)

# The scaler sits inside the pipeline, so each round fits it on that round's training folds only
model = make_pipeline(StandardScaler(), LogisticRegression(max_iter=1000))

# 5 stratified folds: each sample is validated exactly once
folds = StratifiedKFold(n_splits=5, shuffle=True, random_state=0)
scores = cross_val_score(model, X, y, cv=folds)
print("Fold accuracies:", scores.round(3))
print(f"Mean {scores.mean():.3f} +/- {scores.std():.3f}")

Die fünf Genauigkeitswerte der Folds reichen von 0.956 bis 1.000. Der Mittelwert beträgt 0.979 und die Standardabweichung 0.014. Bei einem einzelnen 80/20-Split wäre einer dieser fünf Werte herausgekommen; die Spannweite beträgt 4.4 Prozentpunkte. Wenn du den Skalierer in die Pipeline einfügst, bleibt der Validierungs-Fold aus den Statistiken der Datenvorverarbeitung ausgeschlossen. Würdest du zuerst den gesamten Datensatz skalieren, käme es zu einer Datenleckage zwischen jedem Validierungs-Fold und den Trainingsdaten.

Eine Variante der Kreuzvalidierung auswählen#

Bei der einfachen k-fachen Kreuzvalidierung wird angenommen, dass Beispiele unabhängig und austauschbar sind. Ist das nicht der Fall, führt eine zufällige Aufteilung zu Datenleckage oder Folds, die die Aufgabe nicht repräsentieren:

• Stratifizierte k-fache Kreuzvalidierung: Hält den Klassenanteil in jedem Fold gleich dem des gesamten Datensatzes. Das ist wichtig, wenn eine seltene Klasse andernfalls in einem Fold fehlen könnte.
• Gruppiertes k-Fold-Verfahren: Alle Beispiele einer Gruppe, etwa eines Patienten, Videos oder Standorts, bleiben im selben Fold. So wird das Modell nie an nahezu identischen Bildern aus dem Trainingsdatensatz validiert. Das stratifizierte gruppierte k-Fold-Verfahren kombiniert beide Vorgaben.
• Zeitreihenaufteilung: Trainiert nur mit vergangenen Daten und validiert auf dem darauffolgenden Zeitraum. Bei jedem Durchlauf wird das Trainingsfenster vergrößert, denn beim Mischen zeitlich geordneter Daten würde das Modell die Zukunft sehen.
• Verschachtelte Kreuzvalidierung: Führt in jedem äußeren Fold eine innere Kreuzvalidierungsschleife zur Anpassung der Hyperparameter aus. So wird der Score des äußeren Durchlaufs nicht dadurch erhöht, dass auf denselben Folds angepasst wird, auf denen er ermittelt wird.

Kreuzvalidierung beim Deep Learning#

Ein tiefes neuronales Netz k-mal zu trainieren, vervielfacht die Rechenkosten um den Faktor k. Deshalb wird bei großen Datensätzen wie ImageNet und COCO ein einziger fester Validierungssplit verwendet, der bereits groß genug für einen stabilen Score ist. Bei kleinen Bilddatensätzen mit einigen Hundert bis einigen Tausend Bildern lohnt sich die Kreuzvalidierung, da ein einzelner Validierungssplit möglicherweise nur eine Handvoll Beispiele pro Klasse enthält. Der Ultralytics-Leitfaden zur k-fachen Kreuzvalidierung teilt einen Erkennungsdatensatz mit KFold von scikit-learn in fünf Folds auf, erstellt für jeden Fold Listen der Trainings- und Validierungsbilder sowie eine YAML-Datei für den Datensatz und trainiert ein YOLO26-Modell pro Fold. Da Erkennungsbilder üblicherweise mehrere Klassen enthalten, können sie nicht anhand eines einzelnen Labels stratifiziert werden. Deshalb erfasst der Leitfaden für jede Klasse und jeden Fold auch das Verhältnis der Validierungslabels zu den Trainingslabels.

Kreuzvalidierung und verwandte Begriffe#

• Validierung mit Zurückhalten: Ein einzelner Split, etwa 80/20, wird einmal ausgewertet. Das kostet einen Trainingsdurchlauf und eignet sich für große Datensätze. Der Score hängt davon ab, welche Beispiele im Validierungssplit landen.
• Bootstrap-Verfahren: Erstellt Trainingsdatensätze durch Ziehen mit Zurücklegen und wertet jedes Modell anhand der Beispiele aus, die bei der Ziehung nicht ausgewählt wurden. Die k-fache Kreuzvalidierung unterteilt die Daten ohne Zurücklegen, sodass jedes Beispiel genau einem Fold angehört.
• Auswertung mit einem Testsatz: Die Kreuzvalidierung wählt zwischen Modellen und Einstellungen aus. Ein separater Testsatz, der bei allen Folds außen vor bleibt, liefert die abschließende Schätzung für das ausgewählte Modell.