Data Leakage

Datenleckage beim maschinellen Lernen (ML) entsteht, wenn die Trainingsdaten oder die Auswertung Informationen enthalten, die einem Modell bei echten Vorhersagen nicht zur Verfügung stehen. Dazu gehören beispielsweise Beispiele aus dem Testdatensatz, zukünftige Werte oder Merkmale, die die Antwort verraten. Während der Entwicklung und beim Testen des Modells scheint das Modell genau zu sein, doch im Produktiveinsatz bleibt es hinter den Erwartungen zurück, weil die genutzte Abkürzung nicht mehr verfügbar ist. Datenleckage ist eine der Hauptursachen für nicht reproduzierbare Ergebnisse: Eine Übersicht über wissenschaftliche Arbeiten zum maschinellen Lernen zählte 294 betroffene Arbeiten aus 17 Fachgebieten. Bei der Vorhersage von Bürgerkriegen verschwand der berichtete Vorsprung komplexer Modelle gegenüber jahrzehntealter logistischer Regression, nachdem die Datenleckage korrigiert worden war.

Wie Datenleckage entsteht#

Datenleckage entsteht durch die Aufteilung, Verarbeitung oder Auswahl von Daten als Eingabe. Dieselben Fehler treten bei Tabellenmodellen, der Zeitreihenanalyse und Bildverarbeitungsaufgaben wie der Aktionserkennung immer wieder auf:

• Kontamination von Trainings- und Testdaten: Schritte, die aus Daten lernen, etwa die Berechnung von Normalisierungsstatistiken, die Imputation oder die Merkmalsauswahl, werden vor der Aufteilung auf den gesamten Datensatz angewendet. Dadurch enthalten die Trainingsdaten Informationen über die Auswertungsaufteilung. Denselben Effekt haben doppelte Bilder und augmentierte Kopien, die vor der Aufteilung erstellt werden.
• Gruppenleckage: Zusammengehörige Stichproben werden auf verschiedene Teilmengen verteilt, etwa aufeinanderfolgende Einzelbilder aus einem Video, mehrere Aufnahmen derselben Person oder Fotos derselben Szene. Ein Modell kann dann gut abschneiden, indem es die Szene oder Person wiedererkennt, statt die Aufgabe zu lernen.
• Zeitliche Datenleckage: Eine zufällige Aufteilung zeitlich geordneter Daten oder die Berechnung von Merkmalen anhand von Werten, die erst nach dem Vorhersagezeitpunkt verfügbar sind, ermöglicht dem Modell einen Blick in die Zukunft.
• Zielvariablen-Leckage: Eine Eingabe ist eine Folge der Zielvariable oder ein Stellvertreter dafür, etwa ein Feld „Behandlung erhalten“ in einem Modell zur Vorhersage von Krankheiten.
• Wiederverwendung von Auswertungsdaten: Die Feinabstimmung anhand des Testdatensatzes oder das Vorkommen von Benchmark-Fragen in den webweiten Vortrainingsdaten eines großen Sprachmodells macht die Auswertung zu einem Trainingssignal.

Auch Bilder können Zielvariablen-Leckage enthalten. Im ChestX-ray14-Datensatz zeigten 80 % der Röntgenbilder mit Pneumothorax im Testdatensatz auch eine Thoraxdrainage, also den Schlauch zur Behandlung der Erkrankung. Ein auf diesem Datensatz trainierter Klassifikator erzielte auf Bildern mit Drainage einen ROC-AUC-Wert von 0,94, auf Bildern ohne Drainage jedoch nur 0,77. Gerade unbehandelte Fälle soll ein Detektor erkennen.

Datenleckage im Code veranschaulichen#

Einen datenabhängigen Schritt vor der Kreuzvalidierung auszuführen, ist ein klassischer Fehler, dessen Auswirkung sich leicht messen lässt. Das folgende Beispiel erzeugt reines Rauschen, sodass kein Modell bei neuen Daten eine Genauigkeit von mehr als 50 % erreichen kann. Anschließend wählt es die 20 Merkmale aus, die die Labels am besten trennen, und führt zweimal eine Kreuzvalidierung mit logistischer Regression durch: einmal mit der Merkmalsauswahl, die auf allen Stichproben angepasst wurde, und einmal mit der Merkmalsauswahl innerhalb einer scikit-learn-Pipeline, die sie für jeden Trainingsfold neu anpasst.

import numpy as np
from sklearn.feature_selection import SelectKBest
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import cross_val_score
from sklearn.pipeline import make_pipeline

# Pure noise: 100 samples, 5,000 random features, random labels (true accuracy is 50%)
rng = np.random.default_rng(0)
X = rng.normal(size=(100, 5000))
y = rng.integers(0, 2, size=100)

# Leaky: pick the 20 features that best separate the labels using every sample, then cross-validate
X_selected = SelectKBest(k=20).fit_transform(X, y)
leaky = cross_val_score(LogisticRegression(), X_selected, y, cv=5).mean()

# Correct: feature selection is refit inside each training fold
pipeline = make_pipeline(SelectKBest(k=20), LogisticRegression())
clean = cross_val_score(pipeline, X, y, cv=5).mean()
print(f"Leaky CV accuracy: {leaky:.2f}, correct CV accuracy: {clean:.2f}")

Die undichte Variante meldet bei zufälligen Labels eine Genauigkeit von 85 %, während die Pipeline 48 % und damit Zufallsniveau erreicht. Bei 5.000 Merkmalen und 100 Stichproben korrelieren manche Merkmale zufällig mit den Labels. Werden sie unter Einbeziehung der Validierungsfolds ausgewählt, fließt dieser Zufall in die Bewertung jedes Folds ein.

Datenleckage verhindern#

Die Vermeidung beginnt mit der Aufteilung der Daten. Sie muss vor allen Schritten erfolgen, die aus den Daten lernen, damit die Validierungsdaten und Testdaten unberührt bleiben:

• Vor dem Feature Engineering aufteilen: Passe Skalierer, Imputer, Encoder und Merkmalsauswahl nur auf der Trainingsaufteilung an und wende sie unverändert auf die anderen Aufteilungen an.
• Nach Gruppe oder Zeit aufteilen: Weise alle Stichproben derselben Person, desselben Videos oder derselben Szene einer einzigen Aufteilung zu. Trainiere mit Daten aus der Vergangenheit und teste mit Daten aus der Zukunft.
• Mit Hashes und Embeddings deduplizieren: Vergleiche vor dem Training die Datei-Hashes auf exakte Kopien und die Embedding-Ähnlichkeit auf nahezu identische Kopien in verschiedenen Aufteilungen.
• Eingaben überprüfen: Prüfe, ob jedes Merkmal zum Vorhersagezeitpunkt verfügbar ist, und untersuche ein einzelnes dominantes Merkmal oder einen verdächtig hohen Wert als möglichen Fehler.

Datenleckage verzerrt auch die Auswahl von Checkpoints. Ultralytics YOLO lernt anhand der in einer Datensatz-YAML aufgeführten train-Bilder und speichert best.pt aus der Epoche mit der höchsten Validierungsleistung. Bei der Erkennung entspricht diese mAP50-95. Wenn nahezu identische Einzelbilder sowohl in train als auch in val vorkommen, wird sowohl der Wert, anhand dessen der Checkpoint ausgewählt wird, als auch der berichtete Wert erhöht.

Datenleckage und verwandte Begriffe#

• Überanpassung: Das Modell merkt sich das Rauschen in legitimen Trainingsdaten und schneidet bei einem sauberen Validierungsdatensatz schlecht ab. Datenleckage verfälscht den Validierungswert selbst, sodass ein überangepasstes Modell gut erscheinen kann.
• Abkürzungslernen: Das Modell verlässt sich auf ein irreführendes Signal, etwa ein Wasserzeichen oder den Hintergrund, das mit dem Label korreliert. Bei Datenleckage gelangt ein solches Signal aus Informationen ins Training oder in die Auswertung, die beim Einsatz nicht verfügbar sind.
• Datensicherheit: In der Cybersicherheit bezeichnet Datenleckage die Offenlegung sensibler Daten gegenüber Unbefugten. Dagegen helfen Zugriffskontrollen, Verschlüsselung und Maßnahmen zur Verhinderung von Datenverlust. Die beiden Bedeutungen haben nur denselben Namen.