Overfitting

Overfitting tritt im Machine Learning auf, wenn ein Modell die Trainingsdaten zu gut lernt und dabei Rauschen sowie zufällige Schwankungen erfasst, anstatt die zugrunde liegende Datenverteilung zu verstehen. Anstatt allgemeine Muster zu lernen, die auf neue, unbekannte Daten anwendbar sind, merkt sich ein überangepasstes Modell effektiv die spezifischen Beispiele aus dem Trainingsdatensatz. Dies führt zu einer exzellenten Leistung bei den Trainingsdaten, jedoch zu einer schlechten Generalisierung auf reale Szenarien. Es wird oft als "hohe Varianz" bezeichnet, was bedeutet, dass die Vorhersagen des Modells je nach spezifischem Datensatz, der für das Training verwendet wurde, erheblich variieren.

Warum Overfitting auftritt#

Die Hauptursache für Overfitting ist eine übermäßige Modellkomplexität im Verhältnis zur Menge der verfügbaren Daten. Wenn ein neural network zu groß ist – das heißt, es hat zu viele Schichten oder Parameter –, kann es sich die Trainingsbeispiele leicht einprägen. Zu den weiteren beitragenden Faktoren gehören:

• Unzureichende Trainingsdaten: Kleine Datensätze können irreführende Korrelationen enthalten, die in der breiteren Grundgesamtheit nicht existieren. Modelle, die mit begrenzten Daten trainiert wurden, neigen dazu, diese zufälligen Muster zu erlernen.
• Data Noise and Outliers: Ein hohes Maß an Rauschen oder nicht repräsentativen Ausreißern in den training data kann das Modell in die Irre führen und dazu veranlassen, seine internen Parameter so anzupassen, dass es Anomalien anstelle des eigentlichen Signals abbildet.
• Extended Training Duration: Das Training über zu viele epochs ermöglicht es dem Modell, seine Gewichte so lange weiter zu verfeinern, bis es das Rauschen im Trainingsset anpasst. Dies wird häufig mithilfe von validation data überwacht.

Overfitting vs. Underfitting#

Es ist wichtig, Overfitting von underfitting zu unterscheiden. Während Overfitting das Lernen zu vieler Details (einschließlich Rauschen) beinhaltet, liegt Underfitting vor, wenn ein Modell zu einfach ist, um die zugrunde liegende Struktur der Daten überhaupt zu erfassen. Ein unterangepasstes Modell liefert sowohl bei den Trainingsdaten als auch bei neuen Daten schlechte Ergebnisse, was häufig zu einem hohen Bias führt. Das Ausbalancieren dieser beiden Extreme wird als bias-variance tradeoff bezeichnet.

Overfitting verhindern#

Ingenieure nutzen verschiedene Techniken, um Overfitting zu mindern und die Robustheit des Modells zu verbessern:

• Regularization: Techniken wie L1/L2-Regularisierung oder das Hinzufügen von dropout layers führen während des Trainings Bestrafungen oder Zufälligkeiten ein und verhindern so, dass sich das Modell zu stark auf bestimmte Merkmale verlässt.
• Early Stopping: Die Überwachung der loss function an einem Validierungsset ermöglicht es, das Training anzuhalten, sobald sich die Leistung bei ungesehenen Daten nicht mehr verbessert, selbst wenn die Trainingsgenauigkeit weiter steigt.
• Data Augmentation: Das künstliche Vergrößern und Diversifizieren des Trainingssets mithilfe von data augmentation erschwert es dem Modell, sich exakte Bilder einzuprägen.
• Cross-Validation: Die Verwendung von Techniken wie k-fold cross-validation stellt sicher, dass das Modell an verschiedenen Daten-Teilmengen getestet wird, was eine zuverlässigere Schätzung seiner Leistung liefert.

Beispiele aus der Praxis#

Overfitting kann schwerwiegende Folgen haben, wenn KI in Produktionsumgebungen eingesetzt wird:

• Medical Diagnosis: In AI in healthcare kann ein Modell, das darauf trainiert ist, Hautkrebs zu erkennen, ein Overfitting auf die Lichtverhältnisse oder Linealmarkierungen in den Trainingsbildern aufweisen. Wenn es in einer Klinik mit anderer Beleuchtung oder Ausrüstung eingesetzt wird, erkennt das Modell bösartige Läsionen möglicherweise nicht richtig, da es sich auf irrelevante Hintergrundhinweise verlassen hat.
• Finanzprognosen: Ein Modell zur Aktienkursvorhersage könnte sich auf historische Markttrends überanpassen, die durch ein spezifisches, nicht wiederholbares Ereignis (wie eine einmalige Wirtschaftskrise) ausgelöst wurden. Ein solches Modell würde zukünftige Aktienbewegungen wahrscheinlich nicht genau vorhersagen können, da es vergangene Anomalien auswendig gelernt hat, anstatt grundlegende Marktdynamiken zu lernen.

Code-Beispiel: Early Stopping mit YOLO26#

Mit der Ultralytics Platform oder lokalen Trainingsskripten kannst du Overfitting verhindern, indem du eine Geduld für das frühe Stoppen (Early Stopping Patience) einstellst. Dadurch wird das Training gestoppt, wenn sich die Validierungsfitness für eine bestimmte Anzahl von Epochen nicht verbessert.

from ultralytics import YOLO

# Load the YOLO26 model (latest generation)
model = YOLO("yolo26n.pt")

# Train with early stopping enabled (patience=50 epochs)
# If validation metrics don't improve for 50 epochs, training stops.
results = model.train(data="coco8.yaml", epochs=100, patience=50)

Verwandte Konzepte#

• Generalisierung: Die Fähigkeit eines Modells, sich anzupassen und bei neuen, bisher unbekannten Daten gut abzuschneiden, was das Gegenteil von Overfitting ist.
• Cross-Validation: Eine Technik zur Beurteilung, wie sich die Ergebnisse einer statistischen Analyse auf einen unabhängigen Datensatz generalize lassen.
• Regularisierung: Methoden, die verwendet werden, um Fehler durch die angemessene Anpassung einer Funktion an den gegebenen Trainingsdatensatz zu reduzieren und Overfitting zu vermeiden.