Overfitting

Overfitting tritt im Machine Learning auf, wenn ein Modell die Trainingsdaten zu gut lernt und dabei Rauschen sowie zufällige Schwankungen erfasst, anstatt die zugrunde liegende Datenverteilung zu verstehen. Anstatt allgemeine Muster zu lernen, die auf neue, unbekannte Daten anwendbar sind, merkt sich ein überangepasstes Modell effektiv die spezifischen Beispiele aus dem Trainingsdatensatz. Dies führt zu einer exzellenten Leistung bei den Trainingsdaten, jedoch zu einer schlechten Generalisierung auf reale Szenarien. Es wird oft als "hohe Varianz" bezeichnet, was bedeutet, dass die Vorhersagen des Modells je nach spezifischem Datensatz, der für das Training verwendet wurde, erheblich variieren.

Link to this sectionWarum Overfitting auftritt#

Die Hauptursache für Overfitting ist eine übermäßige Modellkomplexität im Verhältnis zur Menge der verfügbaren Daten. Wenn ein neurales Netzwerk zu groß ist – also zu viele Schichten oder Parameter besitzt –, kann es sich die Trainingsbeispiele leicht merken. Weitere beitragende Faktoren sind:

• Unzureichende Trainingsdaten: Kleine Datensätze können irreführende Korrelationen enthalten, die in der breiteren Grundgesamtheit nicht existieren. Modelle, die mit begrenzten Daten trainiert wurden, neigen dazu, diese zufälligen Muster zu erlernen.
• Datenrauschen und Ausreißer: Ein hohes Maß an Rauschen oder nicht repräsentativen Ausreißern in den Trainingsdaten kann das Modell irreführen und dazu veranlassen, seine internen Parameter an Anomalien anzupassen, anstatt das eigentliche Signal zu erfassen.
• Verlängerte Trainingsdauer: Das Training über zu viele Epochen hinweg ermöglicht es dem Modell, seine Gewichte so lange zu verfeinern, bis es das Rauschen im Trainingssatz anpasst. Dies wird häufig mithilfe von Validierungsdaten überwacht.

Link to this sectionOverfitting vs. Underfitting#

Es ist wichtig, Overfitting von Underfitting zu unterscheiden. Während Overfitting das Lernen von zu vielen Details (einschließlich Rauschen) beinhaltet, tritt Underfitting auf, wenn ein Modell zu einfach ist, um die zugrunde liegende Struktur der Daten überhaupt zu erfassen. Ein unterangepasstes Modell schneidet sowohl bei den Trainingsdaten als auch bei neuen Daten schlecht ab, was oft zu einem hohen Bias führt. Das Ausbalancieren dieser beiden Extreme wird als Bias-Varianz-Dilemma bezeichnet.

Link to this sectionOverfitting verhindern#

Ingenieure nutzen verschiedene Techniken, um Overfitting zu mindern und die Robustheit des Modells zu verbessern:

• Regularisierung: Techniken wie L1/L2-Regularisierung oder das Hinzufügen von Dropout-Schichten führen während des Trainings Strafen oder Zufälligkeit ein, wodurch verhindert wird, dass sich das Modell zu sehr auf spezifische Merkmale verlässt.
• Early Stopping: Die Überwachung der Verlustfunktion in einem Validierungsdatensatz ermöglicht es, das Training abzubrechen, sobald sich die Leistung bei unbekannten Daten nicht mehr verbessert, selbst wenn die Trainingsgenauigkeit weiter steigt.
• Datenaugmentierung: Die künstliche Erhöhung der Größe und Vielfalt des Trainingssatzes durch Datenaugmentierung macht es für das Modell schwieriger, exakte Bilder auswendig zu lernen.
• Kreuzvalidierung: Die Verwendung von Techniken wie k-fache Kreuzvalidierung stellt sicher, dass das Modell an verschiedenen Teilmengen der Daten getestet wird, was eine zuverlässigere Einschätzung seiner Leistung ermöglicht.

Link to this sectionBeispiele aus der Praxis#

Overfitting kann schwerwiegende Folgen haben, wenn KI in Produktionsumgebungen eingesetzt wird:

• Medizinische Diagnose: Bei KI im Gesundheitswesen könnte ein Modell, das zur Erkennung von Hautkrebs trainiert wurde, auf die Lichtverhältnisse oder Linealmarkierungen in den Trainingsbildern überangepasst sein. Bei einem Einsatz in einer Klinik mit anderen Lichtverhältnissen oder Geräten könnte das Modell bösartige Läsionen nicht korrekt identifizieren, weil es sich auf irrelevante Hintergrundinformationen gestützt hat.
• Finanzprognosen: Ein Modell zur Aktienkursvorhersage könnte sich auf historische Markttrends überanpassen, die durch ein spezifisches, nicht wiederholbares Ereignis (wie eine einmalige Wirtschaftskrise) ausgelöst wurden. Ein solches Modell würde zukünftige Aktienbewegungen wahrscheinlich nicht genau vorhersagen können, da es vergangene Anomalien auswendig gelernt hat, anstatt grundlegende Marktdynamiken zu lernen.

Link to this sectionCode-Beispiel: Early Stopping mit YOLO26#

Mithilfe der Ultralytics Platform oder lokaler Trainingsskripte kannst du Overfitting verhindern, indem du eine Geduld für das Early Stopping festlegst. Dies stoppt das Training, wenn sich die Validierungsfitness für eine festgelegte Anzahl von Epochen nicht verbessert.

from ultralytics import YOLO

# Load the YOLO26 model (latest generation)
model = YOLO("yolo26n.pt")

# Train with early stopping enabled (patience=50 epochs)
# If validation metrics don't improve for 50 epochs, training stops.
results = model.train(data="coco8.yaml", epochs=100, patience=50)

Link to this sectionVerwandte Konzepte#

• Generalisierung: Die Fähigkeit eines Modells, sich anzupassen und bei neuen, bisher unbekannten Daten gut abzuschneiden, was das Gegenteil von Overfitting ist.
• Kreuzvalidierung: Eine Technik zur Bewertung, wie die Ergebnisse einer statistischen Analyse auf einen unabhängigen Datensatz generalisiert werden können.
• Regularisierung: Methoden, die verwendet werden, um Fehler durch die angemessene Anpassung einer Funktion an den gegebenen Trainingsdatensatz zu reduzieren und Overfitting zu vermeiden.