Overfitting

Overfitting tritt im maschinellen Lernen auf, wenn ein Modell die Trainingsdaten zu gut lernt und dabei Rauschen sowie zufällige Schwankungen erfasst, anstatt der zugrunde liegenden Datenverteilung. Statt allgemeine Muster zu lernen, die auf neue, bisher unbekannte Daten übertragbar sind, merkt sich ein überangepasstes Modell effektiv die spezifischen Beispiele im Trainingsdatensatz. Dies führt zu einer hervorragenden Leistung bei den Trainingsdaten, aber zu einer schlechten Generalisierung auf reale Szenarien. Dies wird häufig als „hohe Varianz“ bezeichnet. Damit ist gemeint, dass die Vorhersagen des Modells je nach verwendetem Trainingsdatensatz erheblich variieren.

Warum Overfitting auftritt#

Die Hauptursache für Overfitting ist eine übermäßige Modellkomplexität im Verhältnis zur verfügbaren Datenmenge. Wenn ein neuronales Netzwerk zu groß ist – also zu viele Schichten oder Parameter besitzt –, kann es sich die Trainingsbeispiele leicht merken. Weitere Faktoren sind:

• Unzureichende Trainingsdaten: Kleine Datensätze können Scheinkorrelationen enthalten, die in der Gesamtpopulation nicht existieren. Mit begrenzten Daten trainierte Modelle neigen dazu, diese zufälligen Muster zu lernen.
• Datenrauschen und Ausreißer: Starkes Rauschen oder nicht repräsentative Ausreißer in den Trainingsdaten können das Modell in die Irre führen und dazu bringen, seine internen Parameter an Anomalien statt an das tatsächliche Signal anzupassen.
• Verlängerte Trainingsdauer: Wenn zu viele Epochen trainiert werden, kann das Modell seine Gewichte weiter anpassen, bis es das Rauschen im Trainingsdatensatz abbildet. Dies wird häufig anhand von Validierungsdaten überwacht.

Overfitting und Underfitting#

Es ist wichtig, Overfitting von Underfitting zu unterscheiden. Während beim Overfitting zu viele Details einschließlich des Rauschens gelernt werden, tritt Underfitting auf, wenn ein Modell zu einfach ist, um die zugrunde liegende Struktur der Daten überhaupt zu erfassen. Ein Modell mit Underfitting erzielt sowohl bei den Trainingsdaten als auch bei neuen Daten schlechte Ergebnisse und weist häufig eine hohe Verzerrung auf. Das Ausbalancieren dieser beiden Extreme wird als Bias-Varianz-Abwägung bezeichnet.

Overfitting verhindern#

Ingenieure setzen verschiedene Techniken ein, um Overfitting zu verringern und die Robustheit des Modells zu verbessern:

• Regularisierung: Techniken wie die L1-/L2-Regularisierung oder das Hinzufügen von Dropout-Schichten führen während des Trainings Strafterme oder Zufälligkeit ein und verhindern, dass sich das Modell zu stark auf bestimmte Merkmale verlässt.
• Early Stopping: Durch die Überwachung der Verlustfunktion auf einem Validierungsdatensatz kann das Training beendet werden, sobald sich die Leistung bei bisher unbekannten Daten nicht mehr verbessert, selbst wenn die Trainingsgenauigkeit weiter steigt.
• Datenerweiterung: Eine künstliche Vergrößerung und Diversifizierung des Trainingsdatensatzes mithilfe von Datenerweiterung erschwert es dem Modell, sich exakte Bilder zu merken.
• Kreuzvalidierung: Techniken wie die k-fache Kreuzvalidierung stellen sicher, dass das Modell anhand verschiedener Teilmengen der Daten getestet wird, und liefern dadurch eine zuverlässigere Einschätzung seiner Leistung.

Beispiele aus der Praxis#

Overfitting kann beim Einsatz von KI in Produktionsumgebungen schwerwiegende Folgen haben:

• Medizinische Diagnose: In der KI im Gesundheitswesen könnte ein Modell, das zum Erkennen von Hautkrebs trainiert wurde, zu stark auf die Lichtverhältnisse oder Linealmarkierungen in den Trainingsbildern angepasst sein. Beim Einsatz in einer Klinik mit anderen Lichtverhältnissen oder Geräten erkennt das Modell möglicherweise bösartige Läsionen nicht korrekt, weil es sich auf irrelevante Hintergrundmerkmale verlassen hat.
• Finanzprognosen: Ein Modell zur Vorhersage von Aktienkursen könnte sich zu stark an historischen Markttrends orientieren, die durch ein bestimmtes, nicht wiederholbares Ereignis wie eine einmalige Wirtschaftskrise verursacht wurden. Ein solches Modell würde zukünftige Aktienbewegungen wahrscheinlich nicht präzise vorhersagen, weil es sich vergangene Anomalien gemerkt hat, anstatt grundlegende Marktdynamiken zu lernen.

Codebeispiel: Early Stopping mit Ultralytics YOLO26#

Mit der Ultralytics Platform oder lokalen Trainingsskripten kannst du Overfitting verhindern, indem du eine Geduld für Early Stopping festlegst. Dadurch wird das Training beendet, wenn sich die Validierungsfitness über eine festgelegte Anzahl von Epochen hinweg nicht verbessert.

from ultralytics import YOLO

# Load the YOLO26 model (latest generation)
model = YOLO("yolo26n.pt")

# Train with early stopping enabled (patience=50 epochs)
# If validation metrics don't improve for 50 epochs, training stops.
results = model.train(data="coco8.yaml", epochs=100, patience=50)

Verwandte Konzepte#

• Generalisierung: Die Fähigkeit eines Modells, sich an neue, bisher unbekannte Daten anzupassen und mit ihnen gute Ergebnisse zu erzielen; sie ist das Gegenteil von Overfitting.
• Kreuzvalidierung: Eine Technik zur Beurteilung, wie gut sich die Ergebnisse einer statistischen Analyse auf einen unabhängigen Datensatz übertragen lassen.
• Regularisierung: Methoden, die Fehler reduzieren, indem sie eine Funktion passend an den gegebenen Trainingsdatensatz anpassen und Overfitting vermeiden.