Overfitting

Überanpassung tritt beim maschinellem Lernen (ML), wenn ein Modell die die spezifischen Details und das Rauschen der Trainingsdaten in einem dass sich dies negativ auf seine Leistung bei neuen Daten auswirkt. Im Wesentlichen merkt sich das Modell die Trainings Trainingsbeispiele, anstatt die zugrunde liegenden Muster zu lernen, die für die Verallgemeinerung. Dies führt zu einem System, das zwar eine hohe während der Entwicklung eine hohe Genauigkeit erreicht, aber keine zuverlässigen Vorhersagen liefert, wenn es in realen Szenarien eingesetzt wird.

Das Verständnis des Phänomens

Im Kontext des überwachten Lernens ist das Ziel ist es, ein Modell zu erstellen, das auch bei unbekannten Eingaben, den so genannten Testdaten. Überanpassung tritt typischerweise auf, wenn ein Modell im Verhältnis zur Menge der verfügbaren Daten zu komplex ist, eine Situation, die oft als hohe Varianz beschrieben wird. Ein solches Modell nimmt zufällige Fluktuationen oder "Rauschen" im Datensatz auf, als wären sie signifikante Merkmale. Diese ist eine zentrale Herausforderung beim Deep Learning (DL), und erfordert von den Entwicklern ein Gleichgewicht zwischen Komplexität und Flexibilität, das oft als Kompromiss zwischen Verzerrung und Varianz.

Beispiele aus der Praxis

Eine Überanpassung kann je nach Anwendung schwerwiegende Folgen haben:

• Autonome Fahrzeuge: Betrachten wir ein Bildverarbeitungssystem für autonome Fahrzeuge, das ausschließlich auf Bildern von Autobahnen trainiert wird, die bei sonnigem Wetter aufgenommen wurden. Das Modell könnte sich zu sehr an diese speziellen Lichtverhältnisse und Straßentexturen. Infolgedessen könnte es bei der Erkennung von Objekterkennung, wenn es regnet, Schatten oder in städtischen Umgebungen, was ein Sicherheitsrisiko darstellt.
• Medizinische Diagnostik: In KI im Gesundheitswesen könnte ein Modell trainiert werden, um Pathologien in Röntgenbildern zu erkennen. Wenn der Datensatz aus einem einzigen Krankenhaus stammt, könnte das Modell zu sehr an die spezifischen Artefakte der Bildgebungsgeräte dieses Krankenhauses anpassen. Bei Anwendung auf medizinischen Bildanalyse aus einer anderen Einrichtung angewandt, könnte die Leistung des Modells erheblich sinken, weil es das Rauschen der Geräte und nicht die biologischen Merkmale der Krankheit.

Erkennen und Verhindern von Überanpassung

Die Entwickler detect Überanpassung in der Regel durch die Überwachung Verlustfunktionen während des Trainings. Ein eindeutiger Indikator ist wenn der Trainingsverlust weiter abnimmt, während der Validierungsdatenverlust zu steigen beginnt. Zur Bekämpfung dies zu bekämpfen, werden verschiedene Techniken eingesetzt:

• Datenerweiterung: Hierbei wird die Vielfalt des Trainingssatzes künstlich erhöht. Durch Anwendung zufälliger Transformationen wie Drehen oder Spiegeln, Datenerweiterung wird verhindert, dass das Modell sich exakte Pixelanordnungen zu merken.
• Regularisierung: Methoden wie L1/L2-Regularisierung oder das Hinzufügen einer Dropout-Schicht bestrafen übermäßig komplexe Modelle durch einen Prozentsatz der Neuronen während der Trainingsdurchgänge ignorieren und das das neuronale Netz zum Erlernen redundanter, robuster Merkmale.
• Frühzeitiges Anhalten: Diese Technik stoppt den Trainingsprozess, sobald sich die Validierungsmetrik nicht mehr sich nicht mehr verbessert, so dass das Modell kein Rauschen in den späteren Epochen.

Overfitting vs. Underfitting

Es ist wichtig, dieses Konzept zu unterscheiden von Unteranpassung. Bei der Überanpassung handelt es sich um ein Modell, das zu komplex ist und sich zu sehr anstrengt, um die Trainingsdaten zu erfüllen (hohe Varianz), tritt Unteranpassung auf, wenn ein Modell zu einfach ist, um den zugrunde liegenden Trend der Daten zu erfassen (hohe Verzerrung). Beide führen zu einer schlechten Vorhersage Vorhersageleistung, allerdings aus entgegengesetzten Gründen. Um ein optimales Modell zu erhalten, muss man sich zwischen diesen beiden Extremen bewegen.

Praktische Umsetzung

Moderne Bibliotheken wie ultralytics die Umsetzung von Präventionsstrategien zu vereinfachen. Zum Beispiel, können die Benutzer einfach anwenden frühzeitiges Stoppen und Ausbildungsabbruch bei Ausbildung einer YOLO11 Modell.

from ultralytics import YOLO

# Load the YOLO11 model (recommended for latest SOTA performance)
model = YOLO("yolo11n.pt")

# Train with 'patience' for early stopping and 'dropout' for regularization
# This helps the model generalize better to new images
results = model.train(
    data="coco8.yaml",
    epochs=100,
    patience=10,  # Stop if validation loss doesn't improve for 10 epochs
    dropout=0.1,  # Randomly drop 10% of units to prevent co-adaptation
)