Overfitting

Overfitting ist ein grundlegendes Konzept im maschinellen Lernen (ML), das auftritt, wenn ein Modell die Details und das Rauschen in den Trainingsdaten in dem Maße lernt, dass es die Leistung des Modells bei neuen, ungesehenen Daten negativ beeinflusst. Im Wesentlichen speichert das Modell den Trainingsdatensatz, anstatt die zugrunde liegenden Muster zu lernen. Dies führt zu einem Modell, das eine hohe Genauigkeit bei den Daten erreicht, mit denen es trainiert wurde, aber nicht auf reale Daten generalisiert werden kann, was es für praktische Anwendungen unzuverlässig macht. Das Erreichen einer guten Generalisierung ist ein Hauptziel in der KI-Entwicklung.

Wie man Overfitting identifiziert

Overfitting wird typischerweise identifiziert, indem die Leistung des Modells sowohl auf dem Trainingsdatensatz als auch auf einem separaten Validierungsdatensatz während des Trainingsprozesses überwacht wird. Ein häufiges Anzeichen für Overfitting ist, wenn der Wert der Loss-Funktion für den Trainingssatz weiter abnimmt, während der Loss für den Validierungssatz zu steigen beginnt. Wenn sich die Trainingsgenauigkeit immer weiter verbessert, die Validierungsgenauigkeit jedoch über nachfolgende Epochen stagniert oder sich verschlechtert, ist es wahrscheinlich, dass das Modell überangepasst ist. Tools wie TensorBoard eignen sich hervorragend, um diese Metriken zu visualisieren und solche Probleme frühzeitig zu erkennen. Plattformen wie Ultralytics HUB können ebenfalls helfen, Experimente zu verfolgen und Modelle zu bewerten, um Overfitting zu erkennen.

Overfitting vs. Underfitting

Overfitting und Underfitting sind zwei häufige Probleme beim maschinellen Lernen, die das Scheitern eines Modells bei der Generalisierung darstellen. Im Wesentlichen handelt es sich um gegensätzliche Probleme.

• Overfitting: Das Modell ist für die Daten zu komplex (hohe Varianz). Es erfasst Rauschen und zufällige Schwankungen in den Trainingsdaten, was zu einer ausgezeichneten Leistung während des Trainings, aber zu einer schlechten Leistung bei den Testdaten führt.
• Underfitting (Unteranpassung): Das Modell ist zu einfach, um die zugrunde liegende Struktur der Daten zu erfassen (hoher Bias). Es schneidet sowohl bei den Trainings- als auch bei den Testdaten schlecht ab, weil es die relevanten Muster nicht erlernen kann.

Die Herausforderung beim Deep Learning besteht darin, das richtige Gleichgewicht zu finden, ein Konzept, das oft durch den Bias-Variance-Tradeoff beschrieben wird.

Beispiele für Overfitting in der Praxis

1. Objekterkennung für autonome Fahrzeuge: Stellen Sie sich vor, Sie trainieren ein Ultralytics YOLO-Modell für ein autonomes Fahrzeug mit einem Datensatz, der nur Bilder von sonnigen Tagesbedingungen enthält. Das Modell könnte sich stark auf die Erkennung von Fußgängern und Autos bei hellem Licht spezialisieren, aber bei Nacht oder bei Regen oder Nebel dramatisch versagen. Es hat auf die spezifischen Licht- und Wetterbedingungen der Trainingsdaten überangepasst. Die Verwendung verschiedener Datensätze wie Argoverse kann dies verhindern.
2. Medizinische Bildanalyse: Ein CNN-Modell wird trainiert, um Tumore in MRT-Scans zu erkennen, die von einem einzigen Krankenhaus stammen. Das Modell lernt möglicherweise unbeabsichtigt, bestimmte Artefakte oder Rauschmuster des jeweiligen MRT-Geräts dieses Krankenhauses mit dem Vorhandensein eines Tumors zu assoziieren. Wenn es mit Scans aus einem anderen Krankenhaus mit einem anderen Gerät getestet wird, könnte seine Leistung erheblich sinken, da es an das Rauschen des ursprünglichen Trainingsdatensatzes angepasst wurde, und nicht an die tatsächlichen biologischen Marker von Tumoren. Dies ist ein kritisches Problem in Bereichen wie KI im Gesundheitswesen.

Wie man Overfitting verhindert

Es können verschiedene Techniken eingesetzt werden, um Overfitting zu bekämpfen und robustere Modelle zu erstellen.

• Mehr Daten erhalten: Die Erhöhung der Größe und Vielfalt des Trainingsdatensatzes ist eine der effektivsten Möglichkeiten, um Overfitting zu verhindern. Mehr Daten helfen dem Modell, die wahren zugrunde liegenden Muster anstelle von Rauschen zu lernen. Sie können eine Vielzahl von Ultralytics-Datensätzen erkunden, um Ihre Projekte zu verbessern.
• Datenerweiterung: Dies beinhaltet die künstliche Erweiterung des Trainingsdatensatzes durch Erstellung modifizierter Kopien vorhandener Daten. Es werden Techniken wie zufällige Drehungen, Skalierungen, Zuschneidungen und Farbverschiebungen angewendet. Ultralytics YOLO-Datenerweiterungstechniken sind integriert, um die Modellrobustheit zu verbessern.
• Modellarchitektur vereinfachen: Manchmal ist ein Modell für den gegebenen Datensatz zu komplex. Die Verwendung einer einfacheren Architektur mit weniger Parametern kann verhindern, dass es die Daten auswendig lernt. Beispielsweise kann die Wahl einer kleineren Modellvariante wie YOLOv8n vs. YOLOv8x für kleinere Datensätze von Vorteil sein.
• Regularisierung: Diese Technik fügt der Verlustfunktion eine Strafe hinzu, die auf der Komplexität des Modells basiert, wodurch große Modellgewichte vermieden werden. Gängige Methoden sind die L1- und L2-Regularisierung, über die Sie hier mehr lesen können.
• Dropout: Eine spezielle Form der Regularisierung, bei der ein zufälliger Bruchteil der Neuronen während jedes Trainingsschritts ignoriert wird. Dies zwingt das Netzwerk, redundante Darstellungen zu lernen und verhindert, dass ein einzelnes Neuron zu einflussreich wird. Das Dropout-Konzept wird hier ausführlich erläutert.
• Early Stopping: Dies beinhaltet die Überwachung der Leistung des Modells auf einem Validierungsdatensatz und das Anhalten des Trainingsprozesses, sobald die Validierungsleistung zu sinken beginnt, selbst wenn sich die Trainingsleistung noch verbessert. Eine Erläuterung zu Early Stopping in Keras finden Sie hier.
• Kreuzvalidierung: Durch die Verwendung von Techniken wie der K-Fold-Kreuzvalidierung werden die Daten in mehrere Folds aufgeteilt, und das Modell wird auf verschiedenen Teilmengen trainiert und validiert. Dies liefert eine robustere Schätzung der Fähigkeit des Modells zur Generalisierung.
• Model Pruning (Modellbeschneidung): Dies beinhaltet das Entfernen von Parametern oder Verbindungen aus einem trainierten Netzwerk, die wenig Einfluss auf seine Leistung haben, wodurch die Komplexität reduziert wird. Unternehmen wie Neural Magic bieten Tools an, die sich auf das Beschneiden von Modellen für einen effizienten Einsatz spezialisiert haben.