Underfitting

Underfitting ist ein häufiges Problem im maschinellen Lernen (ML), bei dem ein Modell zu einfach ist, um die zugrunde liegenden Muster in den Trainingsdaten zu erfassen. Diese Einfachheit verhindert, dass es die Beziehung zwischen den Eingabemerkmalen und der Zielvariablen lernt, was zu einer schlechten Leistung sowohl bei den Daten, mit denen es trainiert wurde, als auch bei neuen, ungesehenen Daten führt. Ein Underfit-Modell hat eine hohe Verzerrung (Bias), was bedeutet, dass es starke, oft falsche Annahmen über die Daten trifft. Dies führt zu einem Modell, das kein hohes Maß an Genauigkeit erreicht und nicht gut generalisieren kann.

Underfitting vs. Overfitting

Underfitting und Overfitting sind zwei zentrale Herausforderungen im ML-Bereich, die sich auf die Fähigkeit eines Modells beziehen, von Trainingsdaten auf neue Daten zu generalisieren. Sie stellen zwei Extreme auf dem Spektrum der Modellkomplexität dar.

• Underfitting (Unteranpassung): Das Modell ist zu einfach und hat eine hohe Verzerrung (Bias). Es lernt nicht die zugrunde liegende Struktur der Daten, was zu einem hohen Wert der Loss-Funktion und einer schlechten Leistung sowohl auf den Trainings- als auch auf den Validierungsdatensätzen führt.
• Overfitting: Das Modell ist zu komplex und weist eine hohe Varianz auf. Es lernt die Trainingsdaten zu gut, einschließlich des Rauschens und der zufälligen Schwankungen. Dies führt zu einer ausgezeichneten Leistung im Trainingsdatensatz, aber zu einer schlechten Leistung bei ungesehenen Daten, da das Modell im Wesentlichen die Trainingsbeispiele auswendig gelernt hat, anstatt allgemeine Muster zu lernen.

Das ultimative Ziel im ML ist es, ein Gleichgewicht zwischen diesen beiden zu finden, ein Konzept, das als Bias-Variance-Tradeoff bekannt ist, um ein Modell zu erstellen, das effektiv auf neue, reale Szenarien generalisiert. Die Analyse von Lernkurven ist eine gängige Methode zur Diagnose, ob ein Modell Underfitting, Overfitting oder eine gute Anpassung aufweist.

Ursachen und Lösungen für Underfitting

Das Erkennen und Beheben von Underfitting ist entscheidend für den Aufbau effektiver Modelle. Das Problem rührt typischerweise von einigen wenigen häufigen Ursachen her, von denen jede entsprechende Lösungen hat.

• Modell ist zu einfach: Die Verwendung eines linearen Modells für ein komplexes, nicht-lineares Problem ist eine klassische Ursache für Underfitting.
  • Lösung: Erhöhen Sie die Modellkomplexität. Dies könnte den Wechsel zu einer leistungsfähigeren Modellarchitektur beinhalten, wie z. B. einem tieferen neuronalen Netzwerk oder einem größeren vortrainierten Modell, wie z. B. der Wechsel von einer kleineren zu einer größeren Ultralytics YOLO-Modellvariante. Sie können verschiedene YOLO-Modellvergleiche untersuchen, um eine geeignetere Architektur auszuwählen.
• Unzureichende oder qualitativ schlechte Merkmale: Wenn die dem Modell zugeführten Eingabefunktionen nicht genügend Informationen enthalten, um genaue Vorhersagen zu treffen, wird das Modell Underfitting aufweisen.
  • Lösung: Verbessern Sie die Features durch Feature Engineering. Dies kann das Erstellen neuer Features, das Verwenden von polynomialen Features oder das Anwenden verschiedener Datenvorverarbeitungstechniken umfassen, um die zugrunde liegenden Muster besser darzustellen. Feature-Selection-Techniken können ebenfalls angewendet werden.
• Unzureichendes Training: Das Modell wurde möglicherweise nicht ausreichend trainiert Epochen, um die Muster in den Daten zu lernen.
  • Lösung: Erhöhen Sie die Trainingsdauer. Es ist wichtig, die Validierungsmetriken zu überwachen, um sicherzustellen, dass ein längeres Training nicht zu Overfitting führt. Tools wie Ultralytics HUB können Ihnen helfen, Ihre Trainingsexperimente zu verfolgen und zu verwalten.
• Übermäßige Regularisierung: Techniken wie L1- und L2-Regularisierung oder hoch Dropout Raten werden verwendet, um Overfitting zu verhindern. Wenn sie jedoch zu aggressiv sind, können sie das Modell zu stark einschränken und Underfitting verursachen.
  • Lösung: Reduzieren Sie den Grad der Regularisierung. Dies könnte bedeuten, dass Sie den Strafterm in Regularisierungsfunktionen senken oder die Dropout-Rate reduzieren. Das Befolgen von Best Practices für das Modelltraining kann helfen, das richtige Gleichgewicht zu finden.

Beispiele für Underfitting in der Praxis

1. Simple Image Classifier: Stellen Sie sich vor, Sie trainieren ein sehr einfaches Convolutional Neural Network (CNN) mit nur einer oder zwei Schichten für eine komplexe Bildklassifizierungsaufgabe, wie z. B. die Identifizierung von Tausenden von Objektkategorien im ImageNet-Datensatz. Die begrenzte Kapazität des Modells würde verhindern, dass es die komplexen Merkmale lernt, die erforderlich sind, um zwischen so vielen Klassen zu unterscheiden, was zu einer geringen Genauigkeit sowohl bei den Trainings- als auch bei den Testdaten führt. Frameworks wie PyTorch und TensorFlow bieten die Werkzeuge, um anspruchsvollere Architekturen zu entwickeln, um dies zu überwinden.
2. Grundlegende vorausschauende Wartung: Erwägen Sie die Verwendung eines einfachen linearen Regressionsmodells für die vorausschauende Modellierung, um abzuschätzen, wann eine Maschine ausfallen wird, basierend allein auf ihrer Betriebstemperatur. Wenn Maschinenausfälle tatsächlich durch ein komplexes, nicht-lineares Zusammenspiel von Faktoren wie Vibration, Alter und Druck beeinflusst werden, wird das einfache lineare Modell underfitten. Es kann die wahre Komplexität des Systems nicht erfassen, was zu einer schlechten Vorhersageleistung und der Unfähigkeit führt, Ausfälle genau vorherzusagen. Ein komplexeres Modell, wie eine Gradient Boosting Machine oder ein neuronales Netzwerk, wäre besser geeignet.