Regularisierung

Bedeutung für maschinelles Lernen

Die Regularisierung ist für das Training zuverlässiger ML-Modelle unerlässlich, insbesondere für komplexe Modelle wie Deep Learning (DL) -Modelle und neuronale Netze (NN). Ohne Regularisierung könnten sich diese Modelle einfach die Trainingsbeispiele merken, anstatt die zugrunde liegenden Muster zu lernen. Dies führt zu einer hohen Genauigkeit in der Trainingsmenge, aber zu einer schlechten Leistung, wenn sie anhand von Validierungsdaten bewertet oder in realen Szenarien eingesetzt werden. Durch die Aufnahme eines Strafterms in die Verlustfunktion oder die Änderung des Trainingsprozesses hilft die Regularisierung, die Größe der Modellgewichte zu steuern. Dadurch wird das Modell effektiv vereinfacht und seine Generalisierungsfähigkeit verbessert. Dieses sorgfältige Gleichgewicht zwischen einer guten Anpassung an die Daten und der Beibehaltung der Einfachheit des Modells ist ein wichtiger Aspekt des Kompromisses zwischen Verzerrung und Varianz. Bei Modellen wie Ultralytics YOLO trägt die Anwendung von Regularisierungstechniken erheblich zur Erzielung einer hohen Leistung bei anspruchsvollen Aufgaben wie der Objekterkennung in Echtzeit bei.

Gängige Regularisierungstechniken

Verschiedene Regularisierungstechniken werden häufig eingesetzt:

• L1-Regularisierung (Lasso): Fügt eine Strafe hinzu, die proportional zum absoluten Wert der Modellgewichte ist. Dadurch wird die Sparsamkeit gefördert, d. h. einige Gewichte können genau Null werden, wodurch eine effektive Merkmalsauswahl erfolgt. Erfahren Sie mehr über Lasso-Regression.
• L2-Regelmäßigkeit (Ridge): Fügt eine Strafe hinzu, die proportional zum Quadrat der Modellgewichte ist. Dies führt dazu, dass die Gewichte gegen Null schrumpfen, aber nur selten genau Null werden, was dazu beiträgt, Probleme wie Multikollinearität zu vermeiden. Erfahren Sie mehr über die Ridge-Regression.
• Dropout-Schicht: Während des Trainings wird die Ausgabe eines Teils der Neuronen bei jedem Aktualisierungsschritt zufällig auf Null gesetzt. Dadurch wird verhindert, dass sich das Netz zu sehr auf ein einzelnes Neuron verlässt, und es wird gezwungen, robustere Merkmale zu lernen. Lesen Sie den Originalbeitrag Dropout für weitere Einzelheiten. Siehe Tipps zum Modelltraining für die praktische Anwendung.
• Frühzeitiges Anhalten: Überwacht die Leistung des Modells auf einem separaten Validierungsdatensatz während des Trainings und stoppt den Prozess, wenn sich die Leistung auf diesem Satz nicht mehr verbessert oder verschlechtert, um eine Überanpassung des Modells an die Trainingsdaten zu verhindern. Dies ist eine gängige Praxis in Deep-Learning-Workflows.
• Datenerweiterung: Erhöht künstlich die Größe und Vielfalt des Trainingsdatensatzes, indem modifizierte Kopien vorhandener Daten erstellt werden (z. B. Drehen, Beschneiden oder Ändern der Farben in Bildern). Dies wirkt wie ein Regularisierer, indem das Modell einer größeren Bandbreite von Variationen ausgesetzt wird, wodurch es besser verallgemeinert werden kann. Erforschen Sie verschiedene Datenerweiterungstechniken und durchsuchen Sie Ultralytics-Datensätze nach Beispielen.

Anwendungen in der realen Welt

Regularisierungstechniken werden in zahlreichen KI-Bereichen eingesetzt:

1. Medizinische Bildanalyse: Bei der medizinischen Bildanalyse, z. B. beim Training von Convolutional Neural Networks (CNNs) zur Erkennung von Tumoren in MRT-Scans(unter Verwendung von Datensätzen wie Brain Tumor), sind die Datensätze oft begrenzt. Techniken wie L2-Regularisierung und Dropout verhindern, dass sich das Modell zu sehr an die spezifischen Patientenscans im Trainingssatz anpasst, was zu zuverlässigeren Diagnosen bei neuen Patienten führt. Dies ist für Anwendungen der KI im Gesundheitswesen von entscheidender Bedeutung.
2. Autonome Fahrzeuge: Wahrnehmungssysteme in autonomen Fahrzeugen stützen sich auf Modelle wie YOLO11 zur Erkennung von Fußgängern, Fahrzeugen und Hindernissen. Die Regularisierung stellt sicher, dass diese Modelle gut auf verschiedene und unvorhersehbare reale Fahrbedingungen (unterschiedliche Lichtverhältnisse, Wetterbedingungen, Aussehen von Objekten) verallgemeinert werden können, was für die Sicherheit entscheidend ist. Entdecken Sie KI-Lösungen für die Automobilindustrie.
3. Finanzielle Voraussagen: Bei der Erstellung von Modellen zur Vorhersage von Börsentrends oder zur Bewertung von Kreditrisiken kann die L1-Regularisierung verwendet werden. Sie hilft bei der Auswahl der einflussreichsten Wirtschaftsindikatoren, indem sie die Gewichtung der weniger wichtigen Merkmale auf Null reduziert, was zu einfacheren, besser interpretierbaren und potenziell robusteren Vorhersagemodellen führt, die in der KI im Finanzbereich eingesetzt werden.

Unterschiede zu verwandten Konzepten

Es ist wichtig, die Regularisierung von anderen verwandten ML-Konzepten zu unterscheiden:

• Optimierungsalgorithmus: Optimierungsalgorithmen wie Gradient Descent, Stochastic Gradient Descent (SGD) oder der Adam Optimizer sind Verfahren, die dazu dienen, die Verlustfunktion zu minimieren und den optimalen Satz von Modellparametern während des Trainings zu finden. Bei der Regularisierung hingegen wird das Ziel (die Verlustfunktion selbst oder das Trainingsverfahren) so verändert, dass neben der Minimierung des Trainingsfehlers die Generalisierung im Vordergrund steht. Bei der Optimierung wird eine Lösung gefunden; die Regularisierung sorgt dafür, dass es sich um eine gute Lösung für ungesehene Daten handelt.
• Abstimmung der Hyperparameter: Hierbei handelt es sich um den Prozess der Auswahl der optimalen Konfigurationseinstellungen für ein Modell oder einen Trainingsalgorithmus , bevor der Trainingsprozess beginnt. Zu diesen Einstellungen, den so genannten Hyperparametern, gehören Dinge wie die Lernrate, die Anzahl der Schichten in einem neuronalen Netz oder die Stärke der Regularisierungsstrafe (z. B. der Lambda-Wert in L1/L2). Die Regularisierung ist eine Technik, die während des Trainings angewendet wird, während die Abstimmung der Hyperparameter die Parameter optimiert , die diese und andere Techniken steuern. Tools wie die Ultralytics HUB-Plattform bieten Funktionen für die automatische Hyperparameter-Abstimmung.