Label Smoothing

Die Labelglättung ist eine Regularisierungstechnik, die während des Trainings von Modellen des maschinellen Lernens eingesetzt wird, um zu verhindern, dass das neuronalen Netzes zu verhindern, dass es sich bei seinen Vorhersagen zu sicher ist. Durch eine geringfügige Änderung der Zielbeschriftungen regt diese Methode ermutigt diese Methode das Modell, weniger extreme Wahrscheinlichkeitsverteilungen zu erzeugen, was letztlich zu einer besseren Generalisierung und verbesserter Leistung bei ungesehenen Daten führt. Sie entschärft wirksam das häufige Problem der Überanpassung, bei der sich ein Modell die Trainingsdaten merkt, anstatt die zugrunde liegenden Muster zu lernen, die für genaue Vorhersagen in realen Szenarien notwendig sind.

Die Mechanik der Etikettenglättung

Bei Standardaufgaben des überwachten Lernens, wie z. B. Bildklassifizierung, werden Modelle in der Regel mit "harten" Zielen trainiert. Diese Ziele sind kodierte One-Hot-Vektoren Vektoren, bei denen der richtigen Klasse eine Wahrscheinlichkeit von 1,0 (100 %) und allen falschen Klassen eine Wahrscheinlichkeit von 0,0 zugewiesen wird. Dies erscheint zwar intuitiv, zwingt aber die Verlustfunktion - häufigCross-Entropy Loss - dazu, die Ausgaben der Logit-Schicht auf unendlich zu treiben, um genau 1,0 zu erreichen. Dieses Verhalten führt zu einem Modell, das übermäßig zuversichtlich ist, selbst wenn es falsch liegt, und seine Fähigkeit, sich an neue Eingaben anzupassen, verringert.

Bei der Etikettenglättung werden diese harten Ziele durch "weiche" Ziele ersetzt. Statt der Grundwahrheit 1,0 zuzuweisen Wahrheit einen Wert von 1,0 zuzuweisen, wird ein etwas niedrigerer Wert, z. B. 0,9, zugewiesen. Die verbleibende Wahrscheinlichkeitsmasse (z. B. 0,1) wird gleichmäßig auf die falschen Klassen verteilt. Diese subtile Verschiebung verhindert, dass die Aktivierungsfunktion, typischerweise Softmax, vor der Sättigung. Für ein tieferes theoretisches Für ein tieferes theoretisches Verständnis bietet das Forschungspapier"Rethinking the Inception Architecture for Computer Vision" grundlegende Erkenntnisse darüber, wie dieser Mechanismus das Training stabilisiert.

Implementierung der Etikettenglättung mit Ultralytics

Moderne Computer-Vision-Frameworks machen es einfach, diese Technik anzuwenden. Bei Verwendung des Ultralytics YOLO11 können Sie die Beschriftungsglättung direkt in den Trainingsargumenten aktivieren. Dies ist besonders nützlich für Klassifizierungsaufgaben, bei denen Datensätze Mehrdeutigkeit enthalten können.

Das folgende Beispiel zeigt, wie man ein Modell mit Label-Glättung trainiert:

from ultralytics import YOLO

# Load the YOLO11 classification model
model = YOLO("yolo11n-cls.pt")

# Train on a dataset with label smoothing set to 0.1
# This distributes 10% of the probability mass to incorrect classes
model.train(data="mnist", epochs=5, label_smoothing=0.1)

Vorteile bei der Modellkalibrierung und Robustheit

Einer der wichtigsten Vorteile der Etikettenglättung ist die Verbesserung der Modellkalibrierung. Ein gut kalibriertes Modell erzeugt vorhergesagte Wahrscheinlichkeiten, die im Wesentlichen die tatsächliche Wahrscheinlichkeit der Korrektheit widerspiegeln. Wenn zum Beispiel ein Modell eine Klasse mit 70%iger Sicherheit vorhersagt, sollte es 70% der Zeit richtig sein. Harte Bezeichnungen führen oft zu unkalibrierten Modellen, die mit 99%iger Sicherheit vorhersagen, unabhängig von der der tatsächlichen Unsicherheit.

Außerdem erhöht die Etikettenglättung die Robustheit gegenüber verrauschten Daten. Bei großen Datensätzen wie ImageNetkönnen einige Bezeichnungen falsch oder mehrdeutig sein. Durch Modell nicht gezwungen wird, auf genau 1,0 zu konvergieren, verzeiht das Netz gelegentliche Fehlbeschriftungen besser. Beispiele und verhindert, dass das neuronale Netz fehlerhafte Muster tief zu lernen.

Anwendungsfälle in der Praxis

Diese Regularisierungsstrategie ist in verschiedenen Bereichen der künstlichen Intelligenz weit verbreitet künstlicher Intelligenz eingesetzt, um die Zuverlässigkeit.

• Medizinische Bildanalyse: Unter KI-Lösungen im Gesundheitswesen ist die Unsicherheit inhärent. Ein Scan kann Merkmale eines Tumors zeigen, die nicht eindeutig sind. Die Label-Glättung hilft medizinischen Bildanalysemodellen zu vermeiden, dass sie Vorhersagen zu vermeiden und Radiologen zu unterstützen, indem sie nuanciertere Wahrscheinlichkeitswerte Wahrscheinlichkeitswerte statt binärer Gewissheiten.
• Verarbeitung natürlicher Sprache (NLP): Bei Aufgaben wie maschinellen Übersetzung können oft mehrere Wörter als gültige Übersetzungen für ein einziges Ausgangswort dienen. Die Label-Glättung trägt dieser Mehrdeutigkeit Rechnung, indem sie verhindert, dass das Modell daran hindert, gültigen Synonymen eine Wahrscheinlichkeit von Null zuzuweisen, ein Konzept, das in Transformatoren und Große Sprachmodelle.

Vergleich mit verwandten Konzepten

Es ist hilfreich, die Etikettenglättung von anderen Techniken zur Verbesserung der Modellleistung zu unterscheiden.

• vs. Datenerweiterung: Während Datenerweiterung die Eingabedaten modifiziert (z. B. durch Drehen oder Spiegeln von Bildern), um die Vielfalt zu erhöhen, werden die Zielbeschriftungen durch Glättung verändert. Beide können gleichzeitig verwendet werden, um robuste Modelle wie YOLO26, das eine hohe Genauigkeit und Effizienz anstrebt.
• vs. Wissensdestillation: Unter Wissensdestillation lernt ein Schülermodell von den "weichen" Vorhersagen eines Lehrermodells. Im Gegensatz zum Label Smoothing, bei dem die weichen Ziele einheitlich und heuristisch sind, verwendet die Destillation gelernte Wahrscheinlichkeiten, die Informationen über die Beziehungen zwischen Klassen enthalten (z. B. ist ein "Hund" eher eine "Katze" als ein "Auto").
• vs. Dropout: Die Dropout-Schicht deaktiviert zufällig Neuronen während des Neuronen während des Trainings, um Koadaptation zu verhindern. Dadurch wird die Netzwerkarchitektur dynamisch verändert, während das Glätten von Etiketten das Optimierungsziel verändert. das Optimierungsziel. Weitere Einzelheiten zum Dropout finden Sie in diesem Journal of Machine Learning Research veröffentlicht.

Durch die Integration der Label-Glättung in Ihre Trainings-Pipeline stellen Sie sicher, dass Ihre Modelle anpassungsfähig bleiben und kalibriert bleiben, was für einen erfolgreichen Einsatz des Modells in der Produktion Umgebungen.