Label Smoothing

Label Smoothing ist eine Regularisierungstechnik, die im maschinellen Lernen häufig eingesetzt wird, um die Modellgeneralisierung zu verbessern und Überanpassung zu verhindern. Beim Training neuronaler Netze besteht das Ziel in der Regel darin, den Fehler zwischen Vorhersagen und Ground Truth zu minimieren. Wenn ein Modell jedoch zu viel Vertrauen in seine Vorhersagen setzt – indem es einer einzelnen Klasse eine Wahrscheinlichkeit von nahezu 100 % zuweist –, beginnt es oft, sich das spezifische Rauschen in den Trainingsdaten zu merken, anstatt robuste Muster zu lernen. Dieses als Überanpassung bekannte Phänomen verschlechtert die Leistung bei neuen, unbekannten Beispielen. Label Smoothing behebt dieses Problem, indem es das Modell davon abhält, Vorhersagen mit absoluter Sicherheit zu treffen, und dem Netzwerk im Wesentlichen mitteilt, dass immer eine geringe Fehlerquote besteht.

Die Mechanismen weicher Ziele

Um zu verstehen, wie Label Smoothing funktioniert, ist es hilfreich, es mit herkömmlichen „harten“ Zielen zu vergleichen. In traditionellen überwachtes Lernen, Klassifizierungsetiketten werden in der Regel dargestellt über One-Hot-Kodierung. Bei einer Aufgabe, bei der zwischen Katzen und Hunden unterschieden werden muss, hätte beispielsweise ein „Hund”-Bild einen Zielvektor von [0, 1]Um dies perfekt abzustimmen, übermittelt das Modell seine internen Bewertungen, die als Logits, in Richtung Unendlichkeit, was zu instabilen Gradienten und einer Unfähigkeit zur Anpassung führen kann.

Die Label-Glättung ersetzt diese starren 1en und 0en durch „weiche” Ziele. Anstelle einer Zielwahrscheinlichkeit von 1.0, könnte die richtige Klasse zugewiesen werden. 0.9, während die verbleibende Wahrscheinlichkeitsmasse (0.1) gleichmäßig über die falschen Klassen verteilt ist. Diese subtile Verschiebung modifiziert das Ziel von der Loss-Funktion, wie zum Beispiel Kreuzentropie, wodurch verhindert wird, dass Aktivierungsfunktion (normalerweise Softmax) vor einer Sättigung. Das Ergebnis ist ein Modell, das engere Cluster von Klassen im Merkmalsraum lernt und bessere Modellkalibrierung, was bedeutet, dass die vorhergesagten Wahrscheinlichkeiten die tatsächliche Wahrscheinlichkeit der Richtigkeit genauer widerspiegeln.

Anwendungsfälle in der Praxis

Diese Technik ist besonders kritisch in Bereichen, in denen Datenmehrdeutigkeit inhärent ist oder Datensätze anfällig für Beschriftungsfehler sind .

• Medizinische Diagnose: Im Bereich der KI im Gesundheitswesen sind klinische Daten selten eindeutig und klar. Bei der medizinischen Bildanalyse kann ein Scan beispielsweise Merkmale aufweisen, die stark auf eine Krankheit hindeuten, aber nicht eindeutig sind. Das Training mit festen Labels zwingt das Modell dazu, diese Unsicherheit zu ignorieren. Durch die Anwendung von Label Smoothing behält das Modell ein gewisses Maß an Skepsis, was für Entscheidungsunterstützungssysteme, bei denen übermäßiges Selbstvertrauen zu Fehldiagnosen führen könnte, von entscheidender Bedeutung ist.
• Groß angelegte Bildklassifizierung: Riesige öffentliche Datensätze wie ImageNet enthalten oft falsch beschriftete Bilder oder Bilder mit mehreren gültigen Objekten. Wenn ein Modell versucht, diese verrauschten Beispiele mit 100 %iger Sicherheit anzupassen, lernt es falsche Assoziationen. Die Label-Glättung wirkt als Puffer gegen Label-Rauschen und stellt sicher, dass einige wenige fehlerhafte Datenpunkte die endgültigen Modellgewichte nicht drastisch verzerren.

Implementierung der Etikettenglättung mit Ultralytics

Moderne Deep-Learning-Frameworks vereinfachen die Anwendung dieser Technik. Mit Hilfe der ultralytics Paket können Sie Label Smoothing ganz einfach in Ihre Trainings-Pipeline integrieren für Bildklassifizierung oder Erkennungsaufgaben. Dies wird oft getan, um zusätzliche Leistung aus hochmodernen Modellen wie YOLO26.

Das folgende Beispiel zeigt, wie ein Klassifizierungsmodell mit aktivierter Label-Glättung trainiert wird:

from ultralytics import YOLO

# Load a pre-trained YOLO26 classification model
model = YOLO("yolo26n-cls.pt")

# Train with label_smoothing set to 0.1
# The target for the correct class becomes 1.0 - 0.5 * 0.1 = 0.95 (depending on implementation specifics)
model.train(data="mnist", epochs=5, label_smoothing=0.1)

Vergleich mit verwandten Konzepten

Es ist hilfreich, Label Smoothing von anderen Regularisierungsstrategien zu unterscheiden, um zu verstehen, wann es eingesetzt werden sollte.

• vs. Dropout: Eine Dropout-Schicht deaktiviert während des Trainings zufällig Neuronen, um das Netzwerk zu zwingen, redundante Darstellungen zu lernen. Beide verhindern zwar Überanpassung, aber Dropout modifiziert die Netzwerkarchitektur dynamisch, während Label Smoothing das Optimierungsziel (die Labels selbst) modifiziert.
• vs. Wissensdestillation: Bei beiden Techniken handelt es sich um das Training mit weichen Zielen. Bei der Wissensdestillation stammen die weichen Ziele jedoch aus einem „Lehrer”-Modell und enthalten gelernte Informationen (z. B. „dies sieht zu 10 % wie eine Katze aus”). Im Gegensatz dazu verwendet Label Smoothing „uninformative”, mathematisch abgeleitete weiche Ziele (z. B. „ allen anderen Klassen gleichermaßen eine Wahrscheinlichkeit von 10 % zuweisen”).
• vs. Datenvergrößerung: Strategien zur Datenvergrößerung verändern die Eingabedaten (Drehen, Zuschneiden, Einfärben), um die Vielfalt zu erhöhen. Die Label-Glättung verändert die Erwartungen an die Ausgabe. Umfassende Trainings-Workflows auf der Ultralytics kombinieren häufig Vergrößerung, Dropout und Label-Glättung, um maximale Genauigkeit zu erreichen.

Durch die Abschwächung des Problems des verschwindenden Gradienten in den letzten Schichten und die Förderung des Lernens robusterer Merkmale durch das Modell bleibt das Label Smoothing ein fester Bestandteil moderner Deep-Learning-Architekturen.