Label Smoothing

Label Smoothing ist eine Regularisierungstechnik, die im maschinellen Lernen häufig verwendet wird, um die Modellgeneralisierung zu verbessern und Overfitting zu verhindern. Beim Training von neural networks besteht das Ziel typischerweise darin, den Fehler zwischen Vorhersagen und Ground Truth zu minimieren. Wenn ein Modell jedoch zu zuversichtlich in seine Vorhersagen wird – und einer einzelnen Klasse eine Wahrscheinlichkeit von nahezu 100 % zuweist –, beginnt es oft, das spezifische Ruschen in den training data auswendig zu lernen, anstatt robuste Muster zu lernen. Dieses Phänomen, bekannt als overfitting, verschlechtert die Leistung bei neuen, ungesehenen Beispielen. Label Smoothing wirkt dem entgegen, indem es das Modell davon abhält, mit absoluter Sicherheit vorherzusagen, und dem Netzwerk im Wesentlichen sagt, dass es immer einen kleinen Spielraum für Fehler gibt.

Die Mechanik weicher Zielwerte#

Um zu verstehen, wie Label Smoothing funktioniert, hilft es, es standardmäßigen „harten“ Zielen gegenüberzustellen. Im traditionellen supervised learning werden Klassifizierungsetiketten normalerweise über one-hot encoding dargestellt. Bei einer Aufgabe zur Unterscheidung zwischen Katzen und Hunden hätte ein „Hund“-Bild beispielsweise einen Zielvektor von [0, 1]. Um dies perfekt anzupassen, drückt das Modell seine internen Scores, bekannt als logits, gegen Unendlich, was zu instabilen Gradienten und einer Unfähigkeit zur Anpassung führen kann.

Label Smoothing ersetzt diese starren 1en und 0en durch „weiche“ Ziele. Anstelle einer Zielwahrscheinlichkeit von 1.0 kann der korrekten Klasse 0.9 zugewiesen werden, während die verbleibende Wahrscheinlichkeitsmasse (0.1) gleichmäßig über die inkorrekten Klassen verteilt wird. Diese subtile Verschiebung modifiziert das Ziel der loss function, wie z. B. cross-entropy, und verhindert, dass die activation function (in der Regel Softmax) saturiert. Das Ergebnis ist ein Modell, das engere Klassencluster im Merkmalsraum lernt und eine bessere model calibration erzeugt, was bedeutet, dass die vorhergesagten Wahrscheinlichkeiten die wahre Korrektheitswahrscheinlichkeit genauer widerspiegeln.

Praxisanwendungen#

Diese Technik ist besonders kritisch in Bereichen, in denen Daten mehrdeutig sind oder Datensätze anfällig für Etikettierungsfehler sind.

• Medizinische Diagnose: Im Bereich von AI in healthcare sind klinische Daten selten schwarz oder weiß. Beispielsweise können in der medical image analysis Scan-Merkmale auftreten, die stark auf eine Krankheit hindeuten, aber nicht eindeutig sind. Das Training mit harten Labels zwingt das Modell, diese Unsicherheit zu ignorieren. Durch die Anwendung von Label Smoothing behält das Modell ein gewisses Maß an Skepsis bei, was für Entscheidungshilfesysteme von entscheidender Bedeutung ist, bei denen Selbstüberschätzung zu Fehldiagnosen führen könnte.
• Großflächige Bildklassifizierung: Massive öffentliche Datensätze wie ImageNet enthalten oft falsch beschriftete Bilder oder Bilder mit mehreren gültigen Objekten. Wenn ein Modell versucht, diese verrauschten Beispiele mit 100 % confidence anzupassen, lernt es falsche Assoziationen. Label Smoothing dient als Puffer gegen Label-Rauschen und stellt sicher, dass einige wenige schlechte Datenpunkte die finalen model weights nicht drastisch verzerren.

Implementierung von Label Smoothing mit Ultralytics#

Moderne Deep-Learning-Frameworks vereinfachen die Anwendung dieser Technik. Mit dem Paket ultralytics können Sie Label Smoothing problemlos in Ihre Training Pipeline für image classification- oder Erkennungsaufgaben integrieren. Dies wird oft getan, um zusätzliche Leistung aus modernsten Modellen wie YOLO26 herauszuholen.

Das folgende Beispiel zeigt, wie man ein Klassifizierungsmodell mit aktiviertem Label Smoothing trainiert:

from ultralytics import YOLO

# Load a pre-trained YOLO26 classification model
model = YOLO("yolo26n-cls.pt")

# Train with label_smoothing set to 0.1
# The target for the correct class becomes 1.0 - 0.5 * 0.1 = 0.95 (depending on implementation specifics)
model.train(data="mnist", epochs=5, label_smoothing=0.1)

Vergleich mit verwandten Konzepten#

Es ist hilfreich, Label Smoothing von anderen regularization-Strategien zu unterscheiden, um zu verstehen, wann man es verwenden sollte.

• vs. Dropout: Eine dropout layer deaktiviert Neuronen während des Trainings zufällig, um das Netzwerk zu zwingen, redundante Repräsentationen zu lernen. Zwar verhindern beide ein Überfittern, jedoch modifiziert Dropout die Netzwerkarchitektur dynamisch, während Label Smoothing das Optimierungsziel (die Labels selbst) modifiziert.
• vs. Knowledge Distillation: Beide Techniken beinhalten das Training an weichen Zielen. Bei der knowledge distillation stammen die weichen Ziele jedoch von einem „Lehrer“-Modell und enthalten gelerntes Wissen (z. B. „das sieht zu 10 % wie eine Katze aus“). Im Gegensatz dazu verwendet Label Smoothing mathematisch abgeleitete „nicht informative“ weiche Ziele (z. B. „weise allen anderen Klassen zu gleichermaßen 10 % Wahrscheinlichkeit zu“).
• vs. Data Augmentation: Strategien zur data augmentation verändern die Eingabedaten (Drehen, Zuschneiden, Einfärben), um die Vielfalt zu erhöhen. Label Smoothing verändert die Ausgabenerwartungen. Umfassende Trainings-Workflows auf der Ultralytics Platform kombinieren häufig Augmentation, Dropout und Label Smoothing, um maximale Genauigkeit zu erreichen.

Durch die Minderung des vanishing gradient-Problems in den letzten Schichten und die Ermutigung des Modells, robustere Merkmale zu lernen, bleibt Label Smoothing ein Grundpfeiler in modernen deep learning-Architekturen.