Label Smoothing

Label Smoothing ist eine Regularisierungstechnik, die im maschinellen Lernen weit verbreitet ist, um die Generalisierung von Modellen zu verbessern und Overfitting zu verhindern. Beim Training von neural networks ist das Ziel normalerweise, den Fehler zwischen Vorhersagen und Ground Truth zu minimieren. Wenn ein Modell jedoch zu überzeugt von seinen Vorhersagen ist – also eine Wahrscheinlichkeit von nahezu 100 % für eine einzelne Klasse zuweist –, beginnt es oft, das spezifische Rauschen in den training data auswendig zu lernen, anstatt robuste Muster zu erlernen. Dieses Phänomen, das als overfitting bekannt ist, verschlechtert die Leistung bei neuen, unbekannten Beispielen. Label Smoothing wirkt dem entgegen, indem es das Modell davon abhält, mit absoluter Sicherheit vorherzusagen, und dem Netzwerk im Grunde mitteilt, dass es immer einen kleinen Spielraum für Fehler gibt.

Link to this sectionDie Mechanik weicher Zielwerte#

Um zu verstehen, wie Label Smoothing funktioniert, ist es hilfreich, es den standardmäßigen „harten“ Zielwerten gegenüberzustellen. Beim traditionellen supervised learning werden Klassifizierungslabels normalerweise mittels one-hot encoding dargestellt. Wenn man beispielsweise zwischen Katzen und Hunden unterscheidet, hätte ein „Hund“-Bild einen Zielvektor von [0, 1]. Um dies perfekt abzubilden, treibt das Modell seine internen Bewertungen, die sogenannten logits, gegen unendlich, was zu instabilen Gradienten und einer mangelnden Anpassungsfähigkeit führen kann.

Label Smoothing ersetzt diese starren 1en und 0en durch „weiche“ Zielwerte. Anstatt einer Zielwahrscheinlichkeit von 1.0 kann der korrekten Klasse 0.9 zugewiesen werden, während die verbleibende Wahrscheinlichkeitsmasse (0.1) gleichmäßig auf die inkorrekten Klassen verteilt wird. Diese subtile Verschiebung modifiziert das Ziel der loss function, wie etwa cross-entropy, und verhindert, dass die activation function (meist Softmax) gesättigt wird. Das Ergebnis ist ein Modell, das engere Klassencluster im Merkmalsraum lernt und eine bessere model calibration erzielt, was bedeutet, dass die vorhergesagten Wahrscheinlichkeiten die tatsächliche Korrektheit präziser widerspiegeln.

Link to this sectionPraxisanwendungen#

Diese Technik ist besonders kritisch in Bereichen, in denen Daten mehrdeutig sind oder Datensätze anfällig für Etikettierungsfehler sind.

• Medizinische Diagnose: Im Bereich AI in healthcare sind klinische Daten selten schwarz oder weiß. Zum Beispiel können bei der medical image analysis in einem Scan Merkmale zu sehen sein, die stark auf eine Krankheit hindeuten, aber nicht eindeutig sind. Das Training mit harten Labels zwingt das Modell, diese Unsicherheit zu ignorieren. Durch die Anwendung von Label Smoothing behält das Modell ein gewisses Maß an Skepsis bei, was für Entscheidungsunterstützungssysteme entscheidend ist, bei denen übermäßiges Vertrauen zu Fehldiagnosen führen könnte.
• Großflächige Bildklassifizierung: Massive öffentliche Datensätze wie ImageNet enthalten oft falsch beschriftete Bilder oder Bilder, die mehrere gültige Objekte enthalten. Wenn ein Modell versucht, diese verrauschten Beispiele mit 100 % confidence abzubilden, lernt es falsche Zusammenhänge. Label Smoothing fungiert als Puffer gegen Label-Rauschen und stellt sicher, dass einige wenige schlechte Datenpunkte die endgültigen model weights nicht drastisch verzerren.

Link to this sectionImplementierung von Label Smoothing mit Ultralytics#

Moderne Deep-Learning-Frameworks vereinfachen die Anwendung dieser Technik. Mit dem ultralytics-Paket kannst du Label Smoothing einfach in deine Trainings-Pipeline für image classification oder Erkennungsaufgaben integrieren. Dies wird oft getan, um eine zusätzliche Leistungssteigerung aus State-of-the-Art-Modellen wie YOLO26 herauszuholen.

Das folgende Beispiel zeigt, wie man ein Klassifizierungsmodell mit aktiviertem Label Smoothing trainiert:

from ultralytics import YOLO

# Load a pre-trained YOLO26 classification model
model = YOLO("yolo26n-cls.pt")

# Train with label_smoothing set to 0.1
# The target for the correct class becomes 1.0 - 0.5 * 0.1 = 0.95 (depending on implementation specifics)
model.train(data="mnist", epochs=5, label_smoothing=0.1)

Link to this sectionVergleich mit verwandten Konzepten#

Es ist hilfreich, Label Smoothing von anderen regularization-Strategien zu unterscheiden, um zu verstehen, wann es eingesetzt werden sollte.

• vs. Dropout: Eine dropout layer deaktiviert während des Trainings zufällig Neuronen, um das Netzwerk zu zwingen, redundante Repräsentationen zu lernen. Während beide Methoden Overfitting verhindern, verändert Dropout die Netzwerkarchitektur dynamisch, wohingegen Label Smoothing das Optimierungsziel (die Labels selbst) modifiziert.
• vs. Knowledge Distillation: Beide Techniken beinhalten das Training mit weichen Zielwerten. Bei der knowledge distillation stammen die weichen Zielwerte jedoch von einem „Lehrer“-Modell und enthalten gelerntes Wissen (z. B. „das sieht zu 10 % wie eine Katze aus“). Im Gegensatz dazu verwendet Label Smoothing „nicht informative“ weiche Zielwerte, die mathematisch abgeleitet werden (z. B. „weise allen anderen Klassen gleichmäßig 10 % Wahrscheinlichkeit zu“).
• vs. Data Augmentation: Strategien für data augmentation verändern die Eingabedaten (Drehen, Zuschneiden, Einfärben), um die Vielfalt zu erhöhen. Label Smoothing verändert die Erwartungen an das Ergebnis. Umfassende Trainings-Workflows auf der Ultralytics Platform kombinieren oft Augmentation, Dropout und Label Smoothing, um maximale Genauigkeit zu erreichen.

Indem es das Problem des vanishing gradient in den letzten Schichten abmildert und das Modell dazu ermutigt, robustere Merkmale zu erlernen, bleibt Label Smoothing ein fester Bestandteil moderner deep learning-Architekturen.