Label Smoothing

Label Smoothing ist eine Regularisierung-Technik für Deep-Learning-Klassifikationsmodelle. Sie ersetzt jedes harte One-Hot-Ziel in den Trainingsdaten durch eine weichere Variante: Der größte Teil der Wahrscheinlichkeit bleibt bei der richtigen Klasse, während ein kleiner, durch den Glättungsfaktor ε festgelegter Anteil gleichmäßig auf alle Klassen verteilt wird. Beim Training mit diesen weichen Zielwerten wird verhindert, dass ein neuronales Netz seine Logits immer weiter erhöht, um 100 % Konfidenz zu erreichen. Das verringert Overfitting und führt zu besser kalibrierten Wahrscheinlichkeiten. Szegedy et al. beschrieben die Technik im Artikel zu Inception-v3 und verwendeten ε = 0,1 für die 1.000 ImageNet-Klassen. Heute ist sie eine Standardoption beim Training von Modellen für Bildklassifizierung, Übersetzung und Spracherkennung.

So funktioniert Label Smoothing#

Bei K Klassen und einem Glättungsfaktor ε wird jedes Ziel zu (1 − ε) · y + ε / K, wobei y das One-Hot-Label ist. Bei drei Klassen und ε = 0,1 wird das Label [1, 0, 0] zu etwa [0.933, 0.033, 0.033]. Bei einem harten Ziel sinkt die Kreuzentropie weiter, je weiter das richtige Logit den anderen voraus ist. Die Verlustfunktion belohnt also immer größere Logit-Abstände, und die Ausgabe von Softmax sättigt sich. Bei einem geglätteten Ziel ist der Verlust bei einem endlichen Abstand von ln((1 − ε + ε / K) / (ε / K)) am geringsten – in diesem Beispiel etwa 3,3 – und steigt danach wieder an. Dadurch lenken Gradienten übermäßig selbstsichere Vorhersagen zurück zu moderateren Werten. Ultralytics-YOLO26-Erkennungsmodelle trainieren ihre Klassenvorhersagen mit einer verwandten Art weicher Zielwerte: Der task-aligned assigner skaliert das Klassenziel jedes positiven Ankers danach, wie gut dessen vorhergesagter Score und Box zum Objekt passen. Deshalb liegen die meisten Zielwerte unter 1.

PyTorchs CrossEntropyLoss wendet die Formel über das Argument label_smoothing an:

import torch
from torch import nn

# The correct class is index 0 of three; hard and smoothed versions of the same loss
target = torch.tensor([0])
hard_loss = nn.CrossEntropyLoss()
smooth_loss = nn.CrossEntropyLoss(label_smoothing=0.1)

# Score the correct class increasingly far above the other two
for gap in [1.0, 3.0, 6.0, 12.0]:
    logits = torch.tensor([[gap, 0.0, 0.0]])
    hard = hard_loss(logits, target).item()
    smooth = smooth_loss(logits, target).item()
    print(f"Logit gap {gap:>4}: hard loss {hard:.3f}, smoothed loss {smooth:.3f}")

Der harte Verlust sinkt mit zunehmendem Abstand von 0,551 auf 0,000, während der geglättete Verlust bei einem Abstand von 3 mit 0,295 seinen niedrigsten Wert erreicht und bei einem Abstand von 12 wieder auf 0,800 steigt. Extreme Konfidenz ist damit kostspieliger als moderate Konfidenz.

Auswirkungen auf Kalibrierung und gelernte Merkmale#

Müller, Kornblith und Hinton zeigten, dass Label Smoothing die Modellkalibrierung verbessert. Das bedeutet, dass vorhergesagte Wahrscheinlichkeiten der tatsächlichen Trefferhäufigkeit entsprechen. Außerdem zeigten sie, dass die Technik die Merkmale der vorletzten Schicht jeder Klasse zu engen, gleichmäßig angeordneten Gruppen zusammenzieht. Durch diese Verdichtung gehen Informationen darüber verloren, welchen falschen Klassen ein Bild ähnelt. Modelle, die mit Label Smoothing trainiert wurden, ließen sich deutlich schlechter durch Wissensdestillation auf andere Modelle übertragen.

Anwendungen in der Praxis#

Label Smoothing ist besonders bei verrauschten, mehrdeutigen oder zahlreichen Labels hilfreich.

• Klassifizierung im ImageNet-Maßstab: ImageNet enthält falsch gelabelte Bilder und Fotos mit mehreren gültigen Objekten. Trainingsrezepte für Faltungsnetzwerke und Vision Transformer, darunter DeiT, verwenden ε = 0,1, damit sich das Modell bei einem fragwürdigen Label nie ganz sicher ist.
• Maschinelle Übersetzung: Der ursprüngliche Transformer verwendete Label-Smoothing mit ε = 0,1. Die Autorinnen und Autoren berichteten, dass dadurch die Perplexität stieg, weil das Modell weniger sicher antwortete, während sich Genauigkeit und BLEU-Wert verbesserten.
• Medizinische Bildanalyse: Fachkundige Annotierende sind sich bei Grenzfällen in Scans oft uneinig. Geglättete Zielwerte verhindern, dass ein diagnostischer Klassifikator jedes umstrittene Label als sicher behandelt. Besser kalibrierte Scores machen Schwellenwerte für die klinische Triage zuverlässiger.

Label Smoothing im Vergleich zu verwandten Techniken#

• Wissensdestillation: Bei der Destillation wird ebenfalls mit weichen Zielwerten trainiert, die aus den Vorhersagen eines Lehrermodells stammen und Ähnlichkeiten zwischen Klassen abbilden. Die Zielwerte beim Label-Smoothing weisen jeder falschen Klasse denselben kleinen Anteil zu.
• Temperaturskalierung: Bei der Temperaturskalierung wird ein trainiertes Modell nachträglich kalibriert, indem seine Logits durch eine einzige erlernte Konstante geteilt werden. Die Gewichte bleiben dabei unverändert.
• Dropout-Schicht: Dropout regularisiert das Netzwerk, indem beim Training zufällige Aktivierungen auf null gesetzt werden. Label-Smoothing regularisiert dagegen über die Trainingszielwerte.
• CutMix: CutMix und MixUp sind Methoden zur Datenerweiterung, bei denen zwei Trainingsbilder überblendet und ihre Labels im selben Verhältnis gemischt werden. Das weiche Ziel ergibt sich also aus der Eingabe selbst. CutMix gewichtet jedes Label nach der Fläche des eingefügten Bildausschnitts, während MixUp sowohl Pixel als auch Labels mit demselben Faktor aus einer Beta-Verteilung gewichtet.