Label Smoothing

Etiket yumuşatma, derin öğrenme sınıflandırma modelleri için kullanılan bir düzenlileştirme tekniğidir. Eğitim verilerindeki her kesin tek-sıcak hedefi yumuşatılmış bir sürümle değiştirir: olasılığın büyük kısmı doğru sınıfta kalırken yumuşatma faktörü ε ile belirlenen küçük bir pay tüm sınıflara eşit olarak dağıtılır. Bu yumuşak hedeflerle eğitim, sinir ağının %100 güvene ulaşmak için logitlerini aşırı değerlere itmesini önler; bu da aşırı öğrenmeyi azaltır ve daha iyi kalibre edilmiş olasılıklar üretir. Szegedy ve diğerleri, Inception-v3 makalesinde bu yöntemi tanımlarken 1.000 ImageNet sınıfı için ε = 0.1 kullandı; yöntem artık görüntü sınıflandırma, çeviri ve konuşma modellerini eğitirken kullanılan standart bir seçenektir.

Etiket Yumuşatma Nasıl Çalışır#

K sınıf ve ε yumuşatma faktörü için her hedef, y tek-sıcak etiket olmak üzere (1 − ε) · y + ε / K olur. Üç sınıf ve ε = 0.1 için [1, 0, 0] etiketi yaklaşık [0.933, 0.033, 0.033] hâline gelir. Kesin bir hedefte çapraz entropi, doğru logit diğerlerinden daha fazla öne çıktıkça düşmeye devam eder; dolayısıyla kayıp fonksiyonu gittikçe büyük logit farklarını ödüllendirir ve softmax çıktısı doygunluğa ulaşır. Yumuşatılmış bir hedefte kayıp, ln((1 − ε + ε / K) / (ε / K)) değerindeki sonlu bir farkta (bu örnekte yaklaşık 3.3) en aza iner ve bu değerin ötesinde yeniden artar; böylece gradyanlar aşırı güvenli tahminleri daha ölçülü hâle getirir. Ultralytics YOLO26 algılama modelleri sınıf tahminlerini benzer türde yumuşak hedeflerle eğitir: görev hizalı atayıcı, her pozitif çapacın sınıf hedefini tahmin edilen puanının ve kutusunun nesneyle ne kadar iyi eşleştiğine göre ölçekler; bu nedenle hedeflerin çoğu 1'in altında kalır.

PyTorch'un CrossEntropyLoss fonksiyonu formülü label_smoothing bağımsız değişkeniyle uygular:

import torch
from torch import nn

# The correct class is index 0 of three; hard and smoothed versions of the same loss
target = torch.tensor([0])
hard_loss = nn.CrossEntropyLoss()
smooth_loss = nn.CrossEntropyLoss(label_smoothing=0.1)

# Score the correct class increasingly far above the other two
for gap in [1.0, 3.0, 6.0, 12.0]:
    logits = torch.tensor([[gap, 0.0, 0.0]])
    hard = hard_loss(logits, target).item()
    smooth = smooth_loss(logits, target).item()
    print(f"Logit gap {gap:>4}: hard loss {hard:.3f}, smoothed loss {smooth:.3f}")

Fark arttıkça kesin hedefli kayıp 0.551'den 0.000'a düşerken, yumuşatılmış hedefli kayıp yaklaşık 3 farkında 0.295 ile en düşük değerine iner ve 12 farkında yeniden 0.800'e yükselir; böylece aşırı güven, ölçülü güvenden daha maliyetli olur.

Kalibrasyon ve Öğrenilmiş Özellikler Üzerindeki Etkiler#

Müller, Kornblith ve Hinton, etiket yumuşatmanın model kalibrasyonunu iyileştirdiğini; başka bir deyişle tahmin edilen olasılıkların, tahminlerin gerçekte ne sıklıkta doğru olduğunu yansıttığını buldu. Ayrıca bu yöntemin her sınıfa ait sondan bir önceki katman özelliklerini sıkı ve eşit aralıklı kümeler hâline getirdiğini gösterdiler. Bu sıkıştırma, bir görüntünün hangi yanlış sınıflara benzediğine ilişkin bilgiyi siler; etiket yumuşatmayla eğitilmiş öğretmenler, bilgi damıtma yoluyla öğrencilere çok daha az bilgi aktarır.

Gerçek Dünya Uygulamaları#

Etiket yumuşatma en çok etiketlerin gürültülü, belirsiz veya çok sayıda olduğu durumlarda yarar sağlar.

• ImageNet ölçeğinde sınıflandırma: ImageNet yanlış etiketlenmiş ve birden fazla geçerli nesne içeren fotoğraflar barındırır. DeiT de dâhil olmak üzere evrişimli ağlar ve Vision Transformer'lar için eğitim tariflerinde ε = 0.1 kullanılır; böylece model şüpheli bir etiketi hiçbir zaman tam bir kesinlikle öğrenmez.
• Makine çevirisi: Özgün Transformer, ε = 0.1 ile etiket yumuşatma kullandı. Yazarlar, model daha az emin olmayı öğrendiği için bunun perplexity değerini artırdığını; buna karşın doğruluğu ve BLEU puanını iyileştirdiğini bildirdi.
• Tıbbi görüntü analizi: Uzman etiketleyiciler sınırdaki taramalar konusunda çoğu zaman farklı görüşlere varır. Yumuşatılmış hedefler, tanı sınıflandırıcısının tartışmalı her etiketi kesin kabul etmesini önler; daha iyi kalibre edilmiş puanlar da klinik triyaj eşiklerini daha güvenilir kılar.

Etiket Yumuşatma ve İlgili Teknikler#

• Bilgi damıtma: Damıtma da yumuşak hedeflerle eğitim yapar; öğretmen modelin tahminlerinden alınan bu hedefler, sınıfların birbirine ne kadar benzediğini gösterir. Etiket yumuşatma hedefleri ise her yanlış sınıfa aynı küçük payı verir.
• Sıcaklık ölçekleme: Sıcaklık ölçekleme, eğitilmiş bir modelin logit değerlerini öğrenilen tek bir sabite bölerek modeli sonradan kalibre eder ve ağırlıkları değiştirmez.
• Dropout katmanı: Dropout, eğitim sırasında rastgele etkinlikleri sıfırlayarak ağı düzenler; etiket yumuşatma ise eğitim hedeflerini düzenler.
• CutMix: CutMix ve mixup, iki eğitim görüntüsünü harmanlayıp etiketlerini aynı oranda karıştıran veri artırma yöntemleridir; bu nedenle yumuşak hedef doğrudan girdiden gelir. CutMix her etiketi, yapıştırılan parçanın kapladığı alana göre ağırlıklandırır; mixup ise pikselleri ve etiketleri Beta dağılımından seçilen tek bir faktöre göre ağırlıklandırır.