Label Smoothing

Etiket yumuşatma, makine öğreniminde modelin genelleme yeteneğini geliştirmek ve aşırı öğrenmeyi (overfitting) önlemek için yaygın olarak kullanılan bir düzenlileştirme tekniğidir. Sinir ağları eğitilirken amaç genellikle tahminler ile gerçek değerler arasındaki hatayı minimize etmektir. Ancak bir model tahminlerinde çok fazla kendine güvenmeye başlarsa—tek bir sınıfa neredeyse %100 olasılık atarsa—genellikle güçlü örüntüler öğrenmek yerine eğitim verisindeki gürültüyü ezberlemeye başlar. Aşırı öğrenme olarak bilinen bu fenomen, yeni ve görülmemiş örneklerde performansı düşürür. Etiket yumuşatma, modeli kesin bir yargıyla tahmin yapmaktan caydırarak ve esasen ağa hata payı için her zaman küçük bir alan olduğunu söyleyerek bu sorunu çözer.

Link to this sectionYumuşak Hedeflerin Mekanizması#

Etiket yumuşatmanın nasıl çalıştığını anlamak için, onu standart "sert" hedeflerle karşılaştırmak faydalıdır. Geleneksel denetimli öğrenmede, sınıflandırma etiketleri genellikle one-hot encoding ile temsil edilir. Örneğin, kedi ve köpekleri ayırt etme görevinde, bir "köpek" görseli [0, 1] şeklinde bir hedef vektörüne sahip olur. Bunu mükemmel bir şekilde eşleştirmek için model, logitler olarak bilinen dahili skorlarını sonsuza doğru iter; bu durum kararsız gradyanlara ve adaptasyon yeteneğinin azalmasına yol açabilir.

Label smoothing replaces these rigid 1s and 0s with "soft" targets. Instead of a target probability of 1.0, the correct class might be assigned 0.9, while the remaining probability mass (0.1) is distributed uniformly across the incorrect classes. This subtle shift modifies the objective of the loss function, such as cross-entropy, preventing the activation function (usually Softmax) from saturating. The result is a model that learns tighter clusters of classes in the feature space and produces better model calibration, meaning the predicted probabilities more accurately reflect the true likelihood of correctness.

Link to this sectionGerçek Dünya Uygulamaları#

Bu teknik, özellikle veri belirsizliğinin doğasında olduğu veya veri setlerinin etiketleme hatalarına meyilli olduğu alanlarda kritik öneme sahiptir.

• Tıbbi Teşhis: Sağlıkta yapay zeka alanında, klinik veriler nadiren siyah beyazdır. Örneğin, tıbbi görüntü analizinde, bir tarama bir hastalığı güçlü bir şekilde düşündüren ancak kesin olmayan özellikler gösterebilir. Sert etiketlerle eğitim yapmak, modeli bu belirsizliği yok saymaya zorlar. Etiket yumuşatma uygulayarak model, aşırı güvenin yanlış teşhise yol açabileceği karar destek sistemleri için hayati önem taşıyan bir şüphe derecesini korur.
• Büyük Ölçekli Görüntü Sınıflandırma: ImageNet gibi devasa halka açık veri setleri, genellikle yanlış etiketlenmiş görüntüler veya birden fazla geçerli nesne içeren görüntüler barındırır. Bir model bu gürültülü örnekleri %100 güvenle uydurmaya çalışırsa, yanlış ilişkiler öğrenir. Etiket yumuşatma, etiket gürültüsüne karşı bir tampon görevi görerek birkaç hatalı veri noktasının nihai model ağırlıklarını kökten saptırmamasını sağlar.

Link to this sectionUltralytics ile Etiket Yumuşatma Uygulama#

Modern derin öğrenme çerçeveleri bu tekniğin uygulanmasını basitleştirir. ultralytics paketini kullanarak, görüntü sınıflandırma veya tespit görevleri için etiket yumuşatmayı eğitim hattına kolayca entegre edebilirsin. Bu, genellikle YOLO26 gibi güncel modellerden ekstra performans almak için yapılır.

Aşağıdaki örnek, etiket yumuşatma etkinleştirilmiş bir sınıflandırma modelinin nasıl eğitileceğini göstermektedir:

from ultralytics import YOLO

# Load a pre-trained YOLO26 classification model
model = YOLO("yolo26n-cls.pt")

# Train with label_smoothing set to 0.1
# The target for the correct class becomes 1.0 - 0.5 * 0.1 = 0.95 (depending on implementation specifics)
model.train(data="mnist", epochs=5, label_smoothing=0.1)

Link to this sectionİlgili Kavramlarla Karşılaştırma#

Ne zaman kullanacağını anlamak için etiket yumuşatmayı diğer düzenlileştirme stratejilerinden ayırmak faydalıdır.

• Dropout ile karşılaştırma: Bir dropout katmanı, ağı yedekli temsiller öğrenmeye zorlamak için eğitim sırasında nöronları rastgele devre dışı bırakır. Her ikisi de aşırı öğrenmeyi önlese de, dropout ağ mimarisini dinamik olarak değiştirirken, etiket yumuşatma optimizasyon hedefini (etiketlerin kendisini) değiştirir.
• Bilgi Damıtma (Knowledge Distillation) ile karşılaştırma: Her iki teknik de yumuşak hedeflerle eğitime dayanır. Ancak bilgi damıtmada, yumuşak hedefler bir "öğretmen" modelden gelir ve öğrenilmiş bilgiler içerir (örneğin, "bu %10 kediye benziyor"). Buna karşılık etiket yumuşatma, matematiksel olarak türetilen "bilgi içermeyen" yumuşak hedefler kullanır (örneğin, "diğer tüm sınıflara eşit şekilde %10 olasılık ver").
• Veri Artırma (Data Augmentation) ile karşılaştırma: Veri artırma stratejileri, çeşitliliği artırmak için girdi verisini değiştirir (döndürme, kırpma, renklendirme). Etiket yumuşatma ise çıktı beklentilerini değiştirir. Ultralytics Platform üzerindeki kapsamlı eğitim iş akışları, maksimum doğruluk elde etmek için genellikle artırma, dropout ve etiket yumuşatmayı birleştirir.

Son katmanlardaki kaybolan gradyan problemini hafifleterek ve modeli daha sağlam özellikler öğrenmeye teşvik ederek, etiket yumuşatma modern derin öğrenme mimarilerinde bir temel olmaya devam etmektedir.