Label Smoothing

Etiket yumuşatma (label smoothing), model genellemesini iyileştirmek ve aşırı öğrenmeyi (overfitting) önlemek için makine öğreniminde yaygın olarak kullanılan bir düzenlárleştirme (regularization) tekniğidir. Neural networks eğitilirken amaç genellikle tahminler ile gerçek değerler arasındaki hatayı en aza indirmektir. Ancak bir model tahminlerinde aşırı özgüvenli hale gelirse (tek bir sınıfa neredeyse %100 olasılık atarsa), sağlam örüntüleri öğrenmek yerine genellikle training data içindeki belirli gürültüyü ezberlemeye başlar. Overfitting olarak bilinen bu olgu, yeni ve görülmemiş örnekler üzerindeki performansı düşürür. Etiket yumuşatma, modelin mutlak kesinlikle tahmin yapmasını engelleme yoluyla bunu ele alır ve özünde ağa hata için her zaman küçük bir pay bulunduğunu söyler.

Yumuşak Hedeflerin Mekanizması#

Etiket yumuşatmanın nasıl çalıştığını anlamak için bunu standart "katı" (hard) hedeflerle karşılaştırmak faydalıdır. Geleneksel supervised learning süreçlerinde sınıflandırma etiketleri genellikle one-hot encoding aracılığıyla temsil edilir. Örneğin kediler ve köpekler arasında ayrım yapan bir görevde "köpek" görseli [0, 1] hedef vektörüne sahip olur. Bunu mükemmel şekilde eşleştirmek için model, logits olarak bilinen dahili skorlarını sonsuza doğru iter; bu da kararsız gradyanlara ve adapte olamamaya yol açabilir.

Etiket yumuşatma, bu katı 1 ve 0 değerlerini "yumuşak" (soft) hedeflerle değiştirir. 1.0 hedef olasılığı yerine doğru sınıfa 0.9 atanabilir, kalan olasılık kütlesi (0.1) ise yanlış sınıflar arasında eşit olarak dağıtılır. Bu hafif kaydırma, loss function (cross-entropy gibi) hedefini değiştirerek activation function (genellikle Softmax) bileşeninin doymasını önler. Sonuç olarak model, öznitelik uzayında daha sıkı sınıf kümeleri öğrenir ve daha iyi bir model calibration üretir; yani tahmin edilen olasılıklar, doğruluk olasılığını daha doğru bir şekilde yansıtır.

Gerçek Dünya Uygulamaları#

Bu teknik, özellikle veri belirsizliğinin doğasında olduğu veya veri setlerinin etiketleme hatalarına meyilli olduğu alanlarda kritik öneme sahiptir.

• Tıbbi Teşhis: AI in healthcare alanında klinik veriler nadiren siyah ve beyazdır. Örneğin medical image analysis sürecinde bir tarama, bir hastalığı kesin olmamakla birlikte büyük ölçüde düşündüren özellikler gösterebilir. Katı etiketlerle eğitim yapmak, modelin bu belirsizliği yok saymasını zorunlu kılar. Etiket yumuşatma uygulanarak model bir dereceye kadar şüpheciliği korur; bu da aşırı özgüvenin yanlış teşhise yol açabileceği karar destek sistemleri için hayati önem taşır.
• Büyük Ölçekli Görsel Sınıflandırma: ImageNet gibi devasa kamu veri setleri genellikle yanlış etiketlenmiş görseller veya birden fazla geçerli nesne içeren görseller barındırır. Bir model bu gürültülü örneklere %100 confidence ile uyum sağlamaya çalışırsa yanlış ilişkiler öğrenir. Etiket yumuşatma, etiket gürültüsüne karşı bir tampon görevi görerek birkaç kötü veri noktasının nihai model weights değerlerini büyük ölçüde saptırmamasını sağlar.

Ultralytics ile Etiket Yumuşatma Uygulama#

Modern derin öğrenme çerçeveleri bu tekniğin uygulanmasını basitleştirir. ultralytics paketini kullanarak etiket yumuşatmayı image classification veya tespit görevleri için eğitim boru hattınıza (pipeline) kolayca entegre edebilirsiniz. Bu genellikle YOLO26 gibi son teknoloji modellerden ekstra performans elde etmek için yapılır.

Aşağıdaki örnek, etiket yumuşatma etkinleştirilmiş bir sınıflandırma modelinin nasıl eğitileceğini göstermektedir:

from ultralytics import YOLO

# Load a pre-trained YOLO26 classification model
model = YOLO("yolo26n-cls.pt")

# Train with label_smoothing set to 0.1
# The target for the correct class becomes 1.0 - 0.5 * 0.1 = 0.95 (depending on implementation specifics)
model.train(data="mnist", epochs=5, label_smoothing=0.1)

İlgili Kavramlarla Karşılaştırma#

Ne zaman kullanılacağını anlamak için etiket yumuşatmayı diğer regularization stratejilerinden ayırmak faydalıdır.

• vs. Dropout: Bir dropout layer, ağın yedekli (redundant) temsiller öğrenmesini zorlamak için eğitim sırasında nöronları rastgele devre dışı bırakır. Her ikisi de aşırı öğrenmeyi önlese de dropout ağ mimarisini dinamik olarak değiştirirken, etiket yumuşatma optimizasyon hedefini (etiketlerin kendisini) değiştirir.
• vs. Bilgi Damıtma (Knowledge Distillation): Her iki teknik de yumuşak hedefler üzerinde eğitim yapmayı içerir. Ancak knowledge distillation sürecinde yumuşak hedefler bir "öğretmen" modelden gelir ve öğrenilmiş bilgiler içerir (ör. "bu %10 ihtimalle bir kediyede benziyor"). Buna karşılık etiket yumuşatma, matematiksel olarak türetilmiş "bilgi içermeyen" yumuşak hedefler kullanır (ör. "diğer tüm sınıflara eşit olarak %10 olasılık ver").
• vs. Veri Artırma (Data Augmentation): Data augmentation stratejileri çeşitliliği artırmak için girdiyi (döndürme, kırpma, renklendirme) değiştirir. Etiket yumuşatma ise çıktı beklentilerini değiştirir. Ultralytics Platform üzerindeki kapsamlı eğitim iş akışları, maksimum doğruluğa ulaşmak için genellikle veri artırma, dropout ve etiket yumuşatmayı birleştirir.

Nihai katmanlardaki vanishing gradient sorununu hafifleterek ve modelin daha güçlü öznitelikler öğrenmesini teşvik ederek etiket yumuşatma, modern deep learning mimarilerinde temel bir unsur olmaya devam etmektedir.