Label Smoothing

Etiket yumuşatma, makine öğreniminde modelin genelleme yeteneğini geliştirmek ve aşırı öğrenmeyi önlemek için yaygın olarak kullanılan bir düzenlileştirme tekniğidir. Sinir ağlarını eğitirken amaç genellikle tahminlerle gerçek değerler arasındaki hatayı en aza indirmektir. Ancak bir model tahminlerine aşırı güvenmeye başlarsa ve tek bir sınıfa neredeyse %100 olasılık atarsa, sağlam örüntüler öğrenmek yerine eğitim verilerindeki belirli gürültüyü ezberlemeye başlar. Aşırı öğrenme olarak bilinen bu olgu, yeni ve daha önce görülmemiş örneklerdeki performansı düşürür. Etiket yumuşatma, modelin kesinlik içeren tahminler yapmasını caydırarak bu sorunu giderir; temelde ağa her zaman küçük bir hata payı olduğunu bildirir.

Yumuşak Hedeflerin Mekaniği#

Etiket yumuşatmanın nasıl çalıştığını anlamak için bunu standart "sert" hedeflerle karşılaştırmak yararlı olur. Geleneksel denetimli öğrenmede sınıflandırma etiketleri genellikle one-hot kodlama ile temsil edilir. Örneğin, kedilerle köpekleri ayırt eden bir görevde "köpek" görüntüsünün hedef vektörü [0, 1] olur. Model bunu kusursuz biçimde eşleştirmek için logit olarak bilinen dahili skorlarını sonsuzluğa doğru iter; bu da kararsız gradyanlara ve uyum sağlayamama durumuna yol açabilir.

Etiket yumuşatma, bu katı 1 ve 0 değerlerini "yumuşak" hedeflerle değiştirir. Hedef olasılığı 1.0 yerine doğru sınıfa 0.9 atanabilirken kalan olasılık kütlesi (0.1) yanlış sınıflar arasında eşit olarak dağıtılır. Bu küçük değişiklik, kayıp fonksiyonunun (örneğin çapraz entropinin) amacını değiştirerek aktivasyon fonksiyonunun (genellikle Softmax) doymasını önler. Sonuç olarak model, özellik uzayında daha sıkı sınıf kümeleri öğrenir ve daha iyi model kalibrasyonu üretir; yani tahmin edilen olasılıklar, doğru olma ihtimalinin gerçek olasılığını daha doğru yansıtır.

Gerçek Dünya Uygulamaları#

Bu teknik, veri belirsizliğinin doğası gereği bulunduğu veya veri kümelerinin etiketleme hatalarına yatkın olduğu alanlarda özellikle kritiktir.

• Tıbbi Tanı: Sağlık hizmetlerinde yapay zekâ alanında klinik veriler nadiren kesin ve nettir. Örneğin tıbbi görüntü analizinde bir tarama, bir hastalığı güçlü biçimde düşündüren ancak kesin kanıt oluşturmayan özellikler gösterebilir. Sert etiketlerle eğitim, modeli bu belirsizliği göz ardı etmeye zorlar. Etiket yumuşatma uygulandığında model, aşırı güvenin yanlış tanıya yol açabileceği karar destek sistemleri için hayati önem taşıyan bir şüphe payını korur.
• Büyük Ölçekli Görüntü Sınıflandırma: ImageNet gibi devasa herkese açık veri kümeleri genellikle yanlış etiketlenmiş görüntüler veya birden fazla geçerli nesne içeren görüntüler barındırır. Bir model bu gürültülü örneklere %100 güvenle uymaya çalışırsa yanlış ilişkiler öğrenir. Etiket yumuşatma, etiket gürültüsüne karşı bir tampon görevi görerek birkaç hatalı veri noktasının nihai model ağırlıklarını büyük ölçüde çarpıtmamasını sağlar.

Ultralytics ile Etiket Yumuşamayı Uygulama#

Modern derin öğrenme çerçeveleri bu tekniğin uygulanmasını kolaylaştırır. ultralytics paketini kullanarak etiket yumuşatmayı görüntü sınıflandırma veya algılama görevlerine yönelik eğitim işlem hattına kolayca entegre edebilirsin. Bu yöntem genellikle YOLO26 gibi son teknoloji modellerden ek performans elde etmek için kullanılır.

Aşağıdaki örnek, etiket yumuşatma etkinleştirilmiş bir sınıflandırma modelinin nasıl eğitileceğini gösterir:

from ultralytics import YOLO

# Load a pre-trained YOLO26 classification model
model = YOLO("yolo26n-cls.pt")

# Train with label_smoothing set to 0.1
# The target for the correct class becomes 1.0 - 0.5 * 0.1 = 0.95 (depending on implementation specifics)
model.train(data="mnist", epochs=5, label_smoothing=0.1)

İlgili Kavramlarla Karşılaştırma#

Ne zaman kullanılacağını anlamak için etiket yumuşatmayı diğer düzenlileştirme stratejilerinden ayırt etmek yararlıdır.

• Dropout ile karşılaştırma: Bir dropout katmanı, ağı yedekli temsiller öğrenmeye zorlamak için eğitim sırasında nöronları rastgele devre dışı bırakır. Her ikisi de aşırı öğrenmeyi önler; ancak dropout ağ mimarisini dinamik olarak değiştirirken etiket yumuşatma optimizasyon hedefini, yani etiketlerin kendisini, değiştirir.
• Bilgi Damıtma ile karşılaştırma: Her iki teknik de yumuşak hedeflerle eğitimi içerir. Ancak bilgi damıtmada yumuşak hedefler bir "öğretmen" modelinden gelir ve öğrenilmiş bilgiler içerir (örneğin, "bu görüntü %10 oranında kediye benziyor"). Buna karşılık etiket yumuşatma, matematiksel olarak türetilen "bilgi içermeyen" yumuşak hedefleri kullanır (örneğin, "diğer tüm sınıflara eşit olarak %10 olasılık ver").
• Veri Artırma ile karşılaştırma: Veri artırma stratejileri, çeşitliliği artırmak için girdi verilerini değiştirir (döndürme, kırpma ve renklendirme gibi). Etiket yumuşatma ise çıktı beklentilerini değiştirir. Ultralytics Platformu üzerindeki kapsamlı eğitim iş akışları, en yüksek doğruluğu elde etmek için genellikle artırma, dropout ve etiket yumuşatmayı birlikte kullanır.

Son katmanlardaki kaybolan gradyan sorununu azaltan ve modeli daha sağlam özellikler öğrenmeye teşvik eden etiket yumuşatma, modern derin öğrenme mimarilerinin temel tekniklerinden biri olmayı sürdürür.