Etiket yumuşatma, öncelikle makine öğrenimi (ML) ve derin öğrenme (DL) kapsamındaki sınıflandırma görevlerinde kullanılan bir düzenlileştirme tekniğidir. Temel amacı, modellerin eğitim verilerine dayalı tahminlerinde aşırı özgüvenli olmalarını önlemektir. Denetimli öğrenmenin kullanıldığı standart sınıflandırma eğitiminde, modeller genellikle "sert" etiketler kullanılarak eğitilir; bu etiketler tipik olarak doğru sınıfa 1 olasılık atandığı ve diğer tüm sınıflara 0 olasılık atandığı tek vuruşlu kodlanmış bir formatta temsil edilir. Etiket yumuşatma, bu sert hedefleri "yumuşak" hedeflere dönüştürerek doğru sınıfa atanan güveni biraz azaltır ve yanlış sınıflar arasında az miktarda olasılık kütlesi dağıtır. Bu, modeli daha az kesin olmaya ve potansiyel olarak görülmemiş verilere daha iyi genelleme yapmaya teşvik eder.
Etiket Düzleştirme Nasıl Çalışır?
Doğru sınıf için kesin bir 1 ve diğerleri için 0 kullanmak yerine (tek seferlik kodlama), etiket yumuşatma bu hedef olasılıkları ayarlar. Örneğin, eğer elimizde K
sınıfları ve bir yumuşatma faktörü alpha
doğru sınıf için hedef olasılık şu hale gelir 1 - alpha
ve her bir yanlış sınıf için olasılık şu hale gelir alpha / (K-1)
. Bu küçük ayarlama, hedef etiketin kendisi mutlak kesinliği ifade etmediğinden, eğitim sırasında tek bir sınıfa aşırı yüksek bir olasılık (1'e yakın) atarsa modelin cezalandırılacağı anlamına gelir. Bu teknik, özellikle gelişmiş görüntü sınıflandırma modellerinin eğitimi bağlamında tartışılmıştır. "Bilgisayarla Görme için Başlangıç Mimarisini Yeniden Düşünmek" Kağıt.
Etiket Yumuşatmanın Faydaları
Etiket yumuşatmanın uygulanması çeşitli avantajlar sağlayabilir:
- Geliştirilmiş Genelleme: Modelin eğitim verilerindeki kesin kalıplar üzerinde çok fazla uzmanlaşmasını önleyerek ( aşırı uyumu azaltarak), genellikle yeni, görünmeyen veriler üzerinde daha iyi performans gösterir. Genelleme, makine öğreniminde önemli bir hedeftir.
- Daha İyi Model Kalibrasyonu: Etiket yumuşatma ile eğitilen modeller, tahminin doğru olma olasılığını daha iyi yansıtan olasılık puanları üretme eğilimindedir. Bu, %80 olarak tahmin edilen bir güvenin %80'lik gerçek bir doğruluğa karşılık gelme olasılığının daha yüksek olduğu anlamına gelir. Model kalibrasyonunu anlamak, güvenilir yapay zeka sistemleri için çok önemlidir.
- Azaltılmış Aşırı Güven: Modellerin tahminlere neredeyse mutlak kesinlik atfetmesi sorununu doğrudan ele alır, bu da belirsizliğin var olduğu gerçek dünya uygulamalarında sorunlu olabilir. Aşırı güven, kötü karar vermeye yol açabilir.
- Düzenli hale getirme etkisi: Etiketlere gürültü ekleyerek ve böylece öğrenilen model ağırlıklarının karmaşıklığını kısıtlayarak, bırakma veya ağırlık azaltma gibi tekniklere benzer bir düzenli hale getirme biçimi olarak işlev görür.
Uygulamalar ve Örnekler
Etiket yumuşatma, çeşitli alanlardaki sınıflandırma senaryolarında yaygın olarak uygulanmaktadır:
- Görüntü Sınıflandırma: ImageNet veri kümesi üzerinde eğitim gibi büyük ölçekli görüntü sınıflandırma görevlerinde etiket yumuşatma, modellerin daha iyi genelleştirilmesine ve doğrulama kümelerinde daha yüksek doğruluk elde edilmesine yardımcı olur. Vision Transformers (ViT) gibi modeller genellikle eğitim sırasında bu teknikten yararlanır. Ultralytics HUB gibi araçları kullanarak sınıflandırma modellerini eğitebilirsiniz.
- Doğal Dil İşleme (NLP): Transformers gibi modellerin kullanıldığı makine çevirisi veya metin sınıflandırma gibi görevlerde, etiket yumuşatma, modelin belirli kelime tahminleri veya sınıflandırmaları hakkında aşırı kesin olmasını önleyerek performansı artırabilir, özellikle de dildeki doğal belirsizlik göz önüne alındığında.
- Konuşma Tanıma: NLP'ye benzer şekilde, konuşma tanıma modelleri, telaffuzdaki farklılıkları ve eğitim verilerindeki transkripsiyonlardaki potansiyel yanlışlıkları ele almak için etiket yumuşatmadan yararlanabilir.
Her mimari için her zaman açıkça detaylandırılmasa da, etiket yumuşatma gibi teknikler genellikle son teknoloji modellerin standart eğitim tariflerinin bir parçasıdır ve potansiyel olarak nesne algılama modelleri de dahil olmak üzere Ultralytics YOLO Sınıflandırma aşamaları sırasında, etkisi belirli görev ve veri kümesine bağlı olarak değişebilir.
İlgili Kavramlar
- Tek Sıcak Kodlama: Etiket yumuşatmanın bir değişiklik getirdiği kategorik etiketleri temsil etmenin standart yöntemi. Bir-sıcak kodlama, gerçek sınıfa 1 ve diğerlerine 0 atar.
- Bilgi Damıtma: Bu teknikte de yumuşak hedefler kullanılır, ancak amaç farklıdır. Bilgi Damıtma, öğrenilen bilgiyi aktararak daha küçük bir "öğrenci" modelini eğitmek için daha büyük, önceden eğitilmiş bir "öğretmen" modelinin olasılık çıktılarını yumuşak etiketler olarak kullanır. Etiket yumuşatma, standart eğitim sırasında uygulanan bağımsız bir düzenlileştirme tekniğidir.
- Kayıp Fonksiyonları: Etiket yumuşatma tipik olarak çapraz entropi gibi kayıp fonksiyonları ile birlikte kullanılır ve kaybın hesaplandığı hedef dağılımı değiştirir.
- Düzenli hale getirme: Model genellemesini iyileştirmeyi ve aşırı uyumu önlemeyi amaçlayan daha geniş düzenli hale getirme teknikleri kategorisine girer. Diğer örnekler arasında Dropout ve L1/L2 düzenlemesi yer alır.
Dikkate Alınması Gerekenler
Faydalı olsa da etiket yumuşatma dikkatli bir uygulama gerektirir. Düzeltme faktörü (alfa) ayarlanması gereken bir hiper parametredir; çok küçük bir değerin çok az etkisi olabilirken, çok büyük bir değer etiketleri çok bilgisiz hale getirerek öğrenmeyi engelleyebilir. Model kalibrasyonu üzerindeki etkisi genellikle olumlu olsa da, belirli bir uygulama için değerlendirilmelidir ve bazı durumlarda potansiyel olarak post-hoc kalibrasyon yöntemleri gerektirir. gibi modern derin öğrenme çerçevelerinde sıklıkla kullanılan basit ama etkili bir araçtır. PyTorch ve TensorFlow.