Etiket Düzeltme

Etiket yumuşatma, makine öğrenimi modellerinin eğitimi sırasında, modellerin yanlış etiketlenmesini önlemek için kullanılan bir düzenlileştirme tekniğidir. sinir ağının tahminlerine aşırı güvenmesini önler. Hedef etiketleri biraz değiştirerek, bu yöntem modeli daha az uç olasılık dağılımları üretmeye teşvik eder, bu da sonuçta daha iyi genelleme ve görünmeyen veriler üzerinde gelişmiş performans. Yaygın olan şu sorunu etkili bir şekilde hafifletir aşırı uyum, bir modelin temelini öğrenmek yerine eğitim verileri gerçek dünya senaryolarında doğru tahminler için gerekli modeller.

Etiket Düzeltme Mekaniği

Standart denetimli öğrenme görevlerinde, örneğin görüntü sınıflandırma, modeller tipik olarak "sert" hedefler kullanılarak eğitilir. Bu hedefler tek seferde kodlanmış Doğru sınıfa 1.0 (%100) olasılık atandığı ve tüm yanlış sınıflara 0.0 atandığı vektörler. Bu sezgisel gibi görünse de kayıp fonksiyonunu (genellikleÇapraz Entropi Kaybı) logit katmanının çıktılarını sonsuza kadar tam olarak 1.0'a ulaşır. Bu davranış, yanlış olsa bile aşırı derecede kendinden emin bir modelle sonuçlanır ve yeni girdilere uyum sağlama kabiliyetini azaltır.

Etiket yumuşatma bu sert hedefleri "yumuşak" hedeflerle değiştirir. Zemine 1.0 atamak yerine doğruysa, teknik 0,9 gibi biraz daha düşük bir değer atar. Kalan olasılık kütlesi (örneğin 0,1) yanlış sınıflar arasında eşit olarak dağıtılmıştır. Bu incelikli değişim aktivasyon fonksiyonu, tipik olarak Softmax, doygunluktan. Daha derin bir teorik bilgi için "Rethinking the Inception Architecture for Computer Vision" adlı araştırma makalesi, bu mekanizmanın eğitimi nasıl stabilize ettiğine dair temel bilgiler sunmaktadır.

Ultralytics ile Etiket Düzgünleştirme Uygulaması

Modern bilgisayarla görme çerçeveleri bu tekniğin uygulanmasını kolaylaştırır. Kullanırken Ultralytics YOLO11 modelinde etiket yumuşatmayı etkinleştirebilirsiniz doğrudan eğitim argümanları içinde. Bu özellikle aşağıdakiler için kullanışlıdır Veri kümelerinin belirsizlik içerebileceği sınıflandırma görevleri.

Aşağıdaki örnekte, etiket yumuşatma uygulanmış bir modelin nasıl eğitileceği gösterilmektedir:

from ultralytics import YOLO

# Load the YOLO11 classification model
model = YOLO("yolo11n-cls.pt")

# Train on a dataset with label smoothing set to 0.1
# This distributes 10% of the probability mass to incorrect classes
model.train(data="mnist", epochs=5, label_smoothing=0.1)

Model Kalibrasyonu ve Sağlamlığında Faydalar

Etiket yumuşatmanın başlıca avantajlarından biri, etiketlerin model kalibrasyonu. İyi kalibre edilmiş bir model esasen gerçek doğruluk olasılığını yansıtan öngörülen olasılıklar üretir. Örneğin, eğer bir model bir sınıfı %70 güvenle tahmin ediyorsa, bu zamanın %70'inde doğru. Sert etiketler genellikle, aşağıdakilerden bağımsız olarak %99 güvenle tahmin yapan kalibre edilmemiş modellere yol açar gerçek belirsizlik.

Ayrıca, etiket yumuşatma işlemi aşağıdakilere karşı sağlamlığı artırır gürültülü veriler. Gibi büyük veri kümelerinde ImageNetbazı etiketler yanlış veya belirsiz olabilir. Tarafından modeli tam olarak 1.0'a yakınsamaya zorlamadığından, ağ ara sıra yanlış etiketlenmeye karşı daha bağışlayıcı hale gelir örnekler, sinir ağının hatalı kalıpları derinlemesine öğrenmek.

Gerçek Dünya Uygulamaları

Bu düzenleme stratejisi, çeşitli alanlarda yaygın olarak benimsenmiştir. geliştirmek için yapay zeka güvenilirlik.

• Tıbbi Görüntü Analizi: İçinde sağlık alanında yapay zeka çözümleri, belirsizlik Doğal. Bir tarama, bir tümörün kesin olmayan özelliklerini gösterebilir. Etiket yumuşatma yardımcı olur tıbbi görüntü analiz modelleri yapmaktan kaçının Tehlikeli derecede emin yanlış pozitif tahminler, daha incelikli olasılık sağlayarak radyologlara yardımcı olmak ikili kesinlikler yerine puanlar.
• Doğal Dil İşleme (NLP): Aşağıdaki gibi görevlerde makine çevirisi, birden fazla kelime genellikle tek bir kaynak kelime için geçerli çeviriler olarak hizmet eder. Etiket yumuşatma bu belirsizliği önleyerek kabul eder. modelinin geçerli eşanlamlılara sıfır olasılık atamasını engeller. Transformatörler ve Büyük Dil Modelleri.

İlgili Kavramlarla Karşılaştırma

Etiket yumuşatmayı model performansını iyileştirmek için kullanılan diğer tekniklerden ayırmak faydalı olacaktır.

• Veri Artırmaya karşı: Bir yandan veri artırımı girdi verilerini değiştirir (örneğin, görüntüleri döndürme veya çevirme) çeşitliliği artırmak için, etiket yumuşatma hedef etiketleri değiştirir. Her ikisi de gibi sağlam modelleri eğitmek için eşzamanlı olarak kullanılabilir. Yüksek doğruluk ve verimlilik hedefleyen YOLO26.
• Bilgi Damıtmaya karşı: İçinde bi̇lgi̇ damitma, bi̇r öğrenci̇ modeli̇ bir öğretmen modelinin "yumuşak" tahminlerinden öğrenir. Yumuşak hedeflerin olduğu etiket yumuşatmanın aksine tekdüze ve sezgisel olan damıtma, ilişkiler hakkında bilgi içeren öğrenilmiş olasılıkları kullanır sınıflar arasında (örneğin, bir "köpek" bir "araba "dan çok bir "kedi "ye benzer).
• vs. Dropout: Bu sırasında nöronları rastgele devre dışı bırakır. birlikte adaptasyonu önlemek için eğitim. Bu, ağ mimarisini dinamik olarak değiştirirken, etiket yumuşatma optimizasyon hedefi. Bırakma hakkında daha fazla ayrıntı şu adreste bulunabilir Journal of Machine Learning Research makalesi.

Etiket yumuşatmayı eğitim hattınıza entegre ederek modellerinizin uyarlanabilir kalmasını sağlarsınız ve kalibre edilmiştir, bu da başarılı bir üretimde model dağıtımı ortamlar.