Etiket Düzeltme

Etiket düzeltme, makine öğreniminde model genelleştirmeyi iyileştirmek ve aşırı uyumu önlemek için yaygın olarak kullanılan bir düzenleme tekniğidir. Sinir ağlarını eğitirken, amaç genellikle tahminler ile gerçek değerler arasındaki hatayı en aza indirmektir. Ancak, bir model tahminlerinde çok fazla güvenilir hale gelirse (tek bir sınıfa %100'e yakın olasılık atarsa), genellikle sağlam kalıpları öğrenmek yerine eğitim verilerindeki belirli gürültüyü ezberlemeye başlar. Aşırı uyum olarak bilinen bu fenomen, yeni ve görülmemiş örneklerde performansı düşürür. Etiket yumuşatma, modeli mutlak kesinlikte tahmin yapmaktan caydırarak bu sorunu çözer; esasen ağa her zaman küçük bir hata payı olduğunu söyler.

Yumuşak Hedeflerin Mekanizması

Etiket yumuşatmanın nasıl çalıştığını anlamak için, bunu standart "sert" hedeflerle karşılaştırmak yardımcı olur. Geleneksel yöntemde denetimli öğrenme, sınıflandırma etiketleri genellikle şu şekilde temsil edilir: tekli kodlama. Örneğin, kediler ve köpekleri ayırt eden bir görevde, bir "köpek" görüntüsünün hedef vektörü [0, 1]Buna mükemmel bir şekilde uymak için, model iç puanlarını, yani logitler, sonsuza doğru, bu da kararsız gradyanlara ve uyum sağlayamama durumuna yol açabilir.

Etiket yumuşatma, bu katı 1 ve 0'ları "yumuşak" hedeflerle değiştirir. Hedef olasılık yerine 1.0, doğru sınıf atanabilir 0.9, kalan olasılık kütlesi ise (0.1) yanlış sınıflar arasında eşit olarak dağıtılır. Bu ince değişiklik, hedefin kayıp fonksiyonu, örneğin çapraz entropi, önlemek aktivasyon fonksiyonu (genellikle Softmax) doygunluğa ulaşmasını engeller. Sonuç olarak, özellik uzayında daha sıkı sınıf kümeleri öğrenen ve daha iyi model kalibrasyonu, yani tahmin edilen olasılıklar, doğruluğun gerçek olasılığını daha doğru bir şekilde yansıtır.

Gerçek Dünya Uygulamaları

Bu teknik, veri belirsizliğinin doğal olduğu veya veri kümelerinin etiketleme hatalarına eğilimli olduğu alanlarda özellikle önemlidir .

• Tıbbi Teşhis: Sağlık hizmetlerinde yapay zeka alanında, klinik veriler nadiren siyah ve beyazdır. Örneğin, tıbbi görüntü analizinde, bir tarama bir hastalığı büyük ölçüde düşündüren ancak kesin olmayan özellikler gösterebilir. Sabit etiketlerle eğitim, modeli bu belirsizliği görmezden gelmeye zorlar. Etiket yumuşatma uygulayarak, model bir dereceye kadar şüpheciliğini korur ve bu, aşırı güvenin yanlış teşhise yol açabileceği karar destek sistemleri için hayati önem taşır.
• Büyük Ölçekli Görüntü Sınıflandırması: ImageNet genellikle yanlış etiketlenmiş görüntüler veya birden fazla geçerli nesne içeren görüntüler içerir. Bir model bu gürültülü örnekleri %100 güvenle uydurmaya çalışırsa, yanlış ilişkilendirmeler öğrenir. Etiket düzeltme, etiket gürültüsüne karşı bir tampon görevi görür ve birkaç kötü veri noktasının nihai model ağırlıklarını büyük ölçüde çarpıtmamasını sağlar.

Ultralytics ile Etiket Düzgünleştirme Uygulaması

Modern derin öğrenme çerçeveleri, bu tekniğin uygulanmasını basitleştirir. Kullanarak ultralytics paketini kullanarak, etiket yumuşatmayı eğitim boru hattınıza kolayca entegre edebilirsiniz. görüntü sınıflandırma veya algılama görevleri. Bu genellikle, en son teknolojiye sahip modellerden ekstra performans elde etmek için yapılır. YOLO26.

Aşağıdaki örnek, etiket yumuşatma özelliği etkinleştirilmiş bir sınıflandırma modelinin nasıl eğitileceğini göstermektedir:

from ultralytics import YOLO

# Load a pre-trained YOLO26 classification model
model = YOLO("yolo26n-cls.pt")

# Train with label_smoothing set to 0.1
# The target for the correct class becomes 1.0 - 0.5 * 0.1 = 0.95 (depending on implementation specifics)
model.train(data="mnist", epochs=5, label_smoothing=0.1)

İlgili Kavramlarla Karşılaştırma

Etiket düzeltmeyi diğer düzenleme stratejilerinden ayırmak, ne zaman kullanılması gerektiğini anlamak için yararlıdır.

• vs. Dropout: Bir dropout katmanı, ağın gereksiz temsilleri öğrenmesini sağlamak için eğitim sırasında nöronları rastgele devre dışı bırakır. Her ikisi de aşırı uyumu önlerken, dropout ağ mimarisini dinamik olarak değiştirir, etiket yumuşatma ise optimizasyon hedefini (etiketlerin kendisini) değiştirir.
• vs. Bilgi Damıtma: Her iki teknik de yumuşak hedefler üzerinde eğitim içerir. Ancak, bilgi damıtmada, yumuşak hedefler bir "öğretmen" modelinden gelir ve öğrenilen bilgileri içerir (örneğin, "bu %10 oranında kediye benziyor"). Buna karşılık, etiket yumuşatma, matematiksel olarak türetilen "bilgi içermeyen" yumuşak hedefler kullanır (örneğin, "diğer tüm sınıflara eşit olarak %10 olasılık ver").
• vs. Veri Artırma: Veri artırma stratejileri, çeşitliliği artırmak için girdi verilerini (döndürme, kırpma, renklendirme) değiştirir. Etiket yumuşatma, çıktı beklentilerini değiştirir. Ultralytics kapsamlı eğitim iş akışları, maksimum doğruluk elde etmek için genellikle artırma, bırakma ve etiket yumuşatmayı birleştirir.

Son katmanlarda kaybolan gradyan sorununu hafifleterek ve modelin daha sağlam özellikleri öğrenmesini teşvik ederek, etiket yumuşatma modern derin öğrenme mimarilerinde temel bir unsur olmaya devam etmektedir.