Loss Function

Kayıp fonksiyonu, bir modelin tahminlerinin kendi eğitim verilerindeki gerçek etiketlerden ne kadar uzak olduğunu ölçer ve bu hatayı tek bir sayıya indirger; bu sayının düşük olması daha iyidir. Bir sinir ağını eğitmek, bu sayıyı olabildiğince küçültmek için model ağırlıklarını ayarlamak anlamına gelir. "Maliyet fonksiyonu" ve "amaç fonksiyonu" yaygın eş anlamlılardır; ancak bazı metinler "kayıp" terimini tek bir örnekteki hata için, "maliyet" terimini ise bir yığın veya veri kümesi genelindeki ortalama için kullanır.

Kayıp Eğitimi Nasıl Yönlendirir#

Eğitim, verilerin her yığını için aynı döngüyü yineler. Model tahminler üretir, kayıp işlevi bunları etiketlerle karşılaştırıp puanlar ve geri yayılım kaybın her ağırlığa göre gradyanını hesaplar. Stokastik gradyan inişi (SGD) veya Adam optimizer'ı gibi bir optimizer, ardından öğrenme hızının belirlediği küçük bir adımla her ağırlığı gradyanının ters yönünde hareket ettirir. Bu süreç gradyanlara dayandığından, kayıp işlevinin hemen hemen her yerde türevlenebilir olması gerekir. Her epoch sonrasında eğitim ve doğrulama kaybını çizmek, bir çalışmayı izlemek için standart yöntemdir: eğitim kaybı düşmeye devam ederken doğrulama kaybının yükselmesi, aşırı öğrenmenin klasik işaretidir.

Yaygın Kayıp İşlevleri#

Doğru kayıp, modelin neyi tahmin ettiğine bağlıdır. PyTorch gibi çerçeveler standart seçeneklerin çoğunu sunar:

• Ortalama kare hata (MSE): Tahmin edilen ve gerçek değerler arasındaki farkların karelerinin ortalamasıdır ve regresyonda kullanılır. Kare alma büyük hatalara daha fazla ağırlık verdiğinden aykırı değerlerin etkisi güçlüdür.
• Ortalama mutlak hata (L1) ve Huber kaybı: Büyük hatalarda doğrusal olarak artan regresyon kayıplarıdır; bu özellik onları aykırı değerlere karşı daha az duyarlı kılar. Huber kaybı küçük hatalarda karesel, bir eşik aşıldığında doğrusal artar.
• Çapraz entropi: Görüntü sınıflandırmada standart kayıptır ve birbirini dışlayan sınıflar üzerindeki softmax olasılıkları kullanılarak hesaplanır.
• İkili çapraz entropi (BCE): Her sınıfı sigmoid üzerinden bağımsız bir evet-hayır tahmini olarak puanlar; çok etiketli sorunlar ve algılayıcı sınıf puanları için uygundur.
• Odak kaybı: Kolay örneklerin ağırlığını azaltan bir çapraz entropi çeşididir; böylece sınıf dengesizliği yüksek olduğunda öğrenmeyi nadir ve zor örnekler yönlendirir.
• IoU tabanlı kayıplar: Kesişim/birleşim (IoU) üzerine kurulu kutu regresyon kayıplarıdır. DIoU ve CIoU gibi çeşitleri merkezler arasındaki mesafeyi, CIoU ise ayrıca en-boy oranını cezalandırır.
• Dice kaybı: Ön planın piksellerin yalnızca küçük bir bölümünü kapladığı durumlarda bile bilgi sağlayan bir görüntü segmentasyonu örtüşme kaybıdır.
• Karşıtlık kayıpları: Karşıtlık öğrenimi için kullanılan, eşleşen çiftleri gömme uzayında birbirine yaklaştırıp eşleşmeyen çiftleri birbirinden uzaklaştıran kayıplardır.

Çapraz entropi, gerçek sınıfa atanan olasılığın negatif logaritmasını kullanır; bu nedenle kendinden emin bir yanlış yanıt, tereddütlü bir yanıtın çok üstünde maliyet yaratırken kendinden emin ve doğru bir yanıtın maliyeti neredeyse sıfırdır. PyTorch'un CrossEntropyLoss, güven düzeyleri aynı olan iki tahminde bu etkiyi gösterir:

import torch
from torch import nn

# CrossEntropyLoss applies softmax to raw scores (logits) internally
loss_fn = nn.CrossEntropyLoss()

# Logits for 3 classes; the true class is index 0
target = torch.tensor([0])
confident_right = torch.tensor([[4.0, 0.5, -1.0]])
confident_wrong = torch.tensor([[-1.0, 4.0, 0.5]])

print(f"Confident and right: {loss_fn(confident_right, target).item():.4f}")
print(f"Confident and wrong: {loss_fn(confident_wrong, target).item():.4f}")

Kendinden emin ve doğru tahminin maliyeti 0,0363'tür; aynı güven düzeyinin yanlış sınıfa yöneltilmesinin maliyeti ise 5,0363, yani yaklaşık 139 kat daha fazladır.

Nesne Tespitinde Bileşik Kayıplar#

Nesne tespiti modelleri her nesnenin konumunu ve ne olduğunu tahmin eder; bu nedenle eğitim kayıpları birkaç terimin ağırlıklı toplamıdır. YOLO26, CIoU kutu kaybını, BCE sınıflandırma kaybını ve önceki YOLO modellerindeki Distribution Focal Loss'un yerini alan normalleştirilmiş kutu mesafeleri için L1 kaybını birleştirir. Bu kayıplar, eğitim argümanlarının box, cls ve dfl değerleriyle ağırlıklandırılır (varsayılanlar sırasıyla 7.5, 0.5 ve 1.5'tir). İlerlemeli Kaybı da eğitim ilerledikçe ağırlığı, bire çok başlıktan NMS'siz çıkarım için kullanılan bire bir başlığa kaydırır.

Kayıp İşlevi ve İlgili Terimler#

• Değerlendirme metrikleri: Doğruluk ve ortalama kesinlik (mAP) gibi metrikler, performansı insanların önem verdiği ölçütlerle bildirir; ancak çoğu kesikli sıçramalarla değişir ve gradyan sağlayamaz. Eğitim, bu metriklerin vekili olarak türevlenebilir bir kaybı en aza indirir.
• Düzenlileştirme: Karmaşıklığı azaltmak için kayba eklenen ceza terimleridir. L2 düzenlileştirmesi, kareleri alınmış ağırlıkların toplamının bir katını ekler; bu da optimizer'ı daha iyi genelleyen küçük ağırlıklara yöneltir.
• Ödül işlevi: Pekiştirmeli öğrenmede kullanılan amaçtır. Ajan, kaybı en aza indirmek yerine toplam ödülü en üst düzeye çıkarır; dolayısıyla ödül, negatif kayıp işlevini görür.