Cross-Entropy Loss

Çapraz entropi kaybı, modelin tahmin ettiği sınıf olasılıklarının hedef etiketlerle ne ölçüde eşleştiğini ölçer. Doğru sınıfa yüksek olasılık verildiğinde küçük, bu olasılık düşük olduğunda büyük bir ceza uygular. Kayıp fonksiyonu olarak denetimli öğrenme sırasında en aza indirilecek bir amaç sağlar.

Claude Shannon'ın 1948 tarihli Bir Matematiksel İletişim Kuramı çalışması, entropi temelini oluşturdu. D. F. Kerridge, 1961 tarihli Hatalılık ve Çıkarım makalesinde çapraz entropi ölçüsünü "hatalılık" olarak tanıttı. Sınıflandırmada log kaybı eş anlamlı olarak kullanılır; lojistik regresyon ve sinir ağı sınıflandırıcıları da bu kaybı kullanır.

Çapraz Entropi Kaybı Nasıl Çalışır?#

Tek bir doğru sınıfı olan bir örnek için ağırlıksız çapraz entropi loss = -ln(p_correct) şeklindedir. Doğru sınıf olasılığı 0,9 olduğunda kayıp yaklaşık 0,105; 0,1 olduğunda ise yaklaşık 2,303 olur. Doğal logaritmalar sonucu nat adı verilen birimlerle ifade eder. Eğitimde genellikle bu cezaların bir mini yığın üzerindeki ortalaması alınır.

Daha genel olarak çapraz entropi, her hedef olasılığı tahmin edilen olasılığın negatif logaritmasıyla çarpar ve sınıflar genelinde toplar. One-hot hedef, doğru sınıfa 1, diğer sınıflara 0 değerini vererek yalnızca doğru sınıfa ait terimi bırakır. Ağırlıksız, one-hot hedefler için çapraz entropiyi en aza indirmek, gözlemlenen etiketlerin olabilirliğini en üst düzeye çıkarmaya eşdeğerdir. Geri yayılım gradyanları hesaplar; gradyan inişi ise modelin parametrelerini günceller.

İkili, Kategorik ve Seyrek Çapraz Entropi#

Uygun biçim etiketlere bağlıdır:

• Sigmoid ile ikili çapraz entropi: 0 veya 1 değerini alan y hedefi ve 1. sınıfa ait p tahmin olasılığı için kayıp -[y * ln(p) + (1 - y) * ln(1 - p)] şeklindedir. Çok etiketli sınıflandırma, birlikte bulunabilen etiketlere bu kaybı bağımsız olarak uygular.
• Softmax ile kategorik çapraz entropi: Bu yöntem, olasılıkları toplamı 1 olan ve birbirini dışlayan sınıfları puanlar. Softmax, logit adı verilen ham model puanlarını bu dağılıma dönüştürür.
• Seyrek kategorik çapraz entropi: Bu yöntem one-hot vektör yerine bir tamsayı sınıf indeksi kullanır. Aynı kaybı hesaplar; "seyrek" ifadesi hedef kodlamasını tanımlar.

Yumuşak hedefler olasılığı sınıflar arasında dağıtır. Bu hedefler, bir öğrencinin öğretmenin olasılık dağılımından öğrendiği etiket yumuşatma ve bilgi damıtma yöntemlerinde kullanılır.

PyTorch'ta Çapraz Entropi Hesaplama#

PyTorch, CrossEntropyLoss içinde ham logitleri kabul eder. Sınıf indeksi hedefleri için hesaplama, log-softmax işleminin ardından negatif log olabilirliği uygulanmasına eşdeğerdir. Önceden softmax uygulamak, fonksiyonun olasılıkları logit olarak değerlendirmesine neden olur ve kaybı ve gradyanları değiştirir. Tamsayı hedefleri torch.long kullanır; olasılık hedefleri ise kayan noktalı değerler kullanır ve logitlerle aynı şekle sahip olur.

import torch
from torch import nn

# Both predictions select class 0; the second is more confident.
logits = torch.tensor([[2.0, 0.0, 0.0], [4.0, 0.0, 0.0]])
targets = torch.tensor([0, 0], dtype=torch.long)
loss_fn = nn.CrossEntropyLoss(reduction="none")

losses = loss_fn(logits, targets)
print(f"Lower confidence loss: {losses[0].item():.4f}")
print(f"Higher confidence loss: {losses[1].item():.4f}")

Her iki tahmin de doğru kalırken kayıplar 0,2395'ten 0,0360'a düşer. Doğruluk sınıf kararlarını kaydeder; çapraz entropi ise olasılık atamalarına da duyarlıdır. İkili veya çok etiketli logitlerde BCEWithLogitsLoss, sigmoid ile ikili çapraz entropiyi bir araya getirir.

Bilgisayarlı Görü Uygulamaları#

Tek etiketli görüntü sınıflandırma, her görüntü için tek bir sınıf öğrenmek üzere çapraz entropi kullanır. Ultralytics YOLO26 sınıflandırma eğitimi, sınıflandırıcıyı etiketli kategoriye yöneltmek için sınıf logitleri üzerindeki ortalama çapraz entropiyi kullanır.

Sağlık hizmetlerinde görüntü segmentasyonu alanında, özgün U-Net modeli biyomedikal mikroskopi görüntüleri üzerinde piksel bazlı softmax ve ağırlıklı çapraz entropiyle eğitildi. Modelin ağırlık haritası, birbirine değen hücrelerin sınırlarında cezaları artırarak komşu hücrelerin ayrılmasına yardımcı oldu. Bu yaklaşım, anlamsal segmentasyonda sınıflandırmayı her pikselde uygular.

Kayıp Değerlerini Yorumlama#

Geçerli hedef dağılımları ve negatif olmayan ağırlıklar kullanıldığında ayrık çapraz entropi negatif olmaz. Ağırlıksız, kesin bir hedefte doğru sınıfa 1 olasılığı verildiğinde sıfıra ulaşır; bu olasılık sıfıra yaklaştıkça sınırsız biçimde büyür. Negatif değerler, negatif hedef girdileri veya ağırlıkları gibi bir girdi ya da uygulama hatasına işaret eder.

Entropi, tek bir dağılımdaki belirsizliği ölçer; çapraz entropi ise hedefleri tahminlerle karşılaştırır. Çapraz entropi, hedef entropisi ile Kullback–Leibler ayrışımının, yani ek uyumsuzluk cezasının toplamına eşittir. Bu nedenle entropisi pozitif olan yumuşak hedeflerin minimum değeri de pozitiftir.

Sınıf ağırlıklandırma, seçili sınıfların katkısını artırır. Odak kaybı, nesne algılamada ön plan-arka plan dengesizliğini gidermek için kolay örneklerin katkısını azaltır. Düzgün bir tahminde, ağırlıksız log kaybı ln(number_of_classes) değerine eşittir: iki sınıfta yaklaşık 0,693, on sınıfta ise 2,303.