Huber Loss
Huber kaybı, regresyonda aykırı değerlerin etkisini azaltmak için karesel ve mutlak hatayı birleştirir; ayarlanabilir bir delta eşiği ve Python uygulaması sunar.
Huber kaybı, küçük tahmin hatalarını karesel, büyük hataları ise doğrusal olarak cezalandıran bir regresyon kayıp fonksiyonudur. Modele, doğru yanıta yakın değerlerde pürüzsüz bir amaç fonksiyonu sunarken olağan dışı büyüklükteki hataların etkisini azaltır. Bu özellik, çoğu eğitim örneğinin tutarlı bir örüntü izlediği ancak bazılarının aşırı sapmalar içerdiği durumlarda Huber kaybını kullanışlı kılar.
Peter J. Huber, bu fonksiyonu 1964 tarihli Robust Estimation of a Location Parameter makalesinde tanıttı. Huber kaybı, aykırı değerlere daha az duyarlı tahminler üreten bir model uydurmak için sağlam kestirimde temel bir araç olmayı sürdürmektedir.
Huber Kaybı Nasıl Çalışır#
Artık, tahmin edilen değer ile hedef değer arasındaki farktır. Huber kaybı, bu artığın amaç fonksiyonuna katkısını belirlemek için delta adlı pozitif bir eşik kullanır:
- Küçük artıklar: Mutlak artık delta değerinden küçük veya ona eşit olduğunda, kayıp artık değerinin karesinin yarısıdır.
- Büyük artıklar: Delta değerinin üzerinde kayıp, delta × (mutlak artık − 0,5 × delta) olur.
İki parça aynı değer ve eğimde birleşir. Geri yayılım sırasında tahmine göre türev, karesel bölgede artık değerine eşittir; bu bölgenin dışında ise türevin büyüklüğü delta ile sınırlanır. Böylece giderek büyüyen artıklar, giderek büyüyen tahmin gradyanları üretmez. Doğrusal kuyruk, aşırı bir hatanın uyumu diğer gözlemlerden uzaklaştırma gücünü sınırlar.
Delta Seçimi ve Kayıpların Karşılaştırılması#
Ortalama kare hata (MSE), artıkların karelerinin ortalamasını alır ve büyük hataları güçlü biçimde öne çıkarır. Eleman başına uygulandığında L1 kaybı olarak da adlandırılan ortalama mutlak hata (MAE), tüm değerlerde mutlak artıkları kullanır ve sıfırda keskin bir köşeye sahiptir. Huber kaybı, sıfır yakınında karesel davranışı doğrusal kuyruklarla birleştirerek gradyan inişi için sürekli türevlenebilir bir amaç fonksiyonu sunar.
Daha büyük bir delta, karesel hata bölgesini genişletir. Daha küçük bir delta ise daha fazla artığı aykırı değerlere dayanıklı doğrusal bölgeye taşır ve bu bölgenin eğimini düşürür. Delta, artıkla aynı birime sahiptir; bu nedenle hedeflerin normalleştirilmesi delta'nın anlamını değiştirir. Hedefleri metreden santimetreye dönüştürürken veriye göre aynı geçiş noktasını korumak için delta'yı 100 ile çarpmak gerekir.
Delta seçimi bir hiperparametre ayarlama problemidir: aday değerler, amaçlanan regresyon metriği kullanılarak doğrulama verileri üzerinde karşılaştırılır. Huber kaybı sürekli değerli tahminler için uygundur; çapraz entropi kaybı ve menteşe kaybı ise sınıflandırma amaçlarına hizmet eder.
Regresyon ve Bilgisayarlı Görüdeki Uygulamalar#
Doğrusal regresyonda aşırı gözlemler, kare hata ile elde edilen uyumu ana veri eğiliminden uzaklaştırabilir. Dört aykırı değer eklenmiş, oluşturulmuş bir regresyon veri kümesinde HuberRegressor ile elde edilen uyum, bu gözlemlerden etkilenen kare hata uyumuna kıyasla ana eğilimi daha yakından izler.
Nesne tespitinde Ross Girshick'in Fast R-CNN modeli, sınırlayıcı kutu regresyonunda, delta değeri 1 olan Huber kaybına eşdeğer Smooth L1 kaybını kullanır. Doğrusal kuyrukları, eğitim sırasında büyük gradyanlara yol açabilecek aykırı koordinat hatalarına duyarlılığı azaltır.
Ultralytics YOLO, modelin init_criterion() yöntemi aracılığıyla özel eğitim ölçütlerini destekleyerek Huber tabanlı özel regresyon amaçları için bir entegrasyon noktası sunar. Bu tür özelleştirmeler, regresyon hatalarının model güncellemelerine nasıl katkıda bulunduğunu değiştirir.
Python'da Huber Kaybı#
PyTorch, yapılandırılabilir delta ve indirgeme seçenekleriyle torch.nn.HuberLoss sunar. pip install torch ile torch yüklendikten sonra aşağıdaki hesaplama, her artığın katkısını gösterir:
import torch
predictions = torch.tensor([0.5, 2.0, 10.0])
targets = torch.zeros_like(predictions)
# Doğrusal kuyruğu görünür kılmak için tek tek kayıpları koru.
criterion = torch.nn.HuberLoss(delta=1.0, reduction="none")
huber_losses = criterion(predictions, targets)
squared_errors = (predictions - targets).square()
print("Huber losses:", huber_losses.tolist())
print("Squared errors:", squared_errors.tolist())Çıktı, büyük artıklar için ceza artışının azaldığını gösteren [0.125, 1.5, 9.5] ile [0.25, 4.0, 100.0] değerleridir. reduction="mean" kullanıldığında PyTorch, eleman bazındaki tüm kayıpların ortalamasını alır; "sum" ise bunları toplar.
Pseudo-Huber kaybı, Huber kaybının biçimini düzgün bir geçiş ve sürekli yüksek mertebeden türevlerle yaklaşık olarak verir. Smooth L1 farklı bir ölçeklendirme kuralı kullanır: PyTorch'ta beta, delta değerine eşit olduğunda Huber kaybı, delta ile çarpılmış Smooth L1 kaybına eşittir; her iki eşik de 1 olduğunda bu kayıplar aynıdır.










