Confidence

Güven skoru, modelin bir tahmine ekleyerek o tahminin doğru olma olasılığını ifade ettiği, 0 ile 1 arasındaki sayıdır. Sınıflandırıcılar her sınıf etiketine bir skor atar; nesne algılama modelleri ise her sınırlayıcı kutuya bir skor atar. Bu skor daha dar kapsamlı şu soruyu yanıtlar: Bu kutuda bu sınıfa ait bir nesne olma olasılığı nedir? Uygulamalar, hangi tahminlerin tutulacağına, hangi sırayla sıralanacağına ve hangilerinin incelemesi için bir kişiye gönderileceğine karar vermek üzere güven skorunu kullanır.

Modeller Güveni Nasıl Üretir?#

Güven skoru, ağın son katmanından gelir. Tek etiketli bir sınıflandırıcı, logit adı verilen ham çıktılarını softmax işlevinden geçirerek sınıf skorlarının toplamını 1 yapar ve en yüksek değeri bildirir. Algılayıcılar genellikle her sınıfa bağımsız olarak sigmoid uygular; bu nedenle bir kutu, birbiriyle ilişkili iki sınıfta yüksek skor alabilir ve skorların toplamının 1 olması gerekmez. YOLOv5 gibi ayrı bir nesne olasılığı çıktısı bulunan algılayıcılar bunu sınıf olasılığıyla çarpar. Yeni YOLO modelleri dâhil birçok çapasız algılayıcı, nesne olasılığı çıktısını kaldırır ve kutunun güven skoru olarak en yüksek sınıf skorunu kullanır.

Güven Eşikleri#

Güven eşiği, puanları kararlara dönüştürür: eşiğin üzerindeki tahminler tutulur, geri kalanı atılır. Eşiği yükseltmek yanlış pozitifleri azaltıp kesinliği artırır. Düşürmek, soluk, küçük veya kısmen gizlenmiş nesneleri yakalayıp geri çağırmayı artırır; ancak daha fazla yanlış alarma yol açar. F1 puanı eğrisinin tepe yaptığı eşik bu ikisini dengeler. YOLO26, tahmin sırasında varsayılan olarak 0,25'in üzerinde puan alan kutuları tutar. Doğrulama ise kesinlik-geri çağırma eğrilerinin olası çalışma noktalarının neredeyse tamamını kapsaması için eşiği 0,001'e indirir.

from ultralytics import YOLO

# Load a pretrained YOLO26 nano detector
model = YOLO("yolo26n.pt")
image = "https://ultralytics.com/images/bus.jpg"

# Run the same image at a low and a high confidence threshold
for threshold in (0.1, 0.6):
    results = model(image, conf=threshold)
    scores = results[0].boxes.conf.tolist()
    print(f"conf={threshold}: {len(scores)} boxes, scores {[round(s, 2) for s in scores]}")

0.1 çalıştırması, 0.6 çalıştırmasındaki tüm kutuları ve bunlara ek olarak daha düşük skorlu adayları döndürür; dolayısıyla eşiği yükseltmek algılamaları yalnızca kaldırır ve önce en az güvenilir olanlardan başlar.

Uygulamalarda Güven Kullanımı#

Birçok sistem iki eşik kullanır. Düşük eşiğin altındaki tahminler atılır, yüksek eşiğin üzerindekiler otomatik bir işlemi tetikler ve aradaki aralık bir kişiye, ikinci bir modele veya başka bir sensöre yönlendirilir. Bir tıbbi tarama aracı, yüksek güvenli bulguları hemen işaretleyip belirsiz olanları radyolog incelemesi için sıraya alabilir; bir aktif öğrenme döngüsü de belirsiz aralığı etiketleyicilere gönderir. Bu strateji belirsizlik örneklemesi olarak adlandırılır.

Güven ve Kalibrasyon#

0.9 skoru, yalnızca model kalibre edilmişse kullanılabilir bir olasılıktır; yani 0.9 skoru alan tüm tahminlerin yaklaşık %90'ı doğrudur. Modern derin ağlar genellikle aşırı özgüvenlidir ve gerçek isabet oranlarının üzerinde skorlar üretir. Sıcaklık ölçekleme, logit değerlerini eğitimde kullanılmayan veriler üzerinde uydurulan tek bir sabite bölerek bu sorunun büyük bölümünü düzeltir; scikit-learn'in kalibrasyon araçları ise Platt (sigmoid) veya izotonik eşlemeler uydurur ve güvenilirlik eğrilerini çizer. Bir skor risk eşiği gibi olasılık olarak yorumlandığında kalibrasyon önemlidir. Ortalama kesinlik (mAP) gibi sıralama ölçütleri yalnızca skorların sıralamasına bağlıdır.

Güven ve İlgili Terimler#

• Doğruluk: Veri kümesi genelinde doğru tahminlerin oranıdır. Kalibre edilmiş bir modelde ortalama güven, doğruluğa eşittir.
• İstatistiksel güven aralıkları: Aynı adı paylaşan, ancak farklı bir kavramdır. %95 güven düzeyi, yinelenen örneklemler boyunca bir aralık oluşturma prosedürünün gerçek bir değeri ne sıklıkta kapsadığını ifade eder.
• Konformal tahmin: Ham skorları kapsama garantisi olan tahmin kümelerine dönüştürür; böylece %90 hedefinde küme, değiştirilebilir veriler üzerinde gerçek etiketi en az %90 oranında içerir.