Recall

Duyarlılık, modelin doğru tanımladığı gerçek pozitif vakaların oranıdır. "Bulunması gereken her şeyin ne kadarını model buldu?" sorusunu yanıtlar ve gerçek pozitiflerin toplam gerçek pozitif sayısına bölünmesiyle hesaplanır: duyarlılık = TP / (TP + FN). Burada yanlış negatif (FN), modelin kaçırdığı pozitif vakadır. Duyarlılık 0 ile 1 arasında değişir; dolayısıyla 0.90 duyarlılık, pozitif vakaların 10'da 1'inin kaçırıldığı anlamına gelir. Hassasiyet, gerçek pozitif oranı (TPR) ve isabet oranı eş anlamlıdır; kaçırma oranı, yani yanlış negatif oranı ise 1 eksi duyarlılığa eşittir. Tarama görüntüsünde fark edilmeyen bir tümör veya bir alarm sisteminin uyarı vermediği davetsiz misafir gibi, kaçırmanın maliyetli olduğu durumlarda duyarlılık büyük önem taşır.

Duyarlılık Nasıl Hesaplanır#

Duyarlılık, karışıklık matrisinin iki hücresini okur: gerçek pozitifler ve birlikte tüm gerçek pozitifleri oluşturan yanlış negatifler. Yanlış pozitifler ve gerçek negatifler formüle hiç girmez; bu nedenle her şeyi pozitif olarak etiketleyen bir model, işe yaramaz olmasına rağmen 1.0 gibi kusursuz bir duyarlığa ulaşır. Bu nedenle duyarlılık, tam da bu yanlış alarmları cezalandıran TP / (TP + FP) kesinlik değeriyle birlikte raporlanır. Örneğin, test kümesindeki 100 tümörün 90'ını işaretleyen bir tarama modelinin duyarlılığı 0.90'dır; kaç sağlıklı görüntüyü de işaretlediği bu değeri değiştirmez. Kesinlik değeri ise işaretlemelerin kaçının gerçek olduğunu gösterir.

İkiden fazla sınıf olduğunda duyarlılık, her sınıf için o sınıf pozitif, diğer her şey negatif kabul edilerek hesaplanır ve ardından ortalaması alınır. Makro duyarlılık tüm sınıflara eşit ağırlık verir; bu da seyrek sınıflardaki düşük performansı açığa çıkarır. Tek etiketli çok sınıflı görevlerde mikro ortalamalı duyarlılık ise doğruluğa eşittir.

Kesinlik-Duyarlılık Ödünleşimi#

Çoğu model bir puan üretir ve karar eşiği bu puanı evet ya da hayır kararına dönüştürür. Eşiği düşürmek daha fazla durumu işaretler; bu da geri çağırmayı artırırken genellikle kesinliği azaltır. Aşağıdaki scikit-learn betiği, 5'i kusurlu olan 15 parçayı üç eşikte puanlar:

import numpy as np
from sklearn.metrics import precision_score, recall_score

# 5 defective parts (1) and 10 good parts (0), with the model's defect score for each
y_true = np.array([1, 1, 1, 1, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0])
scores = np.array([0.95, 0.80, 0.55, 0.40, 0.20, 0.60, 0.35, 0.30, 0.15, 0.10, 0.10, 0.05, 0.05, 0.05, 0.02])

# Lowering the decision threshold flags more parts as defective
for threshold in (0.7, 0.5, 0.3):
    y_pred = scores >= threshold
    recall = recall_score(y_true, y_pred)
    precision = precision_score(y_true, y_pred)
    print(f"threshold {threshold}: recall {recall:.2f}, precision {precision:.2f}")

0.7 eşik değerinde model, 5 kusurun 2'sini yanlış alarm vermeden bulur; duyarlılığı 0.40, kesinliği 1.00 olur. Eşiği 0.3'e düşürmek 4 kusuru bulur ve duyarlılığı 0.80'e çıkarır; ancak işaretlenen 7 parçanın 3'ü sağlam olduğundan kesinlik 0.57'ye iner. Her eşiğin grafiğe dökülmesi bir kesinlik-duyarlılık eğrisi oluşturur; F1 puanı veya duyarlığa ağırlık veren F2 puanı bu eğri üzerinde tek bir çalışma noktası seçer. YOLO26 modelinde tahmin conf eşiği bu ödünleşimi belirler ve varsayılan değeri 0.25'tir. Bu değeri örneğin conf=0.1 düzeyine düşürmek, daha fazla yanlış tespit pahasına daha silik, küçük ve kısmen örtülü nesneleri bulmayı sağlar.

Nesne Algılamada Duyarlılık#

Nesne algılamada pozitifler, her görüntüde etiketlenmiş nesnelerdir. Etiketli bir nesne, yalnızca aynı sınıfa ait bir tahmin onunla eşik değerinde veya daha yüksek kesişim-birleşim (IoU) oranıyla örtüştüğünde bulunmuş sayılır; bu eşik genellikle 0.5'tir. Her tahmin yalnızca tek bir nesneyi eşleştirebilir; dolayısıyla kalabalıktaki iki kişiyi kapsayan tek bir kutu bunlardan birini bulur, diğeri ise yanlış negatif olur.

Algılayıcı duyarlılığı bu nedenle güven eşiğine, IoU eşiğine ve son işleme adımlarına bağlıdır. 0.75 gibi daha katı bir IoU eşiği, kutular gevşek yerleştirildiğinde duyarlılığı düşürür; maksimum olmayan bastırma (NMS) yoğun biçimde örtüşen nesnelerde doğru kutuları silebilir ve görüntü başına tespit sınırı yoğun sahnelerde duyarlılığı kısıtlar. Ortalama ortalama kesinlik (mAP), tüm duyarlılık düzeylerinde kesinliği bütünleştirir; dolayısıyla modelin hiç bulmadığı her nesne bu değeri düşürür. COCO değerlendirmesi ayrıca görüntü başına sabit sayıdaki tespitle ulaşılan en yüksek duyarlılığın, 0.50 ile 0.95 arasındaki IoU eşikleri üzerinden ortalaması olan ortalama duyarlılığı (AR); AR@1, AR@10 ve AR@100 olarak raporlar.

Duyarlılığı Artırma#

• Güven eşiğini düşür: Kesinliğin düşmesi pahasına uygulanabilecek en hızlı çözüm.
• Kaçırılanları topla ve etiketle: Küçük, örtülü veya gece görülen nesneler gibi modelin başarısız olduğu koşullara ait eğitim örnekleri ekle. Doğrulama verilerindeki yanlış negatifleri incelemek, bunların hangileri olduğunu gösterir.
• Girdi çözünürlüğünü artır: Düşük çözünürlükte birkaç piksele kadar küçülen nesneler, daha yüksek çözünürlükte tespit edilebilir hâle gelir.
• Sınıf dengesizliğini giderme: Odak kaybı gibi kayıp fonksiyonları ve nadir sınıfların yeniden örneklenmesi, modelin azınlık sınıfını göz ardı etmesini önler.

Duyarlılık ve İlgili Terimler#

• Kesinlik: Doğru olan pozitif tahminlerin oranı. Duyarlılık, modelin hedefin ne kadarını bulduğunu sorarken kesinlik, bulduklarının ne kadarının doğru olduğunu sorar.
• Özgüllük: Gerçek negatif oranı, TN / (TN + FP); doğru biçimde reddedilen negatiflerin oranı. Tıbbi testlerde bu ikili duyarlılık ve özgüllük olarak raporlanır.
• Alıcı işletim karakteristiği (ROC) eğrisi: Eşikler boyunca gerçek pozitif oranı olarak duyarlılığı, yanlış pozitif oranına karşı gösterir. Eğri altındaki alan (AUC), bunu tek bir sayıyla özetler.
• Doğruluk: Doğru olan tüm tahminlerin oranı. Pozitiflerin %1 olduğu bir durumda her seferinde negatif tahmin eden bir model %99 doğruluk ve %0 duyarlılık elde eder.