Precision

Kesinlik, modelin doğru olan pozitif tahminlerinin oranıdır. "Model evet dediğinde ne sıklıkla haklı çıkar?" sorusunu yanıtlar ve doğru pozitiflerin tüm pozitif tahminlere bölünmesiyle hesaplanır: kesinlik = TP / (TP + FP); burada yanlış pozitif (FP), modelin yanlışlıkla işaretlediği negatif bir örnektir. Kesinlik 0 ile 1 arasında değişir; dolayısıyla 0.95 kesinlik, her 20 uyarıdan 1'inin yanlış alarm olduğu anlamına gelir. Pozitif tahmin değeri (PPV), tıpta kullanılan eş anlamlı bir terimdir; yanlış keşif oranı ise 1 eksi kesinliğe eşittir. Yanlış alarmların maliyetli olduğu durumlarda kesinlik özellikle önemlidir: Gerçek e-postaları gizleyen bir spam filtresi, iyi parçaları hurdaya ayıran bir denetim sistemi veya gölgeler yüzünden güvenlik görevlilerini çağıran bir güvenlik kamerası gibi.

Kesinlik Nasıl Hesaplanır#

Kesinlik, karmaşıklık matrisinin iki hücresini kullanır: doğru pozitifler ile yanlış pozitifler; bunlar birlikte tüm pozitif tahminleri oluşturur. Kaçırılan pozitifler formüle girmez. Bu nedenle yalnızca en emin olduğu tek örneği işaretleyen bir model, neredeyse hiçbir şeyi bulamasa da 1.0 kesinliğe ulaşabilir. Bu yüzden kesinlik, tam da kaçırılan örnekleri cezalandıran duyarlılıkla (TP / (TP + FN)) birlikte raporlanır; F1 puanı ise ikisini tek sayıda birleştirir. Model hiç pozitif tahmin yapmadığında kesinlik 0 / 0 olduğundan tanımsızdır; scikit-learn gibi kütüphaneler bunu bir uyarıyla birlikte 0 olarak raporlar.

İkiden fazla sınıf olduğunda kesinlik, her sınıfı pozitif ve diğer her şeyi negatif sayarak sınıf başına hesaplanır ve ardından ortalaması alınır. Makro kesinlik her sınıfa eşit ağırlık verir; tek etiketli çok sınıflı görevlerde mikro ortalamalı kesinlik doğruluğa eşittir.

Kesinlik Yaygınlığa Bağlıdır#

Duyarlılık ve özgüllük, modelin pozitif ve negatifleri nasıl ele aldığını ayrı ayrı tanımlar; bu nedenle pozitifler seyrekleştiğinde sabit kalırlar. Kesinlik iki grubu bir arada değerlendirir ve yaygınlık azaldıkça düşer; çünkü aynı yanlış pozitif oranı daha fazla sayıda negatife uygulandığında, her doğru tespit başına daha çok yanlış alarm üretilir. Aşağıdaki scikit-learn betiği, bir tarama modelini iki farklı yaygınlık düzeyinde puanlar:

import numpy as np
from sklearn.metrics import accuracy_score, precision_score, recall_score

# One screening model at two prevalences: it finds 90% of positives and flags 1% of negatives
for positives in (1000, 100):
    negatives = 10_000 - positives
    tp, fp = int(0.9 * positives), int(0.01 * negatives)
    counts = [tp, positives - tp, fp, negatives - fp]  # TP, FN, FP, TN

    # Rebuild labels and predictions for 10,000 cases from the confusion-matrix counts
    y_true = np.repeat([1, 1, 0, 0], counts)
    y_pred = np.repeat([1, 0, 1, 0], counts)
    accuracy = accuracy_score(y_true, y_pred)
    recall = recall_score(y_true, y_pred)
    precision = precision_score(y_true, y_pred)
    print(f"{positives} positives: accuracy {accuracy:.3f}, recall {recall:.2f}, precision {precision:.2f}")

10.000 örnekte 1.000 pozitif olduğunda modelin kesinliği 0.91'e ulaşır. Pozitif sayısı 100'e düştüğünde duyarlılık hâlâ 0.90'dır ve doğruluk 0.989'a yükselir; ancak 90 doğru tespitin yanında artık 99 yanlış alarm vardır ve kesinlik 0.48'e iner. Bu nedenle dengeli bir test kümesinde ölçülen kesinlik, pozitiflerin daha seyrek olduğu dağıtım ortamlarında, örneğin nadir bir hastalığı tararken, modelin göstereceği kesinliği olduğundan yüksek gösterir.

Nesne Algılamada Kesinlik#

Nesne algılamada, güven eşiğinin üzerinde kalan her tahmin kutusu pozitif bir tahmindir. Tahminler, güven puanı en yüksek olandan başlayarak eşleştirilir. Bir kutu yalnızca kesişim-birleşim oranı (IoU) eşik değerine eşit veya daha yüksek bir oranda aynı sınıftaki etiketli bir nesneyle örtüşüyorsa ve bu nesne daha yüksek puanlı başka bir kutuyla zaten eşleştirilmemişse doğru pozitiftir. Arka plan üzerindeki kutular, yanlış sınıftaki kutular, gevşek yerleştirilmiş kutular ve zaten eşleştirilmiş bir nesne üzerindeki yinelenen kutular yanlış pozitif sayılır.

Güven eşiğinin yükseltilmesi, puanı düşük ve yanlış olma olasılığı daha yüksek kutuları kaldırır; bu nedenle duyarlılık düşerken kesinlik genellikle yükselir. Her eşikte kesinliği duyarlılığa karşı çizmek kesinlik-duyarlılık eğrisini verir; bu eğrinin altındaki alan, ortalama hassasiyetin (mAP) sınıflar üzerinden ve mAP_50-95 için on IoU eşiği üzerinden ortaladığı ortalama hassasiyettir (AP). YOLO26 doğrulaması, her sınıfın her güven eşiğindeki kesinliğini BoxP_curve.png olarak kaydeder ve kesinliği (P), ortalama F1'in en yüksek olduğu güven eşiğinde, duyarlılık ve mAP değerlerinin yanında raporlar.

Kesinliği Artırma#

• Güven eşiğini yükselt: En hızlı çözüm; bunun karşılığında duyarlılık düşer.
• Zor negatifler ekle: Modelin işaretlememesi gerekenleri öğrenmesi için yanlış alarmlara neden olan benzer görünümlü nesneleri ve boş sahneleri eğitim verilerine ekle. En kafa karıştırıcı negatifleri bu şekilde seçmeye zor negatif madenciliği denir.
• Eksik etiketleri düzelt: Etiketleyenin atladığı bir nesnenin doğru tespiti, yanlış pozitif sayılır; bu nedenle eksik temel doğruluk etiketleri, kesinliği gerçekte olduğundan düşük gösterir.
• Karıştırılan sınıfları ayır: Karışıklık matrisi, modelin hangi sınıfları birbiriyle karıştırdığını gösterir; bu sınıf çiftleri için daha fazla örnek veya daha net sınıf tanımları, yanlış sınıfa ait yanlış pozitifleri ortadan kaldırır.

Kesinlik ve İlgili Terimler#

• Duyarlılık: Modelin bulduğu gerçek pozitiflerin oranı, TP / (TP + FN). Kaçırılanları sayar; kesinlik ise yanlış alarmları sayar.
• Özgüllük: Doğru şekilde reddedilen gerçek negatiflerin oranı, TN / (TN + FP). Tarama betiğinin gösterdiği gibi, pozitifler nadirken 0.99 özgüllük bile 0.5'in altında kesinlik sağlayabilir.
• Doğruluk: Tüm tahminler içinde doğru olanların oranı; dengesiz verilerde çoğunluk sınıfı bu oranı belirgin şekilde etkiler.
• Sayısal kesinlik: Her değeri depolamak için kullanılan bit sayısıdır; örneğin 32 bit veya 16 bit kayan nokta. Bu, aynı sözcüğün ilgisiz başka bir anlamıdır.
• Ölçümde kesinlik: Yinelenen ölçümlerin birbiriyle ne kadar tutarlı olduğudur; doğruluk ise ölçümlerin gerçek değere ne kadar yakın olduğunu ifade eder. Her zaman 2 kg fazla gösteren bir tartı kesin sonuç verir ama doğru ölçmez.