Area Under the Curve (AUC)

Eğri Altında Kalan Alan (AUC), bir sınıflandırma modelinin ayırt edici gücünü değerlendirmek için makine öğrenimi (ML) içinde kullanılan kapsamlı bir performans metriğidir. Özellikle, Alıcı İşletim Karakteristiği (ROC) eğrisinin altındaki iki boyutlu alanı ölçerek 0 ile 1 arasında tek bir skaler değer sağlar. 1.0'lık bir AUC mükemmel bir sınıflandırıcıyı gösterirken, 0.5'lik bir AUC modelin rastgele tahminden daha iyi bir performans sergilemediğini düşündürür. Tüm olası sınıflandırma eşikleri genelinde performansı topladığı için AUC, optimal karar sınırının bilinmediği veya değişken olduğu senaryolarda tahminleyici modelleme yeteneklerini değerlendirmek için özellikle etkilidir.

Link to this sectionROC ve AUC Arasındaki İlişki#

AUC'yi tam olarak kavramak için altta yatan ROC eğrisini anlaman gerekir. Bu grafik, çeşitli eşik ayarlarında Doğru Pozitif Oranı'nı (Duyarlılık) Yanlış Pozitif Oranı'na karşı çizer. AUC temel olarak modelin rastgele seçilmiş pozitif bir örneği, rastgele seçilmiş negatif bir örnekten daha yüksek bir değerle sıralama olasılığını ölçer.

• Ayrılabilirlik: AUC, modelin sınıfları (örneğin "köpek" ile "kedi" gibi) ne kadar iyi ayırt ettiğini ölçer. Daha yüksek ayrılabilirlik, daha iyi tahminler anlamına gelir.
• Eşik Değişmezliği: Belirli bir kesme noktasına bağlı olan F1-skorunun aksine, AUC modelin kalitesine dair geniş bir genel bakış sağlar.
• Ölçek Değişmezliği: Mutlak olasılık değerlerinden ziyade tahminlerin ne kadar iyi sıralandığını ölçer.

Link to this sectionGerçek Dünya Uygulamaları#

AUC, kritik karar verme süreçleriyle uğraşan ve bir sınıfın diğerinden önemli ölçüde daha nadir olduğu dengesiz veri kümeleriyle çalışan sektörlerde tercih edilen bir metriktir.

1. Tıbbi Tanı: Sağlıkta yapay zeka alanında modeller, tıbbi görüntü analizi yoluyla patolojileri tanımlamak için eğitilir. Örneğin, nadir tümörleri tespit eden bir modelin duyarlılığa öncelik vermesi gerekir. Yüksek bir AUC, sistemin tehlikeli yanlış negatifleri azaltarak sağlıklı bireylere kıyasla gerçek hastalara daha yüksek risk puanları atamasını güvenilir bir şekilde sağlar.

2. Finansal Dolandırıcılık Tespiti: Finansal kuruluşlar, dolandırıcılık içeren işlemleri tespit etmek için finansta yapay zekayı kullanır. Meşru işlemler dolandırıcılık içerenlerden çok daha fazla olduğu için, bir model her şeye "meşru" diyerek %99 doğruluk elde edebilir. AUC, sınıf dağılımı ne olursa olsun modelin gerçek dolandırıcılık girişimlerini normal davranışlardan ne kadar iyi ayırdığını değerlendirerek bunun önüne geçer.

Link to this sectionAUC'yi İlgili Metriklerden Ayırma#

Projen için doğru aracı seçmek adına AUC'yi diğer model değerlendirme içgörülerinden ayırman çok önemlidir.

• AUC ve Doğruluk: Doğruluk, doğru tahminlerin toplam tahminlere oranıdır. Aşırı çarpık veri kümelerinde doğruluk yanıltıcı derecede yüksek olabilir. AUC, sınıf dengesizliğine karşı dirençlidir ve sınıflandırıcı performansının daha dürüst bir değerlendirmesini sağlar.
• AUC ve Hassasiyet-Duyarlılık: ROC-AUC dengeli sonuçlar için standart olsa da, "pozitif" sınıf son derece nadir olduğunda ve yanlış pozitifler büyük bir endişe kaynağı oluşturduğunda Hassasiyet-Duyarlılık Eğrisi Altında Kalan Alan (AUPRC) sıklıkla tercih edilir.
• AUC vs. mAP: In object detection tasks using models like YOLO26, the standard metric is Mean Average Precision (mAP). While mAP is conceptually similar—calculating the area under the Precision-Recall curve across different Intersection over Union (IoU) thresholds—AUC strictly refers to the ROC curve in binary or multi-class classification.

Link to this sectionKod Örneği#

Aşağıdaki örnek, önceden eğitilmiş bir YOLO26 sınıflandırma modelinin nasıl yükleneceğini ve doğrulamasının nasıl çalıştırılacağını gösterir. YOLO modelleri temel olarak top-1 ve top-5 doğruluğunu rapor etse de, doğrulama süreci eğri tabanlı metrikleri analiz etmek için gereken tahmin verilerini üretir.

from ultralytics import YOLO

# Load a pre-trained YOLO26 classification model
model = YOLO("yolo26n-cls.pt")

# Validate the model on a standard dataset (e.g., imagenet10)
# This generates precision, recall, and accuracy metrics
results = model.val(data="imagenet10")

# Access top-1 accuracy, a key point on the ROC curve
print(f"Top-1 Accuracy: {results.top1:.4f}")
print(f"Top-5 Accuracy: {results.top5:.4f}")

Veri kümesi etiketleme ve bu metriklerin otomatik olarak görselleştirildiği bulut tabanlı eğitim dahil olmak üzere kapsamlı yaşam döngüsü yönetimi için geliştiriciler Ultralytics Platform'u kullanabilirler. Bu, AUC gibi karmaşık metrikleri manuel hesaplamaya gerek kalmadan yorumlama sürecini basitleştirir.