Area Under the Curve (AUC)

Eğri Altındaki Alan (AUC), bir sınıflandırma modelinin ayırt etme gücünü değerlendirmek için machine learning (ML) alanında kullanılan kapsamlı bir performans metriğidir. Özellikle, Receiver Operating Characteristic (ROC) curve altındaki iki boyutlu alanı ölçerek 0 ile 1 arasında değişen tek bir skaler değer sağlar. 1,0'lık bir AUC mükemmel bir sınıflandırıcıya işaret ederken, 0,5'lik bir AUC modelin rastgele şanstan daha iyi performans göstermediğini gösterir. Olası tüm sınıflandırma eşikleri genelinde performansları toplulaştırdığı için AUC, optimal karar sınırının bilinmediği veya değişken olduğu senaryolarda predictive modeling yeteneklerini değerlendirmek için özellikle etkilidir.

ROC ve AUC Arasındaki İlişki#

AUC'yi tam olarak kavramak için temelindeki ROC eğrisini anlamak gerekir. Bu grafik, çeşitli eşik ayarlarında True Positive Rate (Recall) ile False Positive Rate değerlerini karşılaştırarak çizer. AUC, özünde modelin rastgele seçilen pozitif bir örneği rastgele seçilen negatif bir örnekten daha yüksek sırada değerlendirme olasılığını nicelleştirir.

• Ayrılabilirlik: AUC, modelin sınıfları (örneğin "köpek" ile "kedi" gibi) ne kadar iyi ayırt ettiğini ölçer. Daha yüksek ayrılabilirlik, daha iyi tahminler anlamına gelir.
• Eşik Değişmezliği: Belirli bir kesme noktasına bağlı olan F1-score aksine AUC, modelin kalitesine ilişkin geniş bir genel bakış sunar.
• Ölçek Değişmezliği: Mutlak olasılık değerlerinden ziyade tahminlerin ne kadar iyi sıralandığını ölçer.

Gerçek Dünya Uygulamaları#

AUC, bir sınıfın diğerinden önemli ölçüde daha nadir olduğu kritik karar alma süreçleri ve imbalanced datasets ile ilgilenen endüstrilerde tercih edilen bir metriktir.

1. Tıbbi Teşhis: AI in healthcare alanında modeller, medical image analysis kullanarak patolojileri belirlemek üzere eğitilir. Örneğin, nadir tümörleri tespit eden bir model sensitivity değerine öncelik vermelidir. Yüksek bir AUC, sistemin tehlikeli yanlış negatifleri azaltarak gerçek hastalara sağlıklı bireylere kıyasla güvenilir bir şekilde daha yüksek risk puanları atamasını sağlar.

2. Finansal Dolandırıcılık Tespiti: Finans kuruluşları dolandırıcı işlemleri tespit etmek için AI in finance kullanır. Meşru işlemler dolandırıcı işlemlerden çok daha fazla olduğundan, bir model her şeye "meşru" diyerek %99 doğruluk elde edebilir. AUC, sınıf dağılımından bağımsız olarak modelin gerçek dolandırıcılık girişimlerini normal davranıştan ne kadar iyi ayırdığını değerlendirerek bunu önler.

AUC'yi İlgili Metriklerden Ayırma#

Projeniz için doğru araç seçimi yapmak adına AUC'yi diğer model evaluation insights ayırt etmek çok önemlidir.

• AUC ve Doğruluk: Accuracy yalnızca doğru tahminlerin toplam tahminlere oranıdır. Aşırı dengesiz veri setlerinde doğruluk yanıltıcı derecede yüksek olabilir. AUC, sınıf dengesizliğine karşı dayanıklıdır ve sınıflandırıcının performansına dair daha dürüst bir değerlendirme sağlar.
• AUC ve Hassasiyet-Duyarlılık: ROC-AUC dengeli sonuçlar için standart olsa da, "pozitif" sınıf son derece nadir olduğunda ve yanlış pozitifler büyük bir endişe kaynağı oluşturduğunda Hassasiyet-Duyarlılık Eğrisi Altında Kalan Alan (AUPRC) sıklıkla tercih edilir.
• AUC ve mAP: YOLO26 gibi modelleri kullanan object detection görevlerinde standart metrik Mean Average Precision (mAP) değeridir. mAP kavramsal olarak benzer olsa da (farklı Kesişim Üzeri Birlik (IoU) eşiklerinde Hassasiyet-Geri Çağırma eğrisi altındaki alanı hesaplar), AUC kesinlikle ikili veya çok sınıflı sınıflandırmadaki ROC eğrisini ifade eder.

Kod Örneği#

Aşağıdaki örnek, önceden eğitilmiş bir YOLO26 sınıflandırma modelinin nasıl yükleneceğini ve doğrulamanın nasıl çalıştırılacağını gösterir. YOLO modelleri öncelikli olarak top-1 ve top-5 doğruluğunu raporlasa da, doğrulama süreci eğri tabanlı metrikleri analiz etmek için gereken tahmin verilerini üretir.

from ultralytics import YOLO

# Load a pre-trained YOLO26 classification model
model = YOLO("yolo26n-cls.pt")

# Validate the model on a standard dataset (e.g., imagenet10)
# This generates precision, recall, and accuracy metrics
results = model.val(data="imagenet10")

# Access top-1 accuracy, a key point on the ROC curve
print(f"Top-1 Accuracy: {results.top1:.4f}")
print(f"Top-5 Accuracy: {results.top5:.4f}")

Geliştiriciler, veri seti etiketleme ve bu metriklerin otomatik olarak görselleştirildiği bulut tabanlı eğitim dahil olmak üzere kapsamlı yaşam döngüsü yönetimi için Ultralytics Platform kullanabilir. Bu, AUC gibi karmaşık metrikleri manuel hesaplama gerektirmeden yorumlama sürecini basitleştirir.