Eğri Altında Kalan Alan (AUC)

Eğri Altındaki Alan (AUC), makine öğreniminde (ML) bir sınıflandırma modelinin ayırt edici gücünü değerlendirmek için kullanılan kapsamlı bir performans ölçütüdür. Spesifik olarak, Alıcı Çalışma Karakteristiği (ROC) eğrisinin altındaki iki boyutlu alanı ölçer ve 0 ile 1 arasında değişen tek bir skaler değer sağlar. AUC değeri 1,0 ise sınıflandırıcı mükemmel, AUC değeri 0,5 ise modelin rastgele şansdan daha iyi performans göstermediğini gösterir. AUC, tüm olası sınıflandırma eşiklerinde performansı topladığı için, optimum karar sınırının bilinmediği veya değişken olduğu senaryolarda tahminsel modelleme yeteneklerini değerlendirmek için özellikle etkilidir.

ROC ve AUC Arasındaki İlişki

AUC'yi tam olarak anlamak için, temel ROC eğrisini anlamak gerekir. Bu grafik, çeşitli eşik ayarlarında Gerçek Pozitif Oranı (Geri Çağırma) ile Yanlış Pozitif Oranı karşılaştırır. AUC, esasen modelin rastgele seçilen bir pozitif örneği, rastgele seçilen bir negatif örnekten daha yüksek sıralama olasılığını ölçer. .

• Ayrılabilirlik: AUC, modelin sınıflar arasında ne kadar iyi ayrım yaptığını ölçer (örneğin, "köpek" ile "kedi"). Daha yüksek ayrılabilirlik, daha iyi tahminler anlamına gelir.
• Eşik Değişmezliği: Belirli bir kesme noktasına bağlı olan F1 skorunun aksine, AUC modelin kalitesine ilişkin geniş bir genel bakış sağlar.
• Ölçek Değişmezliği: Tahminlerin mutlak olasılık değerlerinden ziyade, sıralanma derecesini ölçer. olasılık değerlerinden ziyade.

Gerçek Dünya Uygulamaları

AUC, kritik karar verme ve dengesiz veri kümeleriyle uğraşan endüstrilerde tercih edilen bir metriktir; bu tür endüstrilerde bir sınıf diğerinden önemli ölçüde daha nadirdir.

1. Tıbbi Teşhis: Sağlık hizmetlerinde yapay zeka alanında, modeller tıbbi görüntü analizinden patolojileri tanımlamak için eğitilir. Örneğin, nadir görülen tümörleri tespit eden bir model duyarlılığı önceliklendirmelidir. Yüksek AUC, sistemin sağlıklı bireylere kıyasla gerçek hastalara güvenilir bir şekilde daha yüksek risk puanları atamasını sağlayarak tehlikeli yanlış negatif sonuçları azaltır.
2. Finansal Dolandırıcılık Tespiti: Finans kurumları, finans alanında yapay zekayı kullanarak dolandırıcılık işlemlerini tespit eder. Meşru işlemler dolandırıcılık işlemlerinden çok daha fazla olduğu için, bir model her şeyi "meşru" olarak değerlendirerek %99 doğruluk oranına ulaşabilir. AUC, sınıf dağılımından bağımsız olarak modelin gerçek dolandırıcılık girişimlerini normal davranışlardan ne kadar iyi ayırdığını değerlendirerek bunu önler.

AUC'yi İlgili Metriklerden Ayırma

Projeniz için doğru aracı seçmek için AUC'yi diğer model değerlendirme içgörülerinden ayırmak çok önemlidir. .

• AUC ve Doğruluk: Doğruluk, basitçe doğru tahminlerin toplam tahminlere oranıdır. Yüksek oranda çarpık veri kümelerinde doğruluk yanıltıcı derecede yüksek olabilir. AUC, sınıf dengesizliğine karşı dayanıklıdır ve sınıflandırıcı performansının daha dürüst bir değerlendirmesini sağlar.
• AUC ve Hassasiyet-Geri Çağırma: ROC-AUC dengeli sonuçlar için standart olsa da, Hassasiyet-Geri Çağırma Eğrisi Altındaki Alan (AUPRC) genellikle "pozitif" sınıfın son derece nadir olduğu ve yanlış pozitiflerin önemli bir sorun olduğu durumlarda tercih edilir.
• AUC ve mAP: YOLO26 gibi modellerin kullanıldığı nesne algılama görevlerinde standart ölçüt Ortalama Hassasiyet (mAP) 'dir. mAP kavramsal olarak benzer mAP (farklı Kesişim Üzerinde Birleşim (IoU) eşikleri boyunca Hassasiyet-Geri Çağırma eğrisinin altındaki alanı hesaplar), AUC ikili veya çok sınıflı sınıflandırmada kesinlikle ROC eğrisini ifade eder.

Kod Örneği

Aşağıdaki örnek, önceden eğitilmiş bir YOLO26 sınıflandırma modelini yüklemeyi ve doğrulamayı çalıştırmayı göstermektedir. YOLO modelleri öncelikle ilk 1 ve ilk 5 doğruluğu bildirirken, doğrulama süreci eğri tabanlı metrikleri analiz etmek için gerekli olan tahmin verilerini üretir .

from ultralytics import YOLO

# Load a pre-trained YOLO26 classification model
model = YOLO("yolo26n-cls.pt")

# Validate the model on a standard dataset (e.g., imagenet10)
# This generates precision, recall, and accuracy metrics
results = model.val(data="imagenet10")

# Access top-1 accuracy, a key point on the ROC curve
print(f"Top-1 Accuracy: {results.top1:.4f}")
print(f"Top-5 Accuracy: {results.top5:.4f}")

Bu metriklerin otomatik olarak görselleştirildiği veri kümesi açıklamaları ve bulut eğitimi dahil olmak üzere kapsamlı yaşam döngüsü yönetimi için geliştiriciler Ultralytics kullanabilirler. Bu, manuel hesaplama yapmaya gerek kalmadan AUC gibi karmaşık metrikleri yorumlama sürecini basitleştirir. Ultralytics Ultralytics , veri kümelerinin otomatik olarak görselleştirilmesini ve analiz edilmesini sağlar.