Area Under the Curve (AUC)

Eğri Altındaki Alan (AUC), bir sınıflandırma modelinin ayırt etme gücünü değerlendirmek için makine öğreniminde (ML) kullanılan kapsamlı bir performans metriğidir. Daha spesifik olarak, Alıcı İşletim Karakteristiği (ROC) eğrisinin altındaki iki boyutlu alanı ölçerek 0 ile 1 arasında tek bir skaler değer sağlar. AUC değerinin 1,0 olması kusursuz bir sınıflandırıcıya işaret ederken, 0,5 olması modelin rastgele tahminden daha iyi performans göstermediğini gösterir. Tüm olası sınıflandırma eşiklerinde performansı bir araya getirdiği için AUC, en uygun karar sınırının bilinmediği veya değişken olduğu senaryolarda tahmine dayalı modelleme yeteneklerini değerlendirmede özellikle etkilidir.

ROC ile AUC Arasındaki İlişki#

AUC'yi tam olarak kavramak için temel ROC eğrisini anlamak gerekir. Bu grafik, çeşitli eşik ayarlarında Doğru Pozitif Oranını (Recall) Yanlış Pozitif Oranına karşı çizer. AUC, esasen modelin rastgele seçilen pozitif bir örneği rastgele seçilen negatif bir örnekten daha yüksek sıralama olasılığını nicelendirir.

• Ayırt Edilebilirlik: AUC, modelin sınıfları (ör. "köpek" ve "kedi") ne kadar iyi ayırt ettiğini ölçer. Daha yüksek ayırt edilebilirlik, daha iyi tahminler anlamına gelir.
• Eşik Değişmezliği: Belirli bir kesme noktasına bağlı olan F1 skorunun aksine AUC, modelin kalitesine ilişkin genel bir görünüm sağlar.
• Ölçek Değişmezliği: Tahminlerin mutlak olasılık değerleri yerine ne kadar iyi sıralandığını ölçer.

Gerçek Dünya Uygulamaları#

AUC, kritik karar alma süreçleriyle ve bir sınıfın diğerinden önemli ölçüde daha seyrek olduğu dengesiz veri kümeleriyle çalışan sektörlerde tercih edilen bir metriktir.

1. Tıbbi Tanı: Sağlık hizmetlerinde yapay zekâ alanında modeller, tıbbi görüntü analizi yoluyla patolojileri tanımlamak üzere eğitilir. Örneğin, nadir tümörleri tespit eden bir modelin duyarlılığa öncelik vermesi gerekir. Yüksek bir AUC, sistemin gerçek hastalara sağlıklı bireylere kıyasla güvenilir biçimde daha yüksek risk skorları atamasını sağlayarak tehlikeli yanlış negatifleri azaltır.

2. Finansal Dolandırıcılık Tespiti: Finans kuruluşları, sahte işlemleri tespit etmek için finans alanında yapay zekâ kullanır. Meşru işlemler sahte işlemlerden çok daha fazla olduğundan, bir model her şeyi "meşru" olarak nitelendirerek %99 doğruluk elde edebilir. AUC, sınıf dağılımından bağımsız olarak modelin gerçek dolandırıcılık girişimlerini normal davranıştan ne kadar iyi ayırdığını değerlendirerek bunu önler.

AUC'yi İlgili Metriklerden Ayırt Etme#

Projen için doğru aracı seçmek üzere AUC'yi diğer model değerlendirme içgörülerinden ayırt etmek kritik önem taşır.

• AUC ve Doğruluk Karşılaştırması: Doğruluk, doğru tahminlerin toplam tahminlere oranıdır. Büyük ölçüde çarpık veri kümelerinde doğruluk yanıltıcı biçimde yüksek olabilir. AUC, sınıf dengesizliğine karşı dayanıklıdır ve sınıflandırıcı performansının daha gerçekçi bir değerlendirmesini sağlar.
• AUC ve Kesinlik-Geri Çağırma Karşılaştırması: ROC-AUC dengeli sonuçlar için standartken, Kesinlik-Geri Çağırma Eğrisi Altındaki Alan (AUPRC), "pozitif" sınıfın son derece nadir olduğu ve yanlış pozitiflerin önemli bir endişe oluşturduğu durumlarda genellikle tercih edilir.
• AUC ve mAP Karşılaştırması: YOLO26 gibi modellerin kullanıldığı nesne algılama görevlerinde standart metrik Ortalama Kesinlik (mAP) değeridir. mAP kavramsal olarak benzer olsa da (farklı Kesişim-Birleşim (IoU) eşiklerinde Kesinlik-Geri Çağırma eğrisinin altındaki alanı hesaplar), AUC, ikili veya çok sınıflı sınıflandırmada kesin olarak ROC eğrisini ifade eder.

Kod Örneği#

Aşağıdaki örnek, önceden eğitilmiş bir YOLO26 sınıflandırma modelinin nasıl yükleneceğini ve doğrulamanın nasıl çalıştırılacağını gösterir. YOLO modelleri öncelikle top-1 ve top-5 doğruluğunu raporlasa da doğrulama süreci, eğri tabanlı metrikleri analiz etmek için gerekli tahmin verilerini oluşturur.

from ultralytics import YOLO

# Load a pre-trained YOLO26 classification model
model = YOLO("yolo26n-cls.pt")

# Validate the model on a standard dataset (e.g., imagenet10)
# This generates precision, recall, and accuracy metrics
results = model.val(data="imagenet10")

# Access top-1 accuracy, a key point on the ROC curve
print(f"Top-1 Accuracy: {results.top1:.4f}")
print(f"Top-5 Accuracy: {results.top5:.4f}")

Bu metriklerin otomatik olarak görselleştirildiği veri kümesi açıklama ve bulut üzerinde eğitim dâhil kapsamlı yaşam döngüsü yönetimi için geliştiriciler Ultralytics Platformundan yararlanabilir. Bu, AUC gibi karmaşık metrikleri manuel hesaplama yapmadan yorumlama sürecini basitleştirir.