Eğri Altında Kalan Alan (AUC)

Eğri Altındaki Alan (AUC), sınıflandırma modellerinin performansını ölçmek için kullanılan temel bir metriktir, özellikle de makine öğrenimi (ML). Yeteneği ölçer pozitif örnekleri negatif örneklerden ayırmak gibi sınıflar arasında ayrım yapmak için bir modelin kullanılması. Metriklerin aksine Tek bir karar eşiğine dayanan AUC, olası tüm karar eşiklerinde performansın kapsamlı bir görünümünü sağlar. eşikleri. Bu, onu değerlendirme için önemli bir araç haline getirir denetimli öğrenme algoritmaları, şunları sağlar modelin tahmin yetenekleri sağlamdır ve belirli bir kesme noktası tarafından önyargılı değildir. Daha yüksek bir AUC değeri genellikle daha iyi performans gösteren bir modele işaret eder ve 1,0 puan mükemmel sınıflandırmayı temsil eder.

AUC ve ROC Arasındaki İlişki

AUC terimi özellikle aşağıdaki alan anlamına gelir Alıcı İşletim Karakteristiği (ROC) eğrisi. ROC eğrisi, ikili bir sınıflandırıcı sistemin teşhis yeteneğini gösteren grafiksel bir çizimdir. Çizimler Geri Çağırma olarak da bilinen Gerçek Pozitif Oranı (TPR) ile çeşitli eşik ayarlarında Yanlış Pozitif Oranı (FPR).

• Gerçek Pozitif Oranı: Model tarafından etkin bir şekilde tespit edilen gerçek pozitif vakaların oranı.
• Yanlış Pozitif Oranı: Gerçek negatif vakalardan yanlışlıkla yanlış pozitif olarak tanımlananların oranı Olumlu.

Veri bilimciler, AUC'yi hesaplayarak ROC eğrisinde yer alan bilgileri tek bir sayıya indirgemektedir. Bu model değerlendirmesini basitleştirerek karşılaştırılması gibi farklı mimariler arasında daha kolay karşılaştırma ResNet-50 daha hafif bir alternatife karşı backbone .

Skoru Yorumlama

AUC puanı 0 ile 1 arasında değişir ve modelin sıralama kalitesinin olasılıksal bir yorumunu sağlar.

• AUC = 1.0: Mükemmel bir sınıflandırıcı. Pozitif ve negatif sınıfları %100 oranında doğru şekilde ayırt edebilir. o zaman.
• 0.5 < AUC < 1.0: The model has a better-than-random chance of classifying instances correctly. This is the target range for most predictive modeling tasks.
• AUC = 0,5: Modelin ayırt edici kapasitesi yoktur, rastgele tahmine eşdeğerdir (bir para).
• AUC < 0.5: This suggests the model is performing worse than random chance, often indicating that the predictions are inverted or there is a significant issue with the training data.

Sınıflandırma mekaniği hakkında daha derinlemesine bilgi edinmek için Google Makine Öğrenimi Crash Kursu mükemmel görsel açıklamalar sunar.

Gerçek Dünya Uygulamaları

AUC özellikle yanlış pozitiflerin ve yanlış negatiflerin sonuçlarının farklı olduğu senaryolarda değerlidir önemli ölçüde.

1. Tıbbi Teşhis: İçinde Sağlık hizmetlerinde yapay zeka, modeller genellikle aşağıdakiler için eğitilir X-ışınları veya MRI taramalarındaki tümörler gibi anomalileri detect eder. Yüksek bir AUC puanı, modelin güvenilir bir şekilde sıralamasını sağlar malign vakalar benign vakalardan daha yüksektir. Bu güvenilirlik, aşağıdakiler tarafından kullanılan klinik karar destek sistemleri için kritik öneme sahiptir radyologlar. Örneğin, nasıl olduğunu görmek YOLO11 tümör tespitine yardımcı olur yaşam açısından kritik uygulamalarda sağlam değerlendirme ölçütlerinin önemini vurgulamaktadır.
2. Finansal Dolandırıcılık Tespiti: Finansal kurumlar şunları kullanır bilgisayarla görme (CV) ve örüntü tanıma hileli işlemleri işaretlemek için. Meşru işlemler hileli işlemlerden çok daha fazla olduğu için veriler oldukça dengesiz. Burada AUC tercih edilmiştir çünkü dolandırıcılık olasılıklarının sıralamasını aşağıdakiler tarafından çarpıtılmadan değerlendirir Ham negatiflerin aksine, çok sayıda yasal negatif doğruluk. Bu, aşağıdakileri en aza indiren sistemlerin oluşturulmasına yardımcı olur temel bir bileşeni olan güvenliği korurken müşteri sürtüşmesi Finans Alanında Yapay Zeka.

AUC ve Diğer Metrikler

AUC'nin diğer metriklere kıyasla ne zaman kullanılacağını anlamak başarılı olmanın anahtarıdır model dağıtımı.

• AUC ve Doğruluk: Doğruluk aşağıdakileri ölçer doğru tahminlerin yüzdesi. Ancak, dengesiz veri kümelerinde (örneğin, %99 negatif sınıf), bir model aşağıdaki sonuçlara ulaşabilir Sıfır tahmin gücüne sahip olmasına rağmen her şey için "negatif" tahmininde bulunarak %99 doğruluk. AUC sınıf dengesizliğine karşı değişmezdir, bu da onu bu problemler için daha dürüst bir ölçüt haline getirir.
• AUC ve Hassasiyet-Geri Çağırma: ROC AUC ise hem TPR hem de FPR'yi dikkate alır, Hassasiyet ve Geri çağırma özellikle pozitif sınıfa odaklanır. Davalarda Yanlış pozitiflerin kabul edilebilir olduğu ancak yanlış negatiflerin kabul edilemez olduğu durumlarda (örn. ilk hastalık taraması), analiz Hassasiyet-Geri Çağırma değiş tokuşu ROC AUC'den daha bilgilendirici olabilir.
• AUC vs. mAP: İçin gibi modeller tarafından gerçekleştirilen nesne algılama görevleri YOLO11standart metrik ise Ortalama Ortalama Hassasiyet (mAP). mAP üzerinden belirli Kesişim noktalarındaki sınırlayıcı kutular için Hassasiyet-Hatırlama eğrisinin altındaki alanı hesaplar. BirlikIoU) eşikleri, AUC ise tipik olarak nesnelerin sınıflandırma güveni için kullanılır.

Sınıf Olasılıklarını Hesaplama

AUC'yi hesaplamak için sadece nihai sınıf etiketlerine değil, pozitif sınıfın olasılık puanlarına da ihtiyacınız vardır. Bu Aşağıdaki örnekte bu olasılıkların nasıl elde edileceği gösterilmektedir görüntü sınıflandırma modelinden ultralytics kütüphane.

from ultralytics import YOLO

# Load a pre-trained YOLO11 classification model
model = YOLO("yolo11n-cls.pt")

# Run inference on an image
results = model("path/to/image.jpg")

# Access the probability scores for all classes
# These scores are the inputs needed to calculate AUC against ground truth
probs = results[0].probs.data
print(f"Class Probabilities: {probs}")

Bir veri kümesi için olasılıklara sahip olduğunuzda, aşağıdaki gibi standart kütüphaneleri kullanabilirsiniz Scikit-learn ile nihai AUC puanını hesaplayın.