Eğri Altında Kalan Alan (AUC)

Eğri Altındaki Alan (AUC), ikili sınıflandırma modellerinin etkinliğini değerlendirmek için makine öğreniminde (ML) yaygın olarak kullanılan bir performans metriğidir. Bir modelin rastgele seçilmiş bir pozitif örneği, rastgele seçilmiş bir negatif örnekten daha yüksek sıralama olasılığını temsil eder. Esasen, AUC, bir modelin tüm olası sınıflandırma eşikleri genelinde sınıflar arasında ayrım yapma yeteneğini özetleyerek, tek bir toplu performans ölçüsü sağlar. Daha yüksek bir AUC değeri, daha iyi performans gösteren bir modeli gösterir ve bu da onu farklı modelleri karşılaştırmak ve hiperparametre ayarlaması için önemli bir araç haline getirir.

ROC Eğrisi Nedir?

AUC, Alıcı Çalışma Karakteristiği (ROC) eğrisi ile ayrılmaz bir şekilde bağlantılıdır. ROC eğrisi, çeşitli eşik ayarlarında Gerçek Pozitif Oranı (TPR), aynı zamanda Hassasiyet (Recall) olarak da bilinir, ile Yanlış Pozitif Oranı (FPR) karşılaştıran bir grafiktir. AUC, basitçe bu ROC eğrisinin altındaki alandır. ROC eğrisi, bir modelin duyarlılık ve özgüllük arasındaki ödünleşimlerinin görsel bir temsilini sağlarken, AUC puanı bu ödünleşimi tek bir sayıya dönüştürerek model karşılaştırmasını kolaylaştırır.

Auc Skorunun Yorumlanması

AUC değeri 0 ile 1 arasında değişir; daha yüksek bir puan daha iyi bir modeli gösterir.

• AUC = 1: Bu, tüm pozitif ve negatif örnekleri doğru bir şekilde sınıflandıran mükemmel bir modeli temsil eder. Her pozitif örnek, her negatif örnekten daha yüksek bir tahmin edilen olasılığa sahiptir.
• AUC = 0.5: Bu, modelin ayrımcılık yeteneğine sahip olmadığını, rastgele tahmine eşdeğer olduğunu gösterir. Böyle bir modelin ROC eğrisi düz bir diyagonal çizgi olacaktır.
• AUC < 0.5: A score below 0.5 suggests the model is performing worse than random chance. In practice, this often points to an issue with the model or data, such as inverted predictions.
• 0.5 < AUC < 1: This range signifies that the model has some ability to discriminate. The closer the value is to 1, the better the model's performance.

Scikit-learn gibi araçlar, TensorBoard gibi platformlar kullanılarak görselleştirilebilen AUC skorlarını kolayca hesaplamak için fonksiyonlar sağlar.

Gerçek Dünya Uygulamaları

AUC, ikili sınıflandırmanın kritik olduğu birçok alanda değerli bir metriktir.

1. Tıbbi Görüntü Analizi: Sağlık Hizmetlerinde Yapay Zeka alanında, tıbbi taramalardan tümörleri tespit etmek gibi görevler için modeller geliştirilmektedir. Bir modelin malign (pozitif) ve benign (negatif) vakaları ne kadar iyi ayırt edebildiğini değerlendirmek için bir AUC skoru kullanılır. Yüksek bir AUC, radyologlara yardımcı olabilecek güvenilir tanı araçları oluşturmak için hayati öneme sahiptir ve aşırı sayıda yanlış alarm olmadan yüksek hassasiyet sağlar. Bu, Beyin Tümörü veri kümesi gibi veri kümelerini analiz eden modeller için çok önemlidir.
2. Sahtekarlık Tespiti: Finans sektöründe, yapay zeka modelleri sahte işlemleri belirlemek için kullanılır. Bu alandaki veri kümeleri genellikle oldukça dengesizdir ve sahte olanlardan çok daha fazla sayıda yasal işlem bulunur. AUC, doğruluğun aksine, çoğunluk sınıfından etkilenmeyen sağlam bir performans ölçüsü sağladığı için burada özellikle kullanışlıdır. Finans kurumlarının, müşterileri rahatsız edebilecek yanlış pozitifleri en aza indirirken sahtekarlığı etkili bir şekilde yakalayan sistemler oluşturmasına yardımcı olur. Önde gelen finans kurumları, risk değerlendirmesi için bu tür metrikleri kullanır.

AUC ve Diğer Metrikler Karşılaştırması

AUC değerli bir metrik olsa da, bilgisayarla görme (CV) ve ML'de kullanılan diğer değerlendirme ölçülerinden nasıl farklı olduğunu anlamak önemlidir:

• AUC - Doğruluk Karşılaştırması: Doğruluk, tahminlerin genel doğruluğunu ölçer ancak dengesiz veri kümelerinde yanıltıcı olabilir. AUC, eşik değerinden bağımsız bir ayrılabilirlik ölçüsü sağlayarak bu gibi durumlarda daha güvenilir olmasını sağlar.
• AUC - Kesinlik-Geri Çağırma Karşılaştırması: Pozitif sınıfın nadir ve öncelikli olduğu dengesiz veri kümeleri için (örneğin, nadir hastalıkları tespit etmek), Kesinlik-Geri Çağırma eğrisi ve buna karşılık gelen alanı (AUC-PR), ROC AUC'den daha bilgilendirici olabilir. Kesinlik ve Geri Çağırma gibi metrikler, özellikle pozitif sınıfla ilgili performansa odaklanır. F1 skoru da kesinlik ve geri çağırmayı dengeler.
• AUC - mAP/IoU Karşılaştırması: AUC öncelikle ikili sınıflandırma görevleri için kullanılır. Nesne tespiti görevleri için, Ultralytics YOLO gibi modellerle yaygın olarak kullanılan ortalama Ortalama Hassasiyet (mAP) ve Kesişim Bölü Birleşim (IoU) gibi ölçütler standarttır. Bu ölçütler, sınırlayıcı kutular kullanarak tespit edilen nesnelerin hem sınıflandırma doğruluğunu hem de yerelleştirme hassasiyetini değerlendirir. YOLO performans ölçütleri hakkında buradan daha fazla bilgi edinebilirsiniz.

Doğru metriği seçmek, belirli soruna, veri kümesi özelliklerine (sınıf dengesi gibi) ve yapay zeka projesinin hedeflerine bağlıdır. AUC, sağlamlığı ve yorumlanabilirliği nedeniyle ikili sınıflandırma performansını değerlendirmek için bir köşe taşı olmaya devam etmektedir. Ultralytics HUB gibi araçlarla deneyleri izlemek, bu metrikleri etkili bir şekilde yönetmeye ve karşılaştırmaya yardımcı olabilir.