Eğri Altındaki Alan (AUC)

Eğri Altındaki Alan (AUC), ikili sınıflandırma modellerinin etkinliğini değerlendirmek için makine öğreniminde (ML) yaygın olarak kullanılan bir performans ölçütüdür. Bir modelin rastgele seçilen pozitif bir örneği rastgele seçilen negatif bir örnekten daha yüksek sıralama olasılığını temsil eder. Esasen AUC, bir modelin tüm olası sınıflandırma eşiklerinde sınıflar arasında ayrım yapma yeteneğini özetleyerek tek bir toplu performans ölçüsü sağlar. Daha yüksek bir AUC değeri daha iyi performans gösteren bir modele işaret eder, bu da onu farklı modelleri karşılaştırmak ve hiperparametre ayarı yapmak için çok önemli bir araç haline getirir.

Roc Eğrisi Nedir?

AUC , Alıcı İşletim Karakteristiği (ROC) eğrisi ile içsel olarak bağlantılıdır. ROC eğrisi, Geri Çağırma olarak da bilinen Doğru Pozitif Oranı (TPR) ile Yanlış Pozitif Oranını (FPR) çeşitli eşik ayarlarında gösteren bir grafiktir. AUC basitçe bu ROC eğrisinin altındaki alandır. ROC eğrisi, bir modelin duyarlılık ve özgüllük arasındaki ödünleşiminin görsel bir temsilini sunarken, AUC puanı bu ödünleşimi tek bir sayıya dönüştürerek model karşılaştırmasını basitleştirir.

Auc Puanının Yorumlanması

AUC değeri 0 ila 1 arasında değişir ve daha yüksek bir puan daha iyi bir modele işaret eder.

• AUC = 1: Bu, tüm pozitif ve negatif örnekleri doğru şekilde sınıflandıran mükemmel bir modeli temsil eder. Her pozitif örnek, her negatif örnekten daha yüksek bir tahmin olasılığına sahiptir.
• AUC = 0,5: Bu, modelin rastgele tahmine eşdeğer bir ayırt etme kabiliyetine sahip olmadığını gösterir. Böyle bir model için ROC eğrisi düz bir diyagonal çizgi olacaktır.
• AUC < 0.5: A score below 0.5 suggests the model is performing worse than random chance. In practice, this often points to an issue with the model or data, such as inverted predictions.
• 0.5 < AUC < 1: This range signifies that the model has some ability to discriminate. The closer the value is to 1, the better the model's performance.

Scikit-learn gibi araçlar, TensorBoard gibi platformlar kullanılarak görselleştirilebilen AUC puanlarını kolayca hesaplamak için işlevler sağlar.

Gerçek Dünya Uygulamaları

AUC, ikili sınıflandırmanın kritik olduğu birçok alanda değerli bir metriktir.

1. Tıbbi Görüntü Analizi: Sağlık Hizmetlerinde Yapay Zeka alanında, tıbbi taramalardan tümör tespiti gibi görevler için modeller geliştirilmektedir. Bir modelin kötü huylu (pozitif) ve iyi huylu (negatif) vakaları ne kadar iyi ayırt edebildiğini değerlendirmek için bir AUC puanı kullanılır. Yüksek bir AUC, radyologlara yardımcı olabilecek güvenilir tanı araçları oluşturmak için hayati önem taşır ve aşırı sayıda yanlış alarm olmadan yüksek hassasiyet sağlar. Bu, Beyin Tümörü veri kümesi gibi veri kümelerini analiz eden modeller için çok önemlidir.
2. Dolandırıcılık Tespiti: Finans sektöründe, yapay zeka modelleri hileli işlemleri tespit etmek için kullanılır. Bu alandaki veri kümeleri, hileli işlemlerden çok daha fazla yasal işlem içerdiğinden tipik olarak oldukça dengesizdir. AUC burada özellikle kullanışlıdır çünkü doğruluğun aksine çoğunluk sınıfı tarafından çarpıtılmayan sağlam bir performans ölçüsü sağlar. Finans kuruluşlarının, müşterileri rahatsız edebilecek yanlış pozitifleri en aza indirirken dolandırıcılığı etkili bir şekilde yakalayan sistemler oluşturmasına yardımcı olur. Önde gelen finans kuruluşları risk değerlendirmesi için bu tür ölçütlere güvenmektedir.

Auc Vs. Diğer Metrikler

AUC değerli bir ölçüt olsa da, bilgisayarla görme (CV) ve makine öğrenimi alanlarında kullanılan diğer değerlendirme ölçütlerinden ne kadar farklı olduğunu anlamak önemlidir:

• AUC ve Doğruluk: Doğruluk, tahminlerin genel doğruluğunu ölçer ancak dengesiz veri kümelerinde yanıltıcı olabilir. AUC, eşikten bağımsız bir ayrılabilirlik ölçüsü sağlayarak bu gibi durumlarda daha güvenilir olmasını sağlar.
• AUC vs. Hassasiyet-Tekrar Arama: Pozitif sınıfın nadir olduğu ve birincil ilgi alanı olduğu dengesiz veri kümeleri için (örneğin, nadir hastalıkların tespiti), Hassasiyet-Geri Çağırma eğrisi ve buna karşılık gelen alan (AUC-PR), ROC AUC'den daha bilgilendirici olabilir. Hassasiyet ve Geri Çağırma gibi ölçütler özellikle pozitif sınıfla ilgili performansa odaklanır. F1-skoru da hassasiyet ve geri çağırmayı dengeler.
• AUC vs. mAP/IoU: AUC öncelikle ikili sınıflandırma görevleri için kullanılır. Ultralytics YOLO gibi modellerde yaygın olan nesne algılama görevleri için ortalama Ortalama Kesinlik (mAP) ve Birlik üzerinden Kesişim (IoU ) gibi metrikler standarttır. Bu metrikler, sınırlayıcı kutular kullanarak algılanan nesnelerin hem sınıflandırma doğruluğunu hem de yerelleştirme hassasiyetini değerlendirir. YOLO performans metrikleri hakkında daha fazla bilgiyi buradan edinebilirsiniz.

Doğru metriğin seçilmesi belirli bir probleme, veri kümesi özelliklerine (sınıf dengesi gibi) ve YZ projesinin hedeflerine bağlıdır. AUC, sağlamlığı ve yorumlanabilirliği nedeniyle ikili sınıflandırma performansını değerlendirmek için bir köşe taşı olmaya devam etmektedir. Ultralytics HUB gibi araçlarla deneyleri izlemek, bu metrikleri etkili bir şekilde yönetmeye ve karşılaştırmaya yardımcı olabilir.