Alıcı Çalışma Karakteristiği (ROC) Eğrisi

Alıcı İşletim Karakteristiği (ROC) eğrisi, bir alıcının performansını değerlendirmek için kullanılan grafiksel bir gösterimdir. ikili sınıflandırma modeli. Doğru Pozitif Oranı (TPR) ile Yanlış Pozitif Oranı (YPO) arasındaki dengeyi görselleştirir. Oranı (FPR) farklı sınıflandırma eşiklerinde. İçinde makine öğrenimi (ML), bu eğri bir modelin iki sınıf arasında ne kadar iyi ayrım yapabildiğini değerlendirmek için temeldir, örneğin "spam" ve "spam değil" veya "hastalıklı" ile "sağlıklı". Bu oranları çizerek, ROC eğrisi gibi tek rakamlı ölçümlerin ötesine geçerek bir modelin teşhis yeteneğinin kapsamlı bir görünümünü sağlar. tek başına yanıltıcı olabilen doğruluk.

Eksenleri Anlamak

Bir ROC eğrisini doğru bir şekilde yorumlamak için, eksenlerinde çizilen iki ölçütü anlamak çok önemlidir:

• Gerçek Pozitif Oran (TPR): Genellikle şu şekilde anılır Hatırlama veya duyarlılık, bu metrik aşağıdakilerin oranını ölçer Modelin doğru şekilde tanımladığı gerçek pozitif örneklerin sayısı. Örneğin, bir güvenlik sisteminde bu şu şekilde olabilir Doğru tespit edilen gerçek davetsiz misafirlerin yüzdesi.
• Yanlış Pozitif Oranı (FPR): Bu metrik, gerçek negatif örneklerin oranını hesaplar. yanlış bir şekilde pozitif olarak tanımlanır (yanlış alarmlar). Daha düşük bir FPR, daha az yanlış alarm olduğunu gösterir ki bu çok önemlidir gibi sistemlerde kullanıcı güveni için biyometrik kimlik doğrulama.

Eğri, aşağıdaki değerler değiştirilerek oluşturulur sınıflandırıcının güven eşiği 0 ila 1 arasındadır. Her biri ROC eğrisi üzerindeki nokta, belirli bir karar eşiğine karşılık gelen bir duyarlılık/özgüllük çiftini temsil eder. A Sol alttan sağ üste uzanan diyagonal çizgi, tahmin becerisi olmayan rastgele bir sınıflandırıcıyı temsil eder (madeni para atma), sol üst köşeye doğru dik bir şekilde eğilen bir eğri ise yüksek performanslı bir modele işaret eder.

Gerçek Dünya Uygulamaları

ROC eğrileri, çeşitli sektörlerde karar eşiklerini optimize etmek için yaygın olarak kullanılmaktadır. model dağıtımı.

1. Tıbbi Teşhis: İçinde tıbbi görüntü analizi, araştırmacılar ROC eğrileri, pnömoni veya tümör gibi durumların tespitine yönelik modelleri ayarlamak için kullanılır. Yüksek bir TPR'ye öncelik verilerek Biraz daha yüksek bir FPR'yi kabul etmek anlamına gelse bile, pozitif vakalar gözden kaçırılır. Bu denge, uyum için kritik öneme sahiptir gibi kuruluşların güvenlik standartları ile FDA.
2. Finansal Dolandırıcılık Tespiti: Finansal kuruluşlar istihdam Finans alanında yapay zeka hileli işlemler. Burada, ROC eğrisi analistlerin dolandırıcılığın çoğunu yakalayan bir eşik seçmelerine yardımcı olur çok fazla meşru işlemi işaretlemeden (yüksek Geri Çağırma) denemeler (yüksek Geri Çağırma), bu da müşteriyi olumsuz etkileyecektir deneyim.

ROC için Olasılıkların Hesaplanması

Bir ROC eğrisi çizmek için, sadece son sınıf yerine pozitif sınıf için öngörülen olasılıklara ihtiyacınız vardır etiketler. Aşağıdaki örnekte bu olasılıkların nasıl çıkarılacağı gösterilmektedir YOLO11 sınıflandırma modelinden ultralytics Paket.

from ultralytics import YOLO

# Load a pretrained YOLO11 classification model
model = YOLO("yolo11n-cls.pt")

# Run inference on an image to get prediction results
results = model("path/to/image.jpg")

# Access the probability distribution for all classes
# These scores are necessary inputs for calculating ROC and AUC
probs = results[0].probs.data
print(f"Class probabilities: {probs}")

Bir test veri kümesi için bu olasılıklar elde edildikten sonra, aşağıdaki gibi kütüphaneler Scikit-learn şu şekilde olabilir eğriyi çizmek için gereken FPR ve TPR değerlerini hesaplamak için kullanılır.

ROC ve Diğer Değerlendirme Ölçütleri

ROC eğrisi güçlü bir araç olmakla birlikte, onu ilgili değerlendirme kavramlarından ayırmak faydalı olacaktır:

• Eğri Altındaki Alan (AUC): Bu Eğri Altındaki Alan (AUC) bir skalerdir ROC eğrisinden elde edilen değer. ROC görsel bir çizim iken, AUC genel performansı bir grafikte ölçer 0 ile 1 arasında tek bir sayıdır ve farklı sayılar arasında daha kolay karşılaştırma yapılmasını sağlar. denetimli öğrenme modelleri.
• Kesinlik-Tekrar Çağırma Eğrisi: Oldukça dengesiz veri kümeleriyle uğraşırken (örn. nadir görülen bir hastalık popülasyonun %1'ini etkiliyorsa), ROC eğrisi bazen aşırı iyimser bir görünüm sunabilir. Bu gibi durumlarda, bir Hassasiyet-Geri Çağırma eğrisi genellikle daha bilgilendiricidir, çünkü Doğru'yu hesaba katmadan doğrudan azınlık sınıfının performansına odaklanır. Negatifler.
• Karışıklık Matrisi: A karışıklık matrisi aşağıdakilerin anlık görüntüsünü sağlar doğru pozitif ve yanlış pozitiflerin tam sayılarını gösteren tek bir özel eşikte performans, doğru negatifler ve yanlış negatifler. ROC eğrisi, karışıklık matrislerinden elde edilen bilgileri etkili bir şekilde özetler olası her eşikte üretilir.

Nesne algılamayı içeren görevler için, aşağıdaki gibi ölçütler Ortalama Ortalama Hassasiyet (mAP) şunlardır tipik olarak kullanılır, ancak ROC eğrileri bu modellerin temel sınıflandırma bileşeni için geçerli olmaya devam eder. Bu ayrımların anlaşılması, geliştiricilerin kendi özel durumları için doğru metriği seçmelerini sağlar bilgisayarla görme (CV) zorlukları.