Receiver Operating Characteristic (ROC) Curve

Alıcı Çalışma Karakteristiği (ROC) eğrisi, ikili sınıflandırma modellerinin performansını değerlendirmek için kullanılan temel bir grafik aracıdır. makine öğrenimi (ML) alanında, bir modelin duyarlılığı ile özgüllüğü arasındaki dengeyi tüm olası karar eşikleri boyunca görselleştirir. Veri seti dengesiz olduğunda yanıltıcı olabilen doğruluk gibi tek değerlikli metriklerin aksine, ROC eğrisi, pozitif örnekleri tanımlama kriterleri daha katı veya daha esnek hale geldikçe bir sınıflandırıcının nasıl davrandığına dair kapsamlı bir görünüm sunar. Bu görselleştirme, gözetimli öğrenme tekniklerini kullanan mühendislerin belirli kullanım senaryoları için en uygun çalışma noktasını belirlemesi açısından esastır.

Eksenleri ve Dengeleri Yorumlama#

Bir ROC eğrisini anlamak için, birbirine karşı çizilen iki parametreye bakmak gerekir: Gerçek Pozitif Oranı (TPR) ve Yanlış Pozitif Oranı (FPR).

• Gerçek Pozitif Oranı (TPR): Genellikle Geri Çağırma veya duyarlılık olarak adlandırılan y eksenindeki bu metrik, modelin doğru bir şekilde belirlediği gerçek pozitif gözlemlerin oranını ölçer. Yüksek TPR, sistemin bir hedefi çok nadiren kaçırdığı anlamına gelir.
• Yanlış Pozitif Oranı (FPR): x ekseninde çizilen bu oran, yanlışlıkla pozitif olarak kategorize edilen negatif örneklerin oranını temsil eder ve "yanlış alarm" olarak da bilinir.

Eğri dinamik bir ilişkiyi gösterir: daha fazla pozitif durumu yakalamak için güven eş düşürdüğünüzde (TPR'yi artırırken), kaçınılmaz olarak negatif durumları yanlış bir şekilde işaretleme riskini artırırsınız (FPR'yi artırırken). Mükemmel bir sınıflandırıcı, %100 duyarlılık ve %0 yanlış alarm belirterek grafiğin sol üst köşesine ulaşır. Rastgele tahminler yapan bir model ise sol alttan sağ üste çapraz bir çizgi olarak görünür. Genel performans, genellikle değerin 1.0 olduğu ve mükemmelliği temsil ettiği Eğri Altındaki Alan (AUC) ile özetlenir.

Gerçek Dünya Uygulamaları#

Bir ROC eğrisinde eşiğin nereye ayarlanacağı kararı, tamamen belirli bir endüstri uygulamasındaki hataların maliyetine bağlıdır.

1. Tıbbi Teşhis: Sağlık sektöründe yapay zeka içinde, özellikle tıbbi görüntü analizi alanında tümör tespiti gibi görevler için, pozitif bir durumu kaçırmanın (yanlış negatif) maliyeti potansiyel olarak hayati tehlike oluşturabilir. Bu nedenle, uygulayıcılar genellikle daha yüksek bir FPR ile sonuçlansa bile (daha fazla sağlıklı hastanın başlangıçta ileri testler için işaretlenebileceği anlamına gelir) TPR'yi en üst düzeye çıkaran bir eşik seçerler.

2. Finansal Dolandırıcılık Tespiti: Kredi kartı işlemlerini izlemek için finansta yapay zeka kullanıldığında, bankalar güvenliği müşteri deneyimiyle dengelemek zorundadır. Sistem çok duyarlıysa (yüksek TPR), meşru kartları bloke edebilir (yüksek FPR) ve kullanıcıları hayal kırıklığına uğratabilir. Analistler, çoğu dolandırıcılığı yakalayan ve yanlış pozitifleri kabul edilebilir bir minimumda tutan dengeli bir eşik bulmak için ROC eğrisini kullanır.

ROC Analizi için Olasılıklar Oluşturma#

Bir ROC eğrisi çizebilmek için yalnızca nihai sınıf etiketlerine değil, ham tahmin olasılıklarına da ihtiyacın vardır. Aşağıdaki örnek, sınıflandırma skorları üretmek için son teknoloji YOLO26 modelini kullanır.

from ultralytics import YOLO

# Load a pretrained YOLO26 classification model
model = YOLO("yolo26n-cls.pt")

# Run inference to get probability distribution
results = model("bus.jpg")

# Access the probability score for the predicted class
# These continuous scores are required to calculate TPR/FPR at different thresholds
print(f"Top Class Index: {results[0].probs.top1}")
print(f"Confidence Score: {results[0].probs.top1conf:.4f}")

Bu olasılıklar bir doğrulama seti için toplandıktan sonra, geliştiriciler eğri noktalarını hesaplamak için Scikit-learn gibi kütüphaneleri kullanabilir. Veri setlerini yönetmek ve bu metrikleri zaman içinde takip etmek için Ultralytics Platform, model değerlendirmesi ve dağıtımı için entegre araçlar sunar.

ROC vs. İlgili Kavramlar#

ROC eğrisini diğer değerlendirme araçlarından ayırt etmek önemlidir:

• vs. Hassasiyet-Geri Çağırma (PR) Eğrisi: ROC, TPR'yi FPR'ye karşı çizerken, Hassasiyet-Geri Çağırma eğrisi Hassasiyeti Geri Çağırma'ya karşı çizer. ROC eğrisi bu gibi senaryolarda bazen aşırı iyimser bir görünüm sunabileceğinden, veri seti büyük ölçüde dengesiz olduğunda (örneğin nadir anomalileri tespit ederken) genellikle PR eğrisi tercih edilir.
• vs. Karmaşıklık Matrisi: Bir karmaşıklık matrisi, tek bir belirli eşikteki performansın anlık görüntüsünü sağlar. Buna karşılık, ROC eğrisi performansı tüm olası eşikler boyunca görselleştirir ve bu da onu nihai karar kuralı oluşturulmadan önce tahminsel modelleme analizi için daha kapsamlı bir araç haline getirir.