Alıcı Çalışma Karakteristiği (ROC) Eğrisi

Alıcı Çalışma Karakteristiği (ROC) eğrisi, ikili sınıflandırma modellerinin performansını değerlendirmek için kullanılan temel bir grafiksel araçtır. Makine öğrenimi (ML) alanında, bir modelin duyarlılığı ile tüm olası karar eşikleri arasındaki özgüllüğü arasındaki dengeyi görselleştirir. Veri kümesi dengesiz olduğunda yanıltıcı olabilen doğruluk gibi tek değerli metriklerin aksine , ROC eğrisi, pozitif örnekleri tanımlama kriterleri daha katı veya daha esnek hale geldikçe sınıflandırıcının nasıl davrandığına dair kapsamlı bir görünüm sağlar. Bu görselleştirme, belirli kullanım durumları için en uygun çalışma noktasını belirlemek üzere denetimli öğrenme tekniklerini kullanan mühendisler için çok önemlidir . .

Eksenleri ve Karşılıklı Ödünleşmeleri Yorumlama

ROC eğrisini anlamak için, birbirine karşı çizilen iki parametreye bakmak gerekir: Gerçek Pozitif Oran (TPR) ve Yanlış Pozitif Oran (FPR).

• Doğru Pozitif Oran (TPR): Genellikle Geri Çağırma veya duyarlılık olarak adlandırılan bu y eksenindeki metrik, modelin doğru bir şekilde tanımladığı gerçek pozitif gözlemlerin oranını ölçer. Yüksek TPR, sistemin nadiren bir hedefi kaçırdığı anlamına gelir.
• Yanlış Pozitif Oranı (FPR): X ekseninde gösterilen bu oran, yanlış bir şekilde pozitif olarak sınıflandırılan negatif örneklerin oranını temsil eder ve "yanlış alarm" olarak da bilinir.

Eğri dinamik bir ilişkiyi göstermektedir: daha fazla pozitif vakayı yakalamak için güven eşiğini düşürdükçe (TPR'yi artırdıkça), negatif vakaları yanlış bir şekilde işaretleme riskini de kaçınılmaz olarak artırırsınız (FPR'yi artırırsınız). Mükemmel bir sınıflandırıcı, grafiğin sol üst köşesine ulaşır ve %100 duyarlılık ve %0 yanlış alarm gösterir. Rastgele tahminlerde bulunan bir model sol alt köşeden sağ üst köşeye doğru bir diyagonal çizgi olarak görünür. Genel performans genellikle Eğri Altındaki Alan (AUC) ile özetlenir ve burada 1,0 değeri mükemmelliği temsil eder.

Gerçek Dünya Uygulamaları

ROC eğrisinde eşiğin nereye ayarlanacağına ilişkin karar, tamamen belirli bir endüstri uygulamasındaki hataların maliyetine bağlıdır.

1. Tıbbi Teşhis: Sağlık hizmetlerinde yapay zeka, özellikle tıbbi görüntü analizinde tümör tespiti gibi görevlerde, pozitif bir vakayı kaçırmanın maliyeti (yanlış negatif) potansiyel olarak hayatı tehdit edebilir. Bu nedenle, pratisyenler genellikle TPR'yi en üst düzeye çıkaran bir eşik seçerler, bu da daha yüksek bir FPR ile sonuçlansa bile, yani daha fazla sağlıklı hasta başlangıçta daha ileri testler için işaretlenebilir.
2. Finansal Dolandırıcılık Tespiti: Finans sektöründe yapay zeka kredi kartı işlemlerini izlemek için kullanıldığında, bankalar güvenlik ile müşteri deneyimi arasında bir denge kurmalıdır. Sistem çok hassas ise (yüksek TPR), meşru kartları engelleyebilir (yüksek FPR) ve kullanıcıları hayal kırıklığına uğratabilir. Analistler, çoğu dolandırıcılığı yakalarken yanlışpozitifleri kabul edilebilir bir minimumda tutan dengeli bir eşik bulmak için ROC eğrisini kullanır.

ROC Analizi için Olasılık Oluşturma

ROC eğrisini çizmek için, sadece son sınıf etiketleri yerine ham tahmin olasılıklarına ihtiyacınız vardır. Aşağıdaki örnek, sınıflandırma puanları oluşturmak için son teknoloji YOLO26 modelini kullanır .

from ultralytics import YOLO

# Load a pretrained YOLO26 classification model
model = YOLO("yolo26n-cls.pt")

# Run inference to get probability distribution
results = model("bus.jpg")

# Access the probability score for the predicted class
# These continuous scores are required to calculate TPR/FPR at different thresholds
print(f"Top Class Index: {results[0].probs.top1}")
print(f"Confidence Score: {results[0].probs.top1conf:.4f}")

Bu olasılıklar bir doğrulama seti için toplandıktan sonra, geliştiriciler Scikit-learn gibi kütüphaneleri kullanarak eğri noktalarını hesaplayabilirler. Veri setlerini yönetmek ve bu metrikleri zaman içinde takip etmek için Ultralytics , model değerlendirme ve dağıtımı için entegre araçlar sunar.

ROC ve İlgili Kavramlar

ROC eğrisini diğer değerlendirme araçlarından ayırmak önemlidir:

• vs. Hassasiyet-Geri Çağırma (PR) Eğrisi: ROC, TPR'yi FPR'ye karşı gösterirken, Hassasiyet-Geri Çağırmaeğrisi Hassasiyeti Geri Çağırmaya karşı gösterir. Veri kümesi büyük ölçüde dengesiz olduğunda (örneğin, nadir görülen anomalileri tespit etme), PR eğrisi genellikle tercih edilir, çünkü ROC eğrisi bu tür senaryolarda bazen aşırı iyimser bir görünüm sunabilir.
• vs. Karışıklık Matrisi: Bir karışıklık matrisi, tek bir belirli eşikte performansın anlık bir görüntüsünü sağlar. Buna karşılık, ROC eğrisi tüm olası eşiklerdeki performansı görselleştirir ve bu da onu, nihai karar kuralı belirlenmeden önce tahminsel modelleme analizi için daha geniş kapsamlı bir araç haline getirir. vs. Karışıklık Matrisi: Bir