Receiver Operating Characteristic (ROC) Curve

Alıcı İşletim Karakteristiği (ROC) eğrisi, ikili sınıflandırma modellerinin performansını değerlendirmek için kullanılan temel bir grafiksel araçtır. Makine öğrenimi (ML) alanında, bir modelin duyarlılığı ve özgüllüğü arasındaki dengeyi tüm olası karar eşikleri boyunca görselleştirir. Veri kümesi dengesiz olduğunda yanıltıcı olabilen doğruluk gibi tek değerli metriklerin aksine, ROC eğrisi, pozitif örnekleri tanımlama kriterleri daha katı veya daha esnek hale geldikçe bir sınıflandırıcının nasıl davrandığına dair kapsamlı bir görünüm sunar. Bu görselleştirme, denetimli öğrenme tekniklerini kullanan mühendislerin kendi kullanım durumlarına yönelik optimal çalışma noktasını belirlemeleri için çok önemlidir.

Link to this sectionEksenleri ve Dengeleri Yorumlama#

Bir ROC eğrisini anlamak için, birbirine karşı çizilen iki parametreye bakmak gerekir: Gerçek Pozitif Oranı (TPR) ve Yanlış Pozitif Oranı (FPR).

• Gerçek Pozitif Oranı (TPR): Genellikle Geri Çağırma (Recall) veya duyarlılık olarak adlandırılan bu y eksenindeki metrik, modelin doğru bir şekilde tanımladığı gerçek pozitif gözlemlerin oranını ölçer. Yüksek TPR, sistemin bir hedefi nadiren kaçırdığı anlamına gelir.
• Yanlış Pozitif Oranı (FPR): x ekseninde çizilen bu oran, yanlışlıkla pozitif olarak kategorize edilen negatif örneklerin oranını temsil eder ve "yanlış alarm" olarak da bilinir.

Eğri dinamik bir ilişkiyi gösterir: daha fazla pozitif vaka yakalamak için güven eşiğini düşürdüğünde (TPR'yi artırırken), kaçınılmaz olarak negatif vakaları yanlış işaretleme riskini de artırırsın (FPR'yi artırarak). Mükemmel bir sınıflandırıcı, %100 duyarlılık ve %0 yanlış alarmı göstererek grafiğin sol üst köşesine ulaşır. Rastgele tahminlerde bulunan bir model ise sol alttan sağ üste doğru çapraz bir çizgi olarak görünür. Genel performans genellikle Eğri Altındaki Alan (AUC) ile özetlenir; burada 1.0 değeri mükemmelliği temsil eder.

Link to this sectionGerçek Dünya Uygulamaları#

Bir ROC eğrisinde eşiğin nereye ayarlanacağı kararı, tamamen belirli bir endüstri uygulamasındaki hataların maliyetine bağlıdır.

1. Tıbbi Tanı: Sağlık hizmetlerinde yapay zeka alanında, özellikle tıbbi görüntü analizi içindeki tümör tespiti gibi görevlerde, pozitif bir vakayı kaçırmanın (yanlış negatif) maliyeti potansiyel olarak hayati tehlike oluşturur. Bu nedenle uygulayıcılar, daha yüksek bir FPR ile sonuçlansa bile TPR'yi maksimize eden bir eşik seçerler; bu da daha fazla sağlıklı hastanın başlangıçta daha fazla test için işaretlenebileceği anlamına gelir.

2. Finansal Dolandırıcılık Tespiti: Finansta yapay zeka kredi kartı işlemlerini izlemek için kullanıldığında, bankalar güvenliği müşteri deneyimiyle dengelemelidir. Sistem çok duyarlıysa (yüksek TPR), meşru kartları engelleyebilir (yüksek FPR) ve bu da kullanıcıları hayal kırıklığına uğratır. Analistler, ROC eğrisini, yanlış pozitifleri kabul edilebilir bir minimumda tutarken dolandırıcılığın çoğunu yakalayan dengeli bir eşik bulmak için kullanırlar.

Link to this sectionROC Analizi için Olasılıklar Oluşturma#

Bir ROC eğrisi çizmek için sadece nihai sınıf etiketleri yerine ham tahmin olasılıklarına ihtiyacın vardır. Aşağıdaki örnek, sınıflandırma puanları oluşturmak için en son teknoloji ürünü YOLO26 modelini kullanır.

from ultralytics import YOLO

# Load a pretrained YOLO26 classification model
model = YOLO("yolo26n-cls.pt")

# Run inference to get probability distribution
results = model("bus.jpg")

# Access the probability score for the predicted class
# These continuous scores are required to calculate TPR/FPR at different thresholds
print(f"Top Class Index: {results[0].probs.top1}")
print(f"Confidence Score: {results[0].probs.top1conf:.4f}")

Bu olasılıklar bir doğrulama kümesi için toplandığında, geliştiriciler eğri noktalarını hesaplamak için Scikit-learn gibi kütüphaneleri kullanabilirler. Veri kümelerini yönetmek ve bu metrikleri zaman içinde takip etmek için Ultralytics Platform, model değerlendirmesi ve dağıtımı için entegre araçlar sunar.

Link to this sectionROC vs. İlgili Kavramlar#

ROC eğrisini diğer değerlendirme araçlarından ayırt etmek önemlidir:

• vs. Hassasiyet-Geri Çağırma (PR) Eğrisi: ROC, TPR'yi FPR'ye karşı çizerken, Hassasiyet-Geri Çağırma eğrisi Hassasiyeti Geri Çağırmaya karşı çizer. ROC eğrisi bu tür senaryolarda bazen aşırı iyimser bir görünüm sunabildiğinden, veri kümesi ağır bir şekilde dengesiz olduğunda (örneğin, nadir anomalileri tespit ederken) PR eğrisi genellikle tercih edilir.
• vs. Karmaşıklık Matrisi: Bir karmaşıklık matrisi, tek bir belirli eşikteki performansın anlık görüntüsünü sağlar. Buna karşılık ROC eğrisi, performansı tüm olası eşikler boyunca görselleştirerek, nihai bir karar kuralı oluşturulmadan önce tahminleyici modelleme analizi için daha geniş kapsamlı bir araç haline gelir.