Receiver Operating Characteristic (ROC) Curve

Alıcı İşletim Karakteristiği (ROC) eğrisi, ikili sınıflandırma modellerinin performansını değerlendirmek için kullanılan temel bir grafik aracıdır. Makine öğrenimi (ML) alanında bu eğri, bir modelin duyarlılığı ile özgüllüğü arasındaki değiş tokuşu tüm olası karar eşikleri boyunca görselleştirir. Veri kümesi dengesiz olduğunda yanıltıcı olabilen doğruluk gibi tek değerli ölçümlerin aksine ROC eğrisi, pozitif örnekleri belirleme ölçütleri daha katı veya daha esnek hâle geldikçe bir sınıflandırıcının nasıl davrandığına dair kapsamlı bir görünüm sunar. Bu görselleştirme, belirli kullanım alanları için en uygun çalışma noktasını belirlemek üzere denetimli öğrenme tekniklerinden yararlanan mühendisler için büyük önem taşır.

Eksenleri ve Değiş Tokuşları Yorumlama#

Bir ROC eğrisini anlamak için birbiriyle karşılaştırılarak çizilen iki parametreye bakmak gerekir: Gerçek Pozitif Oranı (TPR) ve Yanlış Pozitif Oranı (FPR).

• Gerçek Pozitif Oranı (TPR): Genellikle Geri Çağırma veya duyarlılık olarak adlandırılan bu metrik, y ekseninde modelin doğru şekilde tanımladığı gerçek pozitif gözlemlerin oranını ölçer. Yüksek TPR, sistemin hedefleri nadiren gözden kaçırdığı anlamına gelir.
• Yanlış Pozitif Oranı (FPR): x ekseninde çizilen bu değer, yanlışlıkla pozitif olarak sınıflandırılan negatif örneklerin oranını temsil eder ve "yanlış alarm" olarak da bilinir.

Eğri dinamik bir ilişkiyi gösterir: Daha fazla pozitif vakayı yakalamak için güven eşiğini düşürdükçe (TPR artar), negatif vakaları yanlış işaretleme riski de kaçınılmaz olarak artar (FPR artar). Kusursuz bir sınıflandırıcı grafiğin sol üst köşesine ulaşır; bu da %100 duyarlılık ve %0 yanlış alarm anlamına gelir. Rastgele tahminlerde bulunan bir model, sol alttan sağ üste uzanan çapraz bir çizgi olarak görünür. Genel performans genellikle Eğri Altındaki Alan (AUC) ile özetlenir; burada 1,0 değeri kusursuzluğu temsil eder.

Gerçek Dünya Uygulamaları#

ROC eğrisindeki eşiğin nereye yerleştirileceği kararı tamamen belirli bir sektör uygulamasındaki hataların maliyetine bağlıdır.

1. Tıbbi Tanı: Sağlık hizmetlerinde yapay zekâ kapsamında, özellikle tıbbi görüntü analizi içinde tümör tespiti gibi görevlerde pozitif bir vakayı (yanlış negatif) gözden kaçırmanın maliyeti yaşamı tehdit edebilir. Bu nedenle uygulayıcılar, daha yüksek bir FPR ile sonuçlansa bile TPR'yi en üst düzeye çıkaran bir eşik seçer; bu da daha fazla sağlıklı hastanın başlangıçta ileri testler için işaretlenebileceği anlamına gelir.

2. Finansal Dolandırıcılık Tespiti: Finans alanında yapay zekâ kredi kartı işlemlerini izlemek için kullanıldığında bankalar güvenlik ile müşteri deneyimi arasında denge kurmalıdır. Sistem çok duyarlıysa (yüksek TPR), meşru kartları engelleyebilir (yüksek FPR) ve kullanıcıları hayal kırıklığına uğratabilir. Analistler, dolandırıcılıkların çoğunu yakalarken yanlış pozitifleri kabul edilebilir bir minimum düzeyde tutan dengeli bir eşik bulmak için ROC eğrisini kullanır.

ROC Analizi için Olasılıkları Oluşturma#

Bir ROC eğrisi çizmek için yalnızca nihai sınıf etiketleri yerine ham tahmin olasılıklarına ihtiyacın vardır. Aşağıdaki örnek, sınıflandırma skorları oluşturmak için son teknoloji YOLO26 modelini kullanır.

from ultralytics import YOLO

# Load a pretrained YOLO26 classification model
model = YOLO("yolo26n-cls.pt")

# Run inference to get probability distribution
results = model("bus.jpg")

# Access the probability score for the predicted class
# These continuous scores are required to calculate TPR/FPR at different thresholds
print(f"Top Class Index: {results[0].probs.top1}")
print(f"Confidence Score: {results[0].probs.top1conf:.4f}")

Bu olasılıklar bir doğrulama kümesi için toplandıktan sonra geliştiriciler, eğri noktalarını hesaplamak üzere Scikit-learn gibi kütüphaneleri kullanabilir. Veri kümelerini yönetmek ve bu metrikleri zaman içinde izlemek için Ultralytics Platformu, model değerlendirme ve dağıtımı için entegre araçlar sunar.

ROC ve İlgili Kavramlar#

ROC eğrisini diğer değerlendirme araçlarından ayırt etmek önemlidir:

• Kesinlik-Geri Çağırma (PR) Eğrisi ile karşılaştırma: ROC, TPR'yi FPR'ye karşı çizerken Kesinlik-Geri Çağırma eğrisi, kesinliği geri çağırmaya karşı çizer. Veri kümesi ciddi ölçüde dengesiz olduğunda (ör. nadir anomalileri tespit ederken) genellikle PR eğrisi tercih edilir; çünkü ROC eğrisi bu tür senaryolarda bazen aşırı iyimser bir görünüm sunabilir.
• Karışıklık Matrisi ile karşılaştırma: Bir karışıklık matrisi, tek bir belirli eşikteki performansın anlık görüntüsünü sunar. Buna karşılık ROC eğrisi performansı tüm olası eşikler boyunca görselleştirir ve nihai bir karar kuralı oluşturulmadan önce tahmine dayalı modelleme analizi için daha kapsamlı bir araç hâline gelir.