F1-Skoru

F1-Skoru, bir sınıflandırma modelinin performansını değerlendirmek için makine öğreniminde yaygın olarak kullanılan bir metriktir. İki önemli metriği—Hassasiyet (Precision) ve Geri Çağırma (Recall)—akıllıca tek bir değerde birleştirir. Hassasiyet ve geri çağırmanın harmonik ortalaması olarak F1-Skoru, özellikle bir sınıfın diğerinden çok daha sık olduğu dengesiz veri kümeleriyle uğraşırken, bir modelin performansının daha dengeli bir ölçüsünü sağlar. Bu tür senaryolarda, yüksek bir doğruluk (accuracy) skoru yanıltıcı olabilir, ancak F1-Skoru, modelin azınlık sınıfını doğru bir şekilde tanımlamadaki etkinliği hakkında daha iyi bir fikir verir.

F1-Skorunu tam olarak anlamak için, bileşenlerini anlamak önemlidir. Kesinlik şu soruyu yanıtlar: "Model tarafından yapılan tüm pozitif tahminlerin kaçı aslında doğruydu?" Geri çağırma ise şu soruyu yanıtlar: "Tüm gerçek pozitif örneklerin kaçını model doğru bir şekilde tanımladı?" F1-Skoru, bu iki metriği uyumlu hale getirerek, bir metrikte önemli ölçüde başarılı olup diğerinde büyük kayıplar veren modelleri cezalandırır. Bir F1-Skoru, en iyi değerine 1'de (mükemmel kesinlik ve geri çağırma) ve en kötü değerine 0'da ulaşır. Bu denge, hem yanlış pozitiflerin hem de yanlış negatiflerin önemli maliyetler taşıdığı birçok gerçek dünya uygulamasında çok önemlidir. Model eğitimi sırasında bu metriği izlemek, MLOps'ta standart bir uygulamadır.

F1-Skoru Uygulamada: Gerçek Dünya Örnekleri

F1-Skoru, yanlış sınıflandırmanın sonuçlarının ciddi olduğu çeşitli Yapay Zeka (AI) uygulamalarında kritik öneme sahiptir:

1. Hastalık Tespiti için Tıbbi Görüntü Analizi: Bilgisayarlı görü (CV) kullanarak taramalardan kanserli tümörleri tespit etmek için tasarlanmış bir yapay zeka modelini düşünün.

   • Yanlış negatif (düşük hatırlama), kanser mevcutken tespit edilememesi anlamına gelir ve bu durum hasta için ciddi sonuçlar doğurabilir.
   • Yanlış pozitif (düşük kesinlik), kanser yokken teşhis konulması anlamına gelir ve bu durum gereksiz strese, maliyete ve daha fazla invaziv teste yol açar.
   • F1-Skoru, gerçek vakaları yakalama (hatırlama) ve yanlış teşhislerden kaçınma (kesinlik) arasında bir denge sağlayarak yapay zeka destekli sağlık çözümlerinde kullanılanlar gibi modelleri değerlendirmeye yardımcı olur. Bu tür modellerin eğitimi, Beyin Tümörü tespit veri kümesi gibi veri kümelerini içerebilir.

2. Spam E-posta Filtreleme: E-posta servisleri, spam'i tanımlamak için sınıflandırma modelleri kullanır.

   • Mümkün olduğunca çok spam yakalamak için yüksek hatırlama (recall) gereklidir. Spam'i kaçırmak (yanlış negatif) kullanıcıları rahatsız eder.
   • Yüksek kesinlik, meşru e-postaları ("ham") spam olarak işaretlemekten (yanlış pozitif) kaçınmak için çok önemlidir. Önemli bir e-postayı yanlış sınıflandırmak oldukça sorunlu olabilir.
   • F1-Skoru, önemsiz mesajları filtrelerken önemli mesajları kaybetme ihtiyacını dengeleyerek, spam filtresinin genel etkinliğini değerlendirmek için uygun bir ölçü sağlar. Bu genellikle Doğal Dil İşleme (NLP) tekniklerini içerir.

F1-Skoru Diğer Metriklerden Nasıl Farklıdır?

F1-Skoru ve diğer değerlendirme metrikleri arasındaki ayrımı anlamak, projeniz için doğru olanı seçmenin anahtarıdır.

• F1-Skoru - Doğruluk Karşılaştırması: Doğruluk, doğru tahminlerin toplam tahmin sayısına oranıdır. Anlaşılması basit olmasına rağmen, dengesiz sınıflandırma problemlerinde kötü performans gösterir. F1-Skoru, bu durumlarda genellikle tercih edilir, çünkü pozitif sınıf performansına odaklanır.
• F1-Skoru - Kesinlik ve Duyarlılık Karşılaştırması: F1-Skoru, Kesinliği ve Duyarlılığı tek bir metrikte birleştirir. Ancak, uygulamanın amacına bağlı olarak, birini diğerine göre optimize etmek isteyebilirsiniz. Örneğin, havaalanı güvenlik taramasında, duyarlılığı (tüm potansiyel tehditleri bulmak) en üst düzeye çıkarmak, kesinlikten daha önemlidir. Bu kesinlik-duyarlılık dengesini anlamak temeldir.
• F1-Skoru - ortalama Ortalama Kesinlik (mAP) Karşılaştırması: F1-Skoru, sınıflandırma performansını belirli bir güven eşiğinde değerlendirirken, mAP, nesne algılama görevleri için standart metriktir. mAP skoru, farklı eşikler üzerindeki Kesinlik-Duyarlılık eğrisini özetleyerek, bir modelin nesneleri bulma ve sınıflandırma yeteneğinin daha kapsamlı bir değerlendirmesini sağlar. Ultralytics HUB gibi platformlar, model geliştirme sırasında bu metrikleri izlemeye yardımcı olur.
• F1-Skoru - AUC (Eğri Altında Kalan Alan) Karşılaştırması: AUC, Alıcı Çalışma Karakteristiği (ROC) eğrisi üzerinden hesaplanır ve bir modelin tüm olası eşikler genelinde sınıflar arasında ayrım yapma yeteneğini temsil eder. F1-Skoru ise tek, belirli bir eşik için hesaplanır.

Ultralytics YOLO11 gibi nesne algılama modelleri için birincil metrik mAP olsa da, F1-Skoru bu modellerin gerçekleştirebileceği görüntü sınıflandırma görevleri için çok önemlidir. F1-Skoru'nun sağlam bir şekilde anlaşılması, derin öğrenme'de sınıflandırma problemleri üzerinde çalışan herhangi bir geliştirici için hayati önem taşır. COCO gibi veri kümelerinde sıkça kıyaslanan farklı YOLO model performanslarını karşılaştırabilirsiniz.