F1-Skoru

F1-Skoru, aşağıdaki alanlarda kritik bir performans ölçütüdür değerlendirmek için kullanılan makine öğrenimi (ML) sınıflandırma modellerinin doğruluğu. Doğru tahminlerin yüzdesini hesaplayan basit doğruluktan farklı olarak F1-Skoru diğer iki hayati ölçütü birleştirir-Hassasiyet ve Tek bir değere geri çağırma. Olarak tanımlanır hassasiyet ve geri çağırmanın harmonik ortalaması. Bu da F1-Skoru özellikle aşağıdakiler üzerinde eğitilen modelleri değerlendirmek için kullanışlıdır Bir sınıftaki örnek sayısının diğerlerinden önemli ölçüde fazla olduğu dengesiz veri kümeleri. Bu gibi durumlarda, bir model aşağıdakilere ulaşabilir Sadece çoğunluk sınıfını tahmin ederek yüksek doğruluk elde ederken, genellikle azınlık sınıfını tanımlamakta başarısız olur. daha fazla ilgi.

Kesinlik ve Geri Çağırma Dengesi

F1-Skorunu anlamak için bileşenleri arasındaki gerilimi kavramak gerekir. Hassasiyet ölçümleri pozitif tahminlerin kalitesini (yanlış pozitiflerin en aza indirilmesi) ölçerken, Geri Çağırma doğru pozitiflerin miktarını ölçer (yanlış negatiflerin en aza indirilmesi). Genellikle, bu ölçütlerden birinin artırılması diğerinde bir düşüşe neden olur. olarak bilinen fenomen hassasiyet-hatırlama ödünleşimi. F1-Skoru, uç değerleri cezalandırarak dengeli bir görünüm sağlar. En iyi değerine 1'de ulaşır (mükemmel hassasiyet ve geri çağırma) ve en kötüsü 0. Bu denge, sağlam tahminsel modelleme sistemleri hem kaçırılan tespitler ve yanlış alarmlar önemli maliyetler taşır.

Gerçek Dünya Uygulamaları

F1-Skoru, hata maliyetinin yüksek olduğu veya veri dağılımının çarpık olduğu senaryolarda vazgeçilmezdir.

• Tıbbi Görüntü Analizi: Sağlık hizmetlerinde tümör gibi durumların teşhisi yüksek hassasiyet gerektirir. Yanlış negatif (bir tümörün gözden kaçması) tehlikeli olabilirken, yanlış pozitiflik (sağlıklı dokunun tümör olarak tanımlanması) gereksiz strese neden olur. Çözümler Sağlık hizmetlerinde yapay zekadan yararlanmak F1-Skoru, modelin güvenli bir dengeyi korumasını ve mümkün olduğunca çok sayıda gerçek vakayı aşırıya kaçmadan tespit etmesini sağlar yanlış alarm veren doktorlar.
• Finans AlanındaAnomali Tespiti: Finans kurumları hileli işlemleri detect etmek için yapay zekayı kullanıyor. Meşru işlemlere kıyasla gerçek dolandırıcılık nadir olduğundan işlemlerinde, bir model sadece her şeyi meşru olarak etiketleyerek %99,9 doğruluk oranına sahip olduğunu iddia edebilir. Ancak, bu şöyle olacaktır dolandırıcılığı yakalamak için işe yaramaz. F1-Skoru için optimizasyon yaparak, Finans alanında yapay zeka sistemler, geçerli kartların bloke edilmesinden kaynaklanan kesintiyi en aza indirirken şüpheli faaliyetleri etkili bir şekilde işaretleyebilir.

Ultralytics YOLO11'de F1-Skoru

Aşağıdakiler gibi bilgisayarla görme (CV) görevleri için nesne tespiti, F1-Skoru, nesne tespitinin nasıl yapıldığını belirlemeye yardımcı olur. iyi bir model sınırları tanımlar ve nesneleri belirli güven eşiklerinde sınıflandırır. gibi modelleri eğitirken Ultralytics YOLO11doğrulama süreci aşağıdakileri hesaplar mühendislerin en iyi model ağırlıklarını seçmelerine yardımcı olmak için hassasiyet, geri çağırma ve F1-Skorları.

Aşağıdaki Python kodu, önceden eğitilmiş bir YOLO11 modelinin nasıl doğrulanacağını ve performans ölçümlerine nasıl erişileceğini göstermektedir.

from ultralytics import YOLO

# Load a pretrained YOLO11 model
model = YOLO("yolo11n.pt")

# Run validation on a dataset like COCO8
# The .val() method computes metrics including Precision, Recall, and mAP
metrics = model.val(data="coco8.yaml")

# Print the mean results
# While F1 is computed internally for curves, mAP is the primary summary metric
print(f"Mean Average Precision (mAP50-95): {metrics.box.map}")
print(f"Precision: {metrics.box.mp}")
print(f"Recall: {metrics.box.mr}")

F1-Skorunu İlgili Metriklerden Ayırt Etme

Doğru metriğin seçilmesi, YZ projesinin özel hedeflerine bağlıdır.

• Doğruluk: Bu, tahminlerin genel doğruluğunu ölçer. Sınıf dağılımları kabaca eşit olduğunda en iyi şekilde kullanılır. Buna karşılık, F1-Skoru eşit olmayan sınıf dağılımları için tercih edilen metriktir.
• Ortalama Ortalama HassasiyetmAP): F1-Skoru genellikle belirli bir noktada hesaplanırken güven eşiği, mAP ortalama değeri değerlendirir mAP , nesne algılama modellerini karşılaştırmak için standart iken F1, farklı geri çağırma seviyelerinde belirli bir çalışma noktasını optimize etmek için kullanışlıdır.
• Eğri Altındaki Alan (AUC): AUC, aşağıdakilerin altındaki alanı temsil eder Alıcı İşletim Karakteristiği (ROC) eğrisi. AUC, bir sınıflandırıcının tüm eşiklerde sınıflar arasında ayrım yapma yeteneğini ölçerken, F1-Skoru özellikle tek bir eşikteki pozitif sınıf performansına odaklanır.

Model F1-Skorunun İyileştirilmesi

F1-Skorunun iyileştirilmesi genellikle model ve verilerde yinelemeli iyileştirmeler yapılmasını gerektirir.

• Hiperparametre Ayarlama: Öğrenme hızı gibi ayarların yapılması, parti büyüklüğü veya kayıp fonksiyonları modele yardımcı olabilir hassasiyet ve geri çağırmayı daha etkili bir şekilde dengeleyen bir çözüme yakınsar.
• Veri Büyütme: Çevirme, ölçekleme veya gürültü ekleme gibi teknikler eğitim verileri, modeli daha fazla çeşitliliğe maruz bırakır Örnekler, genelleme ve zor pozitif vakaları doğru bir şekilde tanımlama yeteneğini geliştirir.
• Transfer Öğrenimi: Büyük, çeşitli bir veri kümesi üzerinde önceden eğitilmiş bir modelle başlamak, ağın öğrenilen özelliklerden yararlanmasını sağlar çıkarıcılar, genellikle sınırlı veriye sahip özel görevlerde daha yüksek F1-Skorlarına yol açar.