F1-Score

Le Score F1 est une métrique de performance essentielle en apprentissage automatique qui combine la précision et le rappel en une seule moyenne harmonique. Il est particulièrement utile pour évaluer les modèles de classification où le jeu de données est déséquilibré ou lorsque les faux positifs et les faux négatifs entraînent des coûts différents. Contrairement à une précision simple, qui peut être trompeuse si une classe domine le jeu de données, le Score F1 offre une vision plus équilibrée de la capacité d'un modèle à identifier correctement les instances pertinentes tout en minimisant les erreurs. En pénalisant les valeurs extrêmes, il garantit qu'un score élevé n'est atteint que lorsque la précision et le rappel sont raisonnablement élevés, ce qui en fait une métrique de base dans des domaines allant du diagnostic médical à la recherche d'informations.

Link to this sectionPourquoi le Score F1 est important en apprentissage automatique#

Dans de nombreux scénarios réels, connaître simplement le pourcentage de prédictions correctes (précision) est insuffisant. Par exemple, dans la détection d'anomalies, les cas normaux sont bien plus nombreux que les anomalies. Un modèle qui prédit "normal" pour chaque entrée pourrait atteindre 99 % de précision mais serait inutile pour détecter des problèmes réels. Le Score F1 résout ce problème en équilibrant deux métriques concurrentes :

• Précision : Cela mesure la qualité des prédictions positives. Cela répond à la question : "Sur toutes les instances que le modèle a étiquetées comme positives, combien étaient réellement positives ?"
• Rappel : Cela mesure la quantité de prédictions positives. Cela répond à : "Sur toutes les instances positives réelles, combien le modèle a-t-il identifiées correctement ?"

Comme il existe souvent un compromis — améliorer la précision tend à réduire le rappel et vice versa — le Score F1 agit comme une métrique unifiée pour trouver un point d'équilibre optimal. C'est crucial lors du réglage des modèles en utilisant l'optimisation des hyperparamètres pour garantir des performances robustes dans diverses conditions.

Link to this sectionApplications concrètes#

L'utilité du Score F1 s'étend à diverses industries où le coût de l'erreur est significatif.

• Medical Diagnostics: In AI in healthcare, specifically for tasks like tumor detection, a false negative (missing a tumor) is life-threatening, while a false positive (flagging benign tissue) causes unnecessary anxiety. The F1-Score helps researchers optimize models like YOLO26 to ensure that the system is sensitive enough to catch diseases without overwhelming doctors with false alarms.
• Recherche d'informations et recherche : Les moteurs de recherche et les systèmes de classification de documents utilisent le Score F1 pour évaluer la pertinence. Les utilisateurs veulent voir tous les documents pertinents (rappel élevé) mais ne veulent pas parcourir des résultats non pertinents (précision élevée). Un Score F1 élevé indique que le moteur récupère efficacement les bonnes informations sans encombrement.
• Spam Filtering: Email services use text classification to segregate spam. The system must catch spam emails (recall) but crucially must not label important work emails as junk (precision). The F1-Score serves as the primary benchmark for these filters.

Link to this sectionCalculer le Score F1 avec Ultralytics#

Les frameworks de vision par ordinateur modernes simplifient le calcul de ces métriques. Lors de l'entraînement de modèles de détection d'objets, le Score F1 est automatiquement calculé pendant la phase de validation. La Plateforme Ultralytics visualise ces métriques dans des graphiques en temps réel, permettant aux utilisateurs de voir la courbe du Score F1 par rapport à différents seuils de confiance.

Voici comment tu peux accéder aux métriques de validation, y compris les composants du Score F1, en utilisant l'API Python :

from ultralytics import YOLO

# Load a pre-trained YOLO26 model
model = YOLO("yolo26n.pt")

# Validate the model on a dataset (metrics are computed automatically)
# This returns a validator object containing precision, recall, and mAP
metrics = model.val(data="coco8.yaml")

# Print the Mean Average Precision (mAP50-95), which correlates with F1 performance
print(f"mAP50-95: {metrics.box.map}")

# Access precision and recall arrays to manually inspect the balance
print(f"Precision: {metrics.box.p}")
print(f"Recall: {metrics.box.r}")

Link to this sectionScore F1 vs métriques associées#

Comprendre comment le Score F1 diffère d'autres critères d'évaluation est essentiel pour sélectionner le bon outil pour ton projet.

• Différence avec la précision : La Précision traite toutes les erreurs de la même manière. Le Score F1 est supérieur pour les jeux de données déséquilibrés car il se concentre sur les performances de la classe positive (la classe minoritaire d'intérêt).
• Relation avec le mAP : La Précision Moyenne (mAP) est la norme pour comparer les modèles de détection d'objets à travers tous les seuils de confiance. Cependant, le Score F1 est souvent utilisé pour déterminer le seuil de confiance optimal pour le déploiement. Tu pourrais choisir le seuil où la courbe F1 atteint un pic pour déployer ton application.
• Matrice de confusion : La matrice de confusion fournit les nombres bruts (Vrais Positifs, Faux Positifs, etc.) à partir desquels le Score F1 est dérivé. Alors que la matrice donne des détails granulaires, le Score F1 fournit une statistique récapitulative unique pour une comparaison rapide.
• ROC-AUC : La Zone sous la courbe (AUC) mesure la séparabilité à travers tous les seuils. Le Score F1 est généralement préféré au ROC-AUC lorsque tu as une distribution de classe hautement asymétrique (par exemple, la détection de fraude où la fraude est rare).

Link to this sectionAméliorer ton Score F1#

Si ton modèle souffre d'un faible Score F1, plusieurs stratégies peuvent t'aider. L'augmentation de données peut accroître la variété des exemples positifs, aidant le modèle à mieux généraliser. Employer l'apprentissage par transfert à partir de modèles fondamentaux robustes permet au réseau de tirer parti de caractéristiques pré-apprises. De plus, ajuster le seuil de confiance pendant l'inférence peut manuellement déplacer l'équilibre entre la précision et le rappel pour maximiser le Score F1 pour ton cas d'utilisation spécifique.