Glossaire

Précision

Découvrez l'importance de la précision dans l'apprentissage automatique, son calcul, les limites des ensembles de données déséquilibrés et les moyens d'améliorer les performances des modèles.

La précision est l'une des mesures les plus fondamentales et les plus intuitives utilisées pour évaluer les performances des modèles d'apprentissage automatique, en particulier pour les tâches de classification dans le cadre de l'intelligence artificielle (IA) et de la vision par ordinateur (VA). Elle représente la proportion de prédictions correctes faites par le modèle d'IA sur le nombre total de prédictions. Bien que facile à comprendre et à calculer, le fait de se fier uniquement à la précision peut parfois induire en erreur, en particulier lorsqu'il s'agit de certains types d'ensembles de données ou d'exigences spécifiques.

Comment la précision est-elle calculée ?

La précision est calculée en divisant le nombre de prédictions correctes (à la fois vraies positives et vraies négatives) par le nombre total de prédictions effectuées. Par exemple, si un modèle identifie correctement 90 images sur 100, sa précision est de 90 %. Cette simplicité en fait un point de départ populaire pour l'évaluation des performances d'un modèle.

Importance de l'IA et de l'apprentissage automatique

La précision est une mesure directe de la fréquence à laquelle un modèle est globalement correct. Elle est largement utilisée au cours des premières étapes du développement et de l'entraînement d'un modèle afin d'obtenir une idée générale des performances. Une précision élevée est souvent un objectif principal pour de nombreuses applications, indiquant que le modèle se généralise bien à de nouvelles données inédites. De nombreux modèles de pointe, tels que YOLO d'Ultralytics pour la détection d'objets, s'efforcent d'atteindre une précision élevée tout en équilibrant d'autres facteurs tels que la vitesse. Vous pouvez consulter des comparaisons telles que YOLO11 vs YOLOv8 qui mettent souvent en évidence des critères de précision.

Limites de la précision

Malgré son caractère intuitif, la précision présente des limites importantes :

  • Ensembles de données déséquilibrés : La précision peut être un mauvais indicateur de performance lorsqu'il s'agit de données déséquilibrées, c'est-à-dire lorsqu'une classe est nettement plus nombreuse que les autres. Par exemple, pour la détection d'une maladie rare (prévalence de 1 %), un modèle qui prédit toujours "pas de maladie" atteint une précision de 99 %, mais n'identifie aucun cas réel, ce qui le rend inutile. Cela souligne l'importance de prendre en compte les biais potentiels de l 'ensemble des données.
  • Ignorer les types d'erreurs : La précision traite toutes les erreurs de la même manière. Cependant, dans de nombreux scénarios réels, le coût des différentes erreurs varie. Par exemple, une erreur de classification d'une tumeur maligne en tumeur bénigne (faux négatif) est souvent beaucoup plus critique qu'une erreur de classification d'une tumeur bénigne en tumeur maligne (faux positif).
  • Paradoxe de la précision : dans certaines situations, un modèle moins précis selon la définition standard peut s'avérer plus utile dans la pratique. C'est ce qu'on appelle le paradoxe de la précision.

Distinguer la précision des autres mesures

En raison des limites de la précision, notamment en cas de données déséquilibrées ou de coûts d'erreur variables, d'autres mesures sont souvent préférées ou utilisées en parallèle :

  • Précision: Mesure la proportion d'identifications positives réellement correctes. Une grande précision est cruciale lorsque le coût des faux positifs est élevé (par exemple, les filtres anti-spam qui marquent des courriels importants comme étant des spams).
  • Rappel (sensibilité): Mesure la proportion de positifs réels correctement identifiés. Un taux de rappel élevé est essentiel lorsque le coût des faux négatifs est important (par exemple, absence de diagnostic).
  • F1-Score: La moyenne harmonique de la précision et du rappel, qui fournit un équilibre entre les deux. Il est utile lorsque les faux positifs et les faux négatifs sont importants.
  • Précision moyenne (mAP): Une mesure commune dans la détection d'objets qui prend en compte à la fois la précision de la classification et la précision de la localisation (IoU) pour différents niveaux de rappel.
  • Matrice de confusion: Tableau qui visualise les performances d'un algorithme de classification, indiquant les vrais positifs, les vrais négatifs, les faux positifs et les faux négatifs, ce qui permet de calculer la précision, le rappel et l'exactitude.
  • Courbes ROC et AUC : Elles permettent de visualiser le compromis entre le taux de vrais positifs (rappel) et le taux de faux positifs pour différents seuils.

La compréhension de ces différentes mesures de performance YOLO permet une évaluation plus nuancée de la performance du modèle en fonction des besoins spécifiques.

Applications IA/ML dans le monde réel

  1. Analyse d'images médicales : Dans des tâches telles que la détection de tumeurs à l'aide de YOLO11, bien que la précision globale soit prise en compte, des mesures telles que le rappel (sensibilité) sont souvent prioritaires pour minimiser le risque de manquer des tumeurs réelles (faux négatifs). Les solutions d'IA dans le domaine de la santé doivent soigneusement équilibrer ces paramètres.
  2. Véhicules autonomes : Pour les solutions d'IA dans l'automobile, les modèles de détection d'objets doivent être très précis dans l'identification des piétons, des véhicules et des obstacles. Cependant, il ne suffit pas de mesurer la précision globale ; des mesures telles que mAP sont essentielles pour garantir une classification correcte et une localisation précise( prédiction de laboîte englobante ) pour la sécurité.

Améliorer la précision des modèles

Plusieurs techniques peuvent contribuer à améliorer la précision du modèle, bien qu'elles impliquent souvent des compromis avec d'autres mesures ou des coûts de calcul :

Des ressources de consultation telles que Model Training Tips peuvent fournir des conseils pratiques. Des plateformes comme Ultralytics HUB permettent aux utilisateurs d'entraîner des modèles et de suivre facilement la précision ainsi que d'autres mesures clés, souvent visualisées à l'aide d'outils comme TensorBoard. Il est possible de suivre les progrès réalisés dans ce domaine grâce à des ressources telles que le Stanford AI Index Report ou en parcourant les ensembles de données sur Papers With Code. Des frameworks comme PyTorch (voir le site officiel) et TensorFlow (voir le site officiel) sont couramment utilisés pour construire et entraîner ces modèles.

En conclusion, bien que la précision soit une mesure précieuse et intuitive pour évaluer les performances des modèles d'IA, elle devrait rarement être utilisée de manière isolée. Il est essentiel de prendre en compte les objectifs spécifiques de la tâche de ML et la nature des données, en particulier les déséquilibres potentiels ou les coûts variables des erreurs, pour sélectionner les mesures d'évaluation les plus appropriées telles que la précision, le rappel, le score F1 ou le mAP. L'utilisation de techniques d'IA explicable (XAI) peut également fournir des informations plus approfondies que les valeurs d'une seule métrique.

Rejoindre la communauté Ultralytics

Rejoignez l'avenir de l'IA. Connectez-vous, collaborez et évoluez avec des innovateurs mondiaux.

S'inscrire
Lien copié dans le presse-papiers