Précision moyenne (mAP)

Comprendre les bases : Précision et rappel

Pour comprendre le mAP, il est essentiel de comprendre d'abord la précision et le rappel. Dans le contexte de la détection d'objets :

• Précision: Mesure le nombre d'objets identifiés qui sont effectivement corrects. Une précision élevée signifie que le modèle fait peu de prédictions faussement positives.
• Rappel: Mesure le nombre d'objets présents correctement identifiés par le modèle. Un rappel élevé signifie que le modèle trouve la plupart des objets pertinents (peu de faux négatifs).

Ces deux mesures ont souvent une relation inverse ; améliorer l'une peut parfois diminuer l'autre. mAP permet d'évaluer le modèle sur différents points de ce compromis, offrant ainsi une vue plus équilibrée de la performance. Pour en savoir plus sur les principes fondamentaux de la précision et du rappel, consultez Wikipedia.

Comment la mAP est-elle calculée ?

Le calcul de mAP comporte plusieurs étapes, ce qui permet une évaluation solide des performances d'un modèle pour différentes classes d'objets et différents seuils de détection :

1. Tri de confiance: Pour chaque classe d'objets, les prédictions du modèle ( boîtes englobantes détectées) sont triées en fonction de leur degré de confiance, du plus élevé au plus faible.
2. Courbe de précision-rappel: Une courbe de précision-rappel est générée pour chaque classe. Cette courbe représente la précision par rapport aux valeurs de rappel calculées à différents seuils de confiance. À mesure que le seuil diminue, le rappel augmente généralement (davantage d'objets sont détectés), tandis que la précision peut diminuer (davantage de faux positifs peuvent être inclus).
3. Précision moyenne (AP) : la précision moyenne (AP) pour une classe unique est calculée comme la surface sous sa courbe de précision-rappel. Elle fournit un chiffre unique résumant les performances du modèle pour cette classe spécifique à travers tous les niveaux de rappel. Il existe différentes méthodes d'approximation de cette zone.
4. Précision moyenne (mAP): Enfin, la mAP est calculée en faisant la moyenne des valeurs AP pour toutes les classes d'objets de l'ensemble de données. On obtient ainsi une note de performance globale pour le modèle sur l'ensemble de la base de données.

Souvent, la mAP est rapportée à des seuils spécifiques d'intersection sur l'union (IoU). L'intersection sur l'union mesure le chevauchement entre la boîte de délimitation prédite et la boîte de délimitation de la vérité terrain (réelle). Les variantes courantes de mAP sont les suivantes :

• mAP@0.5 (ou mAP50): Calculé en utilisant un seuil fixe de 0,5 pour l'indice d'intégrité. Il s'agit d'une mesure standard utilisée dans des tests de référence tels que le PASCAL VOC challenge. Une détection n'est considérée comme correcte que si son IoU par rapport à la vérité terrain est supérieur ou égal à 0,5.
• mAP@.5 :.95 (ou mAP[.5 :.95]): Calculée en faisant la moyenne de la mAP sur plusieurs seuils de l'IoU, généralement de 0,5 à 0,95 avec un pas de 0,05. Cette mesure, couramment utilisée dans l'évaluation de l'ensemble de données COCO, fournit une évaluation plus complète en tenant compte des performances en fonction de différentes exigences en matière de précision de localisation.

Pour un examen détaillé de la façon dont ces mesures s'appliquent spécifiquement aux modèles YOLO, voir le guide Ultralytics YOLO Performance Metrics.

L'importance du mAP

La précision moyenne est essentielle car elle offre une vision globale des performances d'un modèle de détection d'objets. Elle tient compte à la fois de la précision de la classification (la classe d'objet est-elle correcte ?) et de la précision de la localisation (la boîte englobante est-elle placée correctement ?) pour toutes les classes définies dans les données d'apprentissage. Il est donc plus instructif que la précision ou le rappel pris isolément, en particulier dans les ensembles de données comportant plusieurs catégories d'objets ou des distributions de classes déséquilibrées. Un score mAP élevé indique généralement un modèle de détection d'objets plus robuste et plus fiable. Des techniques telles que l'augmentation prudente des données, l'ajustement des hyperparamètres et le choix d'une architecture de modèle appropriée (comme YOLO11) sont des stratégies courantes pour améliorer le mAP.

Applications dans le monde réel

La mAP est essentielle pour évaluer les modèles dans le cadre de tâches réelles où la précision et la fiabilité sont primordiales :

• Véhicules autonomes: Dans l'IA pour les solutions de conduite autonome, les modèles de détection d'objets doivent détecter avec précision les piétons, les véhicules, les feux de circulation et les obstacles. mAP fournit un moyen standard de mesurer et de comparer les performances de différents modèles de détection (par exemple, en comparant YOLOv8 à YOLOv11), ce qui garantit une grande fiabilité pour les décisions critiques en matière de sécurité.
• Imagerie médicale: Pour les applications de l'IA dans le domaine de la santé, telles que la détection des tumeurs dans les scanners médicaux, le mAP permet d'évaluer la capacité des modèles à identifier et à délimiter les anomalies. Un mAP élevé garantit que les cliniciens bénéficient d'un soutien précis de la part des outils d'IA, ce qui facilite le diagnostic et la planification du traitement. Cela implique souvent une formation sur des ensembles de données spécialisés tels que les ensembles de données de détection des tumeurs cérébrales.

Parmi les autres applications figurent la surveillance de la sécurité, la robotique(intégration de la vision artificielle dans la robotique), l'analyse du commerce de détail(l'IA pour une gestion plus intelligente des stocks du commerce de détail) et l'agriculture.

mAP vs. autres métriques

Il est important de distinguer le mAP des mesures d'évaluation connexes utilisées dans l'apprentissage automatique :

• Précision: Principalement utilisée dans les tâches de classification, la précision mesure la proportion globale de prédictions correctes (à la fois vraies positives et vraies négatives) parmi le nombre total d'instances. Elle n'évalue pas directement la qualité de la localisation et peut être trompeuse dans la détection d'objets, en particulier dans les ensembles de données déséquilibrés où la classe d'arrière-plan domine.
• Intersection sur l'Union (IoU): Mesure le chevauchement spatial entre une boîte de délimitation prédite et une boîte de délimitation de vérité terrain. Alors que l'IoU évalue la qualité de la localisation pour les détections individuelles, mAP incorpore des seuils d'IoU (comme 0,5 ou l'intervalle 0,5:0,95) pour déterminer si une détection est considérée comme un vrai positif, puis agrège les performances à travers les classes et les niveaux de confiance. L'indice d'intégrité lui-même est un élément utilisé dans le calcul de mAP, il ne le remplace pas.

Il est essentiel de comprendre ces différences pour sélectionner la mesure appropriée en fonction de la tâche spécifique et des objectifs de l'évaluation. Pour en savoir plus, consultez le guide d'évaluation et de mise au point du modèle.

Outils et critères de référence

Des outils comme Ultralytics HUB permettent aux utilisateurs d'entraîner, de suivre et d'évaluer les modèles, en mettant en évidence le mAP comme indicateur de performance clé pendant les processus d'entraînement et de validation des modèles. Les cadres de ML tels que PyTorch et TensorFlow fournissent les composants de base pour la construction et l'entraînement de ces modèles de détection d'objets. Des ensembles de données normalisés tels que COCO et PASCAL VOC utilisent mAP comme principale mesure pour comparer les modèles de détection d'objets dans les classements publics et les articles de recherche, ce qui favorise les progrès dans ce domaine. Vous pouvez explorer et comparer les performances de différents modèles, souvent mesurées par mAP, sur les pages de comparaison des modèles Ultralytics.