Précision moyenne moyenne (mAP) en détection d’objets

L’adoption de l’IA progresse rapidement, et l’IA s’intègre à diverses innovations, des voitures autonomes aux systèmes de vente au détail capables d’identifier les produits sur une étagère. Ces technologies s’appuient sur la vision par ordinateur, une branche de l’intelligence artificielle (AI) qui permet aux machines d’analyser des données visuelles.

Une mesure clé utilisée pour évaluer la précision des systèmes et des algorithmes de vision par ordinateur est la précision moyenne (mAP). La mAP indique dans quelle mesure les prédictions d’un modèle d’IA visuelle correspondent aux résultats du monde réel.

La détection d’objets est une tâche courante en vision par ordinateur : un modèle identifie plusieurs objets dans une image et trace des boîtes englobantes autour d’eux. La mAP est la mesure de référence pour évaluer les performances des modèles de détection d’objets et est largement utilisée pour comparer des modèles d’apprentissage profond comme Ultralytics YOLO11.

Dans cet article, nous verrons comment calculer la précision moyenne et pourquoi elle est essentielle pour toute personne qui entraîne ou évalue des modèles de détection d’objets.

Qu’est-ce que la précision moyenne (mAP) ?#

La précision moyenne est un score qui montre la précision d’un modèle de deep learning pour des tâches liées à la recherche d’informations visuelles, comme la détection et l’identification de différents objets dans une image. Par exemple, prenons un modèle de détection d’objets qui analyse une photo contenant un chien, un chat et une voiture. Un modèle fiable peut détecter les objets en reconnaissant chacun d’eux et en dessinant autour des cadres englobants et des étiquettes qui indiquent où se trouve chaque objet et de quoi il s’agit.

La mAP indique les performances du modèle pour effectuer cette tâche sur de nombreuses images et différents types d’objets. Elle vérifie si le modèle identifie correctement chaque objet et son emplacement dans l’image. Le score varie de 0 à 1 : 1 signifie que le modèle a tout trouvé parfaitement, tandis que 0 signifie qu’il n’a détecté aucun objet.

Concepts clés de la précision moyenne (mAP)#

Avant d’examiner les concepts qui sous-tendent la précision moyenne en machine learning, clarifions deux termes de base : la vérité terrain et les prédictions.

La vérité terrain désigne les données de référence exactes, dans lesquelles des humains étiquettent soigneusement les objets et leur emplacement dans l’image lors d’un processus appelé annotation. Les prédictions, quant à elles, sont les résultats produits par les modèles d’IA après l’analyse d’une image. En comparant les prédictions du modèle d’IA à la vérité terrain, nous pouvons mesurer à quel point le modèle s’est rapproché du résultat correct.

Fig. 1. Cadres englobants de la prédiction du modèle et de la vérité terrain. Image de l’auteur.

Matrice de confusion#

Une matrice de confusion est souvent utilisée pour comprendre la précision d’un modèle de détection d’objets. Il s’agit d’un tableau qui montre la correspondance entre les prédictions du modèle et les réponses correctes réelles (la vérité terrain). Ce tableau permet de décomposer les résultats en quatre éléments clés : les vrais positifs, les faux positifs, les faux négatifs et les vrais négatifs.

Voici ce que représentent ces éléments dans la matrice de confusion :

• Vrai positif (TP) : Le modèle détecte correctement un objet et son emplacement.
• Faux positif (FP) : Le modèle a effectué une détection, mais celle-ci était incorrecte.
• Faux négatif (FN) : Un objet présent dans l’image que le modèle n’a pas réussi à détecter.
• Vrai négatif (TN) : On parle de vrais négatifs lorsque le modèle identifie correctement l’absence d’un objet.

Les vrais négatifs sont rarement utilisés en détection d’objets, car nous ignorons généralement les nombreuses régions vides d’une image. Ils sont toutefois essentiels dans d’autres tâches de vision par ordinateur, comme la classification d’images, où le modèle attribue une étiquette à l’image. Par exemple, si la tâche consiste à déterminer si une image contient un chat ou non, et que le modèle identifie correctement « aucun chat » lorsque l’image n’en contient pas, il s’agit d’un vrai négatif.

Fig. 2. Résultats de classification dans une matrice de confusion. Image de l’auteur.

Intersection sur union (IoU)#

Une autre métrique essentielle pour évaluer les modèles de détection d’objets est l’intersection sur union (IoU). Pour ces modèles d’IA visuelle, détecter simplement la présence d’un objet dans une image ne suffit pas ; le modèle doit aussi localiser l’objet dans l’image pour dessiner des cadres englobants.

La métrique IoU mesure à quel point le cadre prédit par le modèle correspond au cadre correct réel (la vérité terrain). Le score varie entre 0 et 1 : 1 signifie une correspondance parfaite et 0, une absence totale de chevauchement.

Par exemple, une IoU élevée (comme 0,80 ou 0,85) signifie que le cadre prédit correspond étroitement au cadre de la vérité terrain, ce qui indique une localisation précise. Une IoU plus faible (comme 0,30 ou 0,25) signifie que le modèle n’a pas localisé l’objet avec précision.

Pour déterminer si une détection est réussie, nous utilisons différents seuils. Un seuil IoU courant est de 0,5 : le cadre prédit doit alors chevaucher le cadre de la vérité terrain d’au moins 50 % pour être considéré comme un vrai positif. Tout chevauchement inférieur à ce seuil est considéré comme un faux positif.

Fig. 3. Comprendre l’intersection sur union. Image de l’auteur.

Précision et rappel#

Jusqu’ici, nous avons examiné quelques métriques d’évaluation de base pour comprendre les performances des modèles de détection d’objets. Deux des métriques les plus importantes sont la précision et le rappel. Elles nous donnent une image claire de la précision des détections du modèle. Voyons de quoi il s’agit.

Les valeurs de précision nous indiquent combien de prédictions du modèle étaient réellement correctes. Elles répondent à la question suivante : parmi tous les objets que le modèle a prétendu détecter, combien étaient effectivement présents ?

Les valeurs de rappel, quant à elles, mesurent la capacité du modèle à trouver tous les objets réellement présents dans l’image. Elles répondent à la question suivante : parmi tous les objets réellement présents, combien le modèle a-t-il correctement détectés ?

La précision et le rappel donnent ensemble une idée plus claire des performances d’un modèle. Par exemple, si un modèle prédit 10 voitures dans une image et que 9 d’entre elles sont bien des voitures, sa précision est de 90 %.

Ces deux métriques d’évaluation impliquent souvent un compromis : un modèle peut obtenir une précision élevée en ne faisant que des prédictions dont il est pleinement sûr, mais il risque alors de manquer de nombreux objets, ce qui réduit le rappel. À l’inverse, il peut aussi obtenir un rappel très élevé en prédisant un cadre englobant presque partout, mais cela ferait baisser la précision.

Fig. 4. Précision et rappel. Image de l’auteur.

Précision moyenne#

La précision et le rappel nous aident à comprendre les performances d’un modèle pour chaque prédiction, tandis que la précision moyenne (AP) offre une vue d’ensemble. Elle illustre l’évolution de la précision du modèle lorsqu’il tente de détecter davantage d’objets et résume ses performances en un seul nombre.

Pour calculer le score de précision moyenne, nous pouvons d’abord créer, pour chaque type d’objet, une métrique combinée sous forme de graphique appelée courbe précision-rappel (ou courbe PR). Cette courbe montre ce qui se passe lorsque le modèle effectue davantage de prédictions.

Prenons le cas d’un modèle qui commence par détecter uniquement les objets les plus faciles ou les plus évidents. À ce stade, la précision est élevée, car la plupart des prédictions sont correctes, mais le rappel est faible, puisque de nombreux objets ne sont pas encore détectés. Lorsque le modèle essaie de détecter davantage d’objets, y compris les plus difficiles ou les plus rares, il introduit généralement davantage d’erreurs. La précision diminue alors tandis que le rappel augmente.

La précision moyenne correspond à l’aire sous la courbe (AUC) de la courbe PR. Une aire plus grande signifie que le modèle maintient une meilleure précision de ses prédictions, même lorsqu’il détecte davantage d’objets. L’AP est calculée séparément pour chaque étiquette de classe.

Par exemple, pour un modèle capable de détecter les voitures, les motos et les piétons, nous pouvons calculer séparément les valeurs d’AP pour chacune de ces trois catégories. Cela nous permet de voir quels objets le modèle détecte bien et lesquels nécessitent encore des améliorations.

Fig. 5. Une courbe PR pour cinq classes différentes. (Source)

Précision moyenne#

Après avoir calculé la précision moyenne pour chaque classe d’objets, il nous faut encore un score unique qui reflète les performances globales du modèle sur l’ensemble des classes. La formule de la précision moyenne moyenne permet de l’obtenir en calculant la moyenne des scores AP de toutes les catégories.

Par exemple, supposons qu’un modèle de vision par ordinateur comme Ultralytics YOLO11 obtienne une AP de 0,827 pour les voitures, 0,679 pour les motos, 0,355 pour les camions, 0,863 pour les bus et 0,982 pour les vélos. À l’aide de la formule de mAP, nous pouvons additionner ces nombres puis les diviser par le nombre total de classes :

mAP = (0.827 + 0.679 + 0.355 + 0.863 + 0.982) ÷ 5 = 0.7412 ≈ 0.741

Le score mAP de 0.741 permet de juger facilement les performances du modèle pour l’ensemble des classes d’objets. Une valeur proche de 1 signifie que le modèle est précis pour la plupart des catégories, tandis qu’une valeur plus faible indique qu’il éprouve des difficultés avec certaines d’entre elles.

Importance de l’AP et de la mAP en vision par ordinateur#

Maintenant que nous comprenons mieux comment calculer l’AP et la mAP et quels sont leurs composants, voici un aperçu de leur importance en vision par ordinateur :

• AP faible pour une classe précise : Une AP faible pour une seule classe signifie souvent que le modèle éprouve des difficultés avec cette classe d’objets. Cela peut être dû à un manque de données d’entraînement ou à des difficultés visuelles dans les images, comme l’occlusion.
• Erreurs de localisation : une valeur de mAP plus élevée à un seuil d’IoU bas (comme mAP₅₀), combinée à une baisse importante à un seuil d’IoU plus élevé (comme mAP₇₅), indique que le modèle peut détecter les objets, mais a du mal à les localiser avec précision.
• Surapprentissage : Une valeur mAP plus élevée sur le jeu de données d’entraînement que sur le jeu de données de validation est un signe de surapprentissage, qui rend le modèle peu fiable pour de nouvelles images.

Applications concrètes de la précision moyenne#

Voyons maintenant comment des métriques clés comme la mAP peuvent être utiles lors de la création d’applications de vision par ordinateur dans le monde réel.

Véhicules autonomes : pourquoi une mAP plus élevée signifie des routes plus sûres#

Pour les voitures autonomes, la détection d’objets est essentielle pour identifier les piétons, les panneaux de signalisation, les cyclistes et les marquages au sol. Par exemple, si un enfant traverse soudainement la rue en courant, la voiture n’a que quelques secondes pour détecter l’objet (l’enfant), le localiser, suivre son mouvement et prendre les mesures nécessaires (actionner les freins).

Les modèles comme Ultralytics YOLO11 sont conçus pour la détection d’objets en temps réel dans des situations aussi critiques. Dans ces cas, le mAP devient une mesure de sécurité essentielle.

Un score mAP élevé signifie que le système a plus de chances de détecter l’enfant et de le localiser avec précision, ce qui lui permet de déclencher le freinage avec un délai minimal. Une mAP faible peut indiquer des détections manquées ou des erreurs de classification dangereuses, comme confondre l’enfant avec un autre petit objet.

Fig. 6. Exemple d’utilisation de YOLO11 pour détecter des piétons sur la route. (Source)

Utiliser le mAP pour détecter les produits avec précision#

De même, dans le secteur de la vente au détail, les modèles de détection d’objets peuvent automatiser des tâches telles que le suivi des stocks et le passage en caisse. Lorsqu’un client scanne un produit à une caisse libre-service, une erreur de détection peut provoquer de la frustration.

Un score mAP élevé permet au modèle de distinguer avec précision des produits similaires et de tracer des boîtes englobantes précises, même lorsque les articles sont très rapprochés. Un score mAP faible peut entraîner des confusions. Par exemple, si le modèle prend une bouteille de jus d’orange pour une bouteille de jus de pomme visuellement similaire, cela peut entraîner une facturation incorrecte et des rapports d’inventaire inexacts.

Les systèmes de vente au détail intégrant des modèles comme Ultralytics YOLO11 peuvent détecter les produits en temps réel, les comparer aux stocks et mettre instantanément à jour les systèmes du back-end. Dans les environnements de vente au détail où tout va vite, le mAP joue un rôle essentiel pour garantir la précision et la fiabilité des opérations.

Améliorer la précision des diagnostics grâce à un mAP élevé dans le secteur de la santé#

Améliorer la précision des diagnostics dans le secteur de la santé commence par une détection précise dans l’imagerie médicale. Les modèles comme YOLO11 peuvent aider les radiologues à repérer des tumeurs, des fractures ou d’autres anomalies dans les images médicales. Ici, la précision moyenne (mAP) est une mesure essentielle pour évaluer la fiabilité clinique d’un modèle.

Un mAP élevé indique que le modèle atteint à la fois un rappel élevé (il détecte la plupart des problèmes réels) et une précision élevée (il évite les fausses alertes), ce qui est essentiel pour la prise de décision clinique.

Cependant, un score mAP faible peut susciter des inquiétudes. Si un modèle ne détecte pas une tumeur, cela peut retarder le diagnostic ou entraîner un traitement inadapté.

Avantages et inconvénients de l’utilisation du mAP#

Voici les principaux avantages de l’utilisation de la précision moyenne (mAP) pour évaluer les modèles de détection d’objets :

• Mesure normalisée : la mAP est la mesure de référence du secteur pour évaluer les modèles de détection d’objets. Elle permet de comparer différents modèles de manière équitable et cohérente.
• Reflète les performances en conditions réelles : un mAP élevé indique que le modèle détecte efficacement différentes classes d’objets et conserve de bonnes performances dans des scénarios complexes et réels.
• Diagnostic par classe : la mAP est calculée à partir des scores AP par classe, ce qui facilite le repérage des catégories peu performantes (comme les vélos ou les panneaux de signalisation) et l’ajustement du modèle en conséquence.

Bien que la mesure mAP présente plusieurs avantages, certaines limites sont à prendre en compte. Voici quelques facteurs à considérer :

• Difficile à interpréter pour les parties prenantes non techniques : les équipes commerciales ou cliniques peuvent trouver les valeurs mAP abstraites, contrairement à des mesures plus intuitives et faciles à comprendre.
• Ne reflète pas les contraintes du temps réel : le mAP ne tient pas compte de la vitesse d’inférence ni de la latence, qui sont cruciales pour le déploiement dans des applications sensibles au temps.

Points clés à retenir#

Nous avons vu que la précision moyenne (mAP) n’est pas seulement un score technique, mais aussi le reflet des performances potentielles d’un modèle en conditions réelles. Que ce soit dans un système de véhicule autonome ou à une caisse de magasin, un score mAP élevé est un indicateur fiable des performances du modèle et de son aptitude à une mise en œuvre pratique.

La mAP est une mesure essentielle et utile, mais elle doit être considérée comme un élément d’une stratégie d’évaluation complète. Pour les applications critiques comme la santé et la conduite autonome, il ne suffit pas de se fier uniquement à la mAP.

Il faut également tenir compte d’autres facteurs, comme la vitesse d’inférence (la rapidité avec laquelle le modèle fait ses prédictions), la taille du modèle (qui influe sur le déploiement sur les appareils en périphérie) et l’analyse qualitative des erreurs (pour comprendre les types d’erreurs du modèle), afin de garantir que le système est sûr, efficace et parfaitement adapté à l’usage prévu.

Rejoins notre communauté et consulte notre dépôt GitHub pour en savoir plus sur la vision par ordinateur. Explore nos pages consacrées aux solutions pour découvrir les applications de la vision par ordinateur dans l’agriculture et de l’IA dans la logistique. Consulte nos options de licence pour commencer dès aujourd’hui à créer ton propre modèle de vision par ordinateur !