Matrice de confusion

Une matrice de confusion est un outil complet de mesure des performances utilisé en l 'apprentissage machine (ML) pour évaluer la précision d'un d'un modèle de classification. Contrairement à un simple score de précision, qui n'indique que le pourcentage de prédictions correctes, une matrice de confusion fournit une ventilation granulaire de la façon dont le modèle catégorise chaque classe. comment le modèle catégorise chaque classe. Elle visualise l'écart entre les étiquettes prédites et la réalité du terrain. Elle visualise l'écart entre les étiquettes prédites et la réalité du terrain, ce qui permet aux développeurs de repérer exactement les endroits où un modèle est "confus" ou commet des erreurs systématiques. Ce niveau de détail Ce niveau de détail est essentiel pour affiner les systèmes complexes de vision par ordinateur, tels que ceux construits avec Ultralytics YOLO11.

Principaux éléments de la matrice

Une matrice de confusion répartit les prédictions d'un classificateur en quatre catégories distinctes, généralement disposées en grille. en forme de grille. Ces composantes permettent d'identifier si un modèle souffre de types d'erreurs spécifiques, tels que "fausses alarmes" ou "cibles manquées" :

• Vrais positifs (TP) : Le modèle prédit correctement la classe positive. Par exemple, dans la détection d'objets, le modèle identifie identifie avec succès un piéton traversant la rue.
• Vrais négatifs (TN) : Le modèle prédit correctement la classe négative. Dans un système de détection des défauts pour l'IA dans la fabrication, cela se produit lorsque le modèle identifie correctement une pièce fonctionnelle comme non défectueuse.
• Faux positifs (FP) : le modèle prédit incorrectement la classe positive. C'est ce qu'on appelle souvent une erreur de type I. Par exemple, une caméra de sécurité qui signale une branche d'arbre qui se balance comme un intrus.
• Faux négatifs (FN) : Le modèle prédit incorrectement la classe négative. C'est ce que l'on appelle une erreur de type II. Cela se produirait si un outil de diagnostic médical ne détectait pas une tumeur réellement présente. outil de diagnostic médical ne detect pas une tumeur réellement présente.

Importance dans l'évaluation des modèles

Si les mesures générales sont utiles pour obtenir des aperçus de haut niveau, la matrice de confusion est essentielle lorsqu'il s'agit d'ensembles de données déséquilibrés. des ensembles de données déséquilibrés. Si un ensemble de données contient 95 chats et 5 chiens, un modèle qui se contente de deviner "chat" à chaque fois atteint une précision de 95 %, mais est inutile pour trouver des chiens. atteint une précision de 95 %, mais est inutile pour trouver des chiens. La matrice de confusion révélerait immédiatement cet échec en affichant zéro vrais positifs pour la classe "chien".

Cette ventilation sert de base au calcul d'autres indicateurs de performance essentiels. de la performance. En analysant la matrice matrice, les ingénieurs peuvent déduire :

• Précision: La précision des prédictions positives (TP / (TP + FP)).
• Rappel (sensibilité) : La capacité à capturer tous les cas positifs réels (TP / (TP + FN)). de capturer tous les cas positifs réels (TP / (TP + FN)).
• F1-Score: Moyenne harmonique de la précision et du rappel, offrant une vue équilibrée de la robustesse du modèle.

Applications concrètes

L'importance de la matrice de confusion varie en fonction de l'application spécifique et du "coût" des différentes erreurs. différentes erreurs.

• Diagnostic médical : En l 'IA dans le domaine de la santé, le coût d'un faux négatif est extrêmement élevé. est extrêmement élevé. Si un modèle est conçu pour detect pneumonie à partir de radiographies, le fait de manquer un cas positif (FN) peut retarder un traitement vital. un traitement salvateur. C'est pourquoi les développeurs analysent la matrice de confusion pour maximiser le rappel, en s'assurant que même les signes les plus subtils de la maladie sont signalés à l'homme. de la maladie soient signalés pour être examinés par l'homme. Pour en savoir plus sur l 'évaluation en imagerie médicale pour comprendre ces enjeux.
• Détection de la fraude : Dans les systèmes financiers, un faux positif (le fait de signaler une transaction légitime comme étant une fraude) peut gêner les clients et bloquer l'accès aux fonds. fraude) peut ennuyer les clients et bloquer l'accès aux fonds. En revanche, un faux négatif (autorisant une fraude réelle) entraîne une perte financière directe. des pertes financières directes. En utilisant une matrice de confusion, les scientifiques des données peuvent ajuster le seuil de confiance afin de trouver le meilleur compromis possible. de confiance pour trouver le compromis optimal, l'équilibre entre la sécurité et l'expérience de l'utilisateur.
• Véhicules autonomes : Pour les voitures autonomes, il est essentiel de faire la distinction entre un objet immobile et un piéton en mouvement. Une matrice de confusion aide les ingénieurs à comprendre si le système système confond fréquemment des classes spécifiques, par exemple en prenant un lampadaire pour une personne, ce qui permet d'augmenter les données de manière ciblée afin de corriger le comportement. l'augmentation ciblée des données pour corriger le comportement.

Analyser les résultats avec du code

Le ultralytics calcule et enregistre automatiquement les matrices de confusion au cours du processus de validation. validation. Cela permet aux utilisateurs de visualiser les performances pour toutes les classes de leur ensemble de données.

from ultralytics import YOLO

# Load the YOLO11 model
model = YOLO("yolo11n.pt")

# Validate the model on a dataset like COCO8
# This generates the confusion matrix in the 'runs/detect/val' directory
results = model.val(data="coco8.yaml")

# You can also programmatically access the matrix data
print(results.confusion_matrix.matrix)

Comparaison avec des termes apparentés

Il est important de distinguer la matrice de confusion des mesures dérivées. Alors que les mesures Accuracy, précision et le rappel sont des résumés à un seul chiffre, la matrice de confusion est la source de données brutes à partir de laquelle ces chiffres sont calculés. matrice de confusion est la source de données brutes à partir de laquelle ces chiffres sont calculés. Elle fournit la "vue d'ensemble" plutôt qu'un instantané. "Elle fournit une image globale plutôt qu'un instantané. En outre, dans la détection d'objets, la matrice interagit souvent avec Intersection sur Union (IoU) pour déterminer ce qui est considéré comme un vrai positif, ce qui ajoute une autre couche de profondeur à l'évaluation dans les tâches de vision par ordinateur. dans les tâches de vision par ordinateur.