Confusion Matrix

Une matrice de confusion est un outil de mesure des performances pour les problèmes de classification en machine learning, lorsque la sortie peut comporter deux classes ou plus. Il s'agit d'un tableau présentant quatre combinaisons différentes de valeurs prédites et réelles, constituant un élément fondamental de la visualisation des données lors de l'évaluation d'un modèle. Contrairement à la simple exactitude, qui peut être trompeuse lorsque le jeu de données est déséquilibré, une matrice de confusion fournit une analyse détaillée des erreurs commises par un modèle de vision par ordinateur (CV). En comparant les prédictions aux étiquettes de vérité terrain, les développeurs peuvent déterminer si le système confond deux classes spécifiques ou s'il ne parvient pas du tout à détecter un objet.

Composants principaux de la matrice#

La matrice elle-même est généralement divisée en quatre quadrants pour la classification binaire, mais elle s'étend pour les problèmes multiclasse, comme ceux pris en charge par Ultralytics YOLO26. Ces quatre composants représentent l'intersection entre ce que le modèle a prédit et ce qui existe réellement dans l'image.

• Vrais positifs (TP) : Le modèle prédit correctement la classe positive. Par exemple, dans une tâche de détection d'objets, le modèle dessine correctement une boîte englobante autour d'une personne effectivement présente dans l'image.
• Vrais négatifs (TN) : Le modèle prédit correctement la classe négative. Cela est essentiel dans des scénarios comme la détection d'anomalies, où le système identifie correctement qu'une pièce manufacturée ne présente aucun défaut.
• Faux positifs (FP) : Le modèle prédit à tort la classe positive. Souvent appelée « erreur de type I », cette situation se produit lorsque le système détecte un objet qui n'existe pas, par exemple lorsqu'une caméra de sécurité signale une ombre comme étant un intrus.
• Faux négatifs (FN) : Le modèle prédit à tort la classe négative. Également appelée « erreur de type II », cette situation se produit lorsque le modèle ne parvient pas à détecter un objet présent, manquant ainsi essentiellement la cible.

Métriques dérivées et importance#

Les valeurs brutes d'une matrice de confusion servent à calculer des métriques plus avancées qui décrivent les performances du modèle. Comprendre ces métriques dérivées est essentiel pour optimiser les réseaux neuronaux.

• Précision : Calculée comme TP / (TP + FP), cette métrique indique la fiabilité des prédictions positives. Une précision élevée signifie moins de fausses alertes.
• Rappel (sensibilité) : Calculé comme TP / (TP + FN), ce taux mesure la capacité du modèle à trouver toutes les instances positives. Un rappel élevé est essentiel lorsque manquer un objet peut avoir de graves conséquences.
• Score F1 : Moyenne harmonique de la précision et du rappel. Il fournit un score unique qui équilibre le compromis entre les deux, ce qui est utile pour comparer différents modèles YOLO26.

Applications concrètes#

Le coût spécifique des erreurs défini par la matrice de confusion détermine la manière dont les modèles sont ajustés pour différents secteurs.

Dans le domaine de l'IA dans le secteur de la santé, la matrice de confusion est une question de sécurité. Lors de l'entraînement d'un modèle d'analyse d'images médicales destiné à détecter des tumeurs, un faux négatif (tumeur manquée) est bien plus grave qu'un faux positif (signalement d'une zone bénigne à examiner par un médecin). Les ingénieurs privilégient donc le rappel à la précision dans ces matrices afin de s'assurer qu'aucun risque potentiel pour la santé ne soit négligé.

À l'inverse, dans le domaine du contrôle qualité dans l'industrie manufacturière, l'efficacité est essentielle. Si un système qui classe les pièces d'une chaîne de production génère trop de faux positifs (en signalant des pièces conformes comme défectueuses), cela entraîne un gaspillage inutile et ralentit la production. Dans ce cas, la matrice de confusion aide les ingénieurs à ajuster le modèle pour maximiser la précision, en s'assurant que les pièces rejetées sont réellement défectueuses et en rationalisant les flux de travail de machine learning automatisé.

Générer une matrice de confusion avec Ultralytics YOLO26#

Avec les frameworks modernes, la génération de cette matrice fait souvent partie du pipeline standard de validation. L'exemple ci-dessous montre comment valider un modèle YOLO26 et accéder aux données de la matrice de confusion à l'aide du package ultralytics.

from ultralytics import YOLO

# Load a pre-trained YOLO26 model
model = YOLO("yolo26n.pt")

# Validate the model on the COCO8 dataset
# This automatically generates and plots the confusion matrix
metrics = model.val(data="coco8.yaml")

# Access the confusion matrix object directly
print(metrics.confusion_matrix.matrix)

Distinguer les concepts associés#

Il est important de distinguer la matrice de confusion des termes d'évaluation similaires.

• Par rapport à l'exactitude : L'exactitude est simplement le rapport entre le nombre de prédictions correctes et le nombre total de prédictions. Bien qu'elle soit utile, l'exactitude peut être très trompeuse dans les jeux de données déséquilibrés. Par exemple, si 95 % des e-mails ne sont pas des spams, un modèle qui prédit « pas un spam » pour chaque e-mail atteint une exactitude de 95 %, mais est inutile. La matrice de confusion révèle ce défaut en montrant zéro vrai positif pour la classe des spams.
• Par rapport à la courbe ROC : La matrice de confusion fournit un instantané des performances pour un seuil de confiance unique et précis. En revanche, la courbe caractéristique de fonctionnement du récepteur (ROC) visualise l'évolution du taux de vrais positifs et du taux de faux positifs lorsque ce seuil varie. Des outils comme l'Ultralytics Platform te permettent d'explorer les deux visualisations afin de choisir le point de fonctionnement optimal pour ton déploiement.