Confusion Matrix

Une matrice de confusion est un outil de mesure de performance pour les problèmes de classification en apprentissage automatique où la sortie peut être composée de deux classes ou plus. Il s'agit d'un tableau présentant quatre combinaisons différentes de valeurs prédites et réelles, servant d'élément fondamental pour la visualisation de données dans l'évaluation de modèles. Contrairement à une simple précision, qui peut être trompeuse si le jeu de données n'est pas équilibré, une matrice de confusion fournit une analyse granulaire des endroits où un modèle de vision par ordinateur (CV) fait des erreurs. En comparant les prédictions aux étiquettes de vérité terrain, les développeurs peuvent déterminer si le système confond deux classes spécifiques ou s'il échoue totalement à détecter un objet.

Link to this sectionComposants principaux de la matrice#

La matrice elle-même est généralement divisée en quatre quadrants pour la classification binaire, bien qu'elle s'étende pour les problèmes multi-classes comme ceux gérés par Ultralytics YOLO26. Ces quatre composants représentent l'intersection entre ce que le modèle a prédit et ce qui existe réellement dans l'image.

• Vrais Positifs (TP) : Le modèle prédit correctement la classe positive. Par exemple, dans une tâche de détection d'objets, le modèle dessine avec succès une boîte englobante autour d'une personne qui est effectivement présente dans le cadre.
• Vrais Négatifs (TN) : Le modèle prédit correctement la classe négative. C'est crucial dans des scénarios comme la détection d'anomalies, où le système identifie correctement qu'une pièce manufacturée ne présente aucun défaut.
• Faux Positifs (FP) : Le modèle prédit incorrectement la classe positive. Souvent appelée "erreur de type I", elle survient lorsque le système détecte un objet qui n'est pas là, comme une caméra de sécurité signalant une ombre comme étant un intrus.
• Faux Négatifs (FN) : Le modèle prédit incorrectement la classe négative. Connue sous le nom d'"erreur de type II", elle se produit lorsque le modèle ne parvient pas à détecter un objet qui est présent, "manquant" essentiellement la cible.

Link to this sectionMétriques dérivées et signification#

Les chiffres bruts d'une matrice de confusion sont utilisés pour calculer des métriques plus avancées qui décrivent la performance du modèle. Comprendre ces dérivés est essentiel pour optimiser les réseaux de neurones.

• Précision : Calculée comme TP / (TP + FP), cette métrique révèle à quel point les prédictions positives sont exactes. Une précision élevée signifie moins de fausses alertes.
• Rappel (Sensibilité) : Calculé comme TP / (TP + FN), il mesure la capacité du modèle à trouver toutes les instances positives. Un rappel élevé est vital lorsque manquer un objet a des conséquences graves.
• Score F1 : La moyenne harmonique de la précision et du rappel. Il fournit un score unique qui équilibre le compromis entre les deux, utile pour comparer différents modèles YOLO26.

Link to this sectionApplications concrètes#

Le coût spécifique des erreurs défini par la matrice de confusion dicte la manière dont les modèles sont ajustés pour différentes industries.

Dans le domaine de l'IA dans la santé, la matrice de confusion est une question de sécurité. Lors de l'entraînement d'un modèle pour l'analyse d'images médicales afin de détecter des tumeurs, un Faux Négatif (manquer une tumeur) est bien pire qu'un Faux Positif (signaler une tache bénigne pour examen par un médecin). Par conséquent, les ingénieurs privilégient le Rappel à la Précision dans ces matrices pour s'assurer qu'aucun risque pour la santé ne soit ignoré.

Inversement, dans le contrôle qualité manufacturier, l'efficacité est primordiale. Si un système classant des pièces sur une ligne d'assemblage génère trop de Faux Positifs (signalant des pièces conformes comme défectueuses), cela entraîne un gaspillage inutile et ralentit la production. Ici, la matrice de confusion aide les ingénieurs à ajuster le modèle pour maximiser la Précision, garantissant que ce qui est rejeté est réellement défectueux, rationalisant ainsi les flux de travail d'apprentissage automatique automatisé.

Link to this sectionGénérer une matrice de confusion avec YOLO26#

Lors de l'utilisation de frameworks modernes, générer cette matrice fait souvent partie du pipeline de validation standard. L'exemple ci-dessous démontre comment valider un modèle YOLO26 et accéder aux données de la matrice de confusion en utilisant le package ultralytics.

from ultralytics import YOLO

# Load a pre-trained YOLO26 model
model = YOLO("yolo26n.pt")

# Validate the model on the COCO8 dataset
# This automatically generates and plots the confusion matrix
metrics = model.val(data="coco8.yaml")

# Access the confusion matrix object directly
print(metrics.confusion_matrix.matrix)

Link to this sectionDifférencier les concepts associés#

Il est important de distinguer la matrice de confusion de termes d'évaluation similaires.

• Vs. Précision : La précision est simplement le rapport entre les prédictions correctes et le total des prédictions. Bien qu'utile, la précision peut être très trompeuse dans les jeux de données déséquilibrés. Par exemple, si 95 % des e-mails ne sont pas du spam, un modèle qui prédit "non spam" pour chaque e-mail a une précision de 95 % mais est inutile. La matrice de confusion révèle cette faille en montrant zéro Vrai Positif pour la classe spam.
• Vs. Courbe ROC : La matrice de confusion fournit un instantané de la performance à un seuil de confiance spécifique. En revanche, la courbe ROC (Receiver Operating Characteristic) visualise comment le taux de Vrais Positifs et le taux de Faux Positifs changent à mesure que ce seuil est modifié. Des outils comme la plateforme Ultralytics permettent aux utilisateurs d'explorer les deux visualisations pour choisir le point de fonctionnement optimal pour leur déploiement.