Confusion Matrix

Une matrice de confusion est un outil de mesure de performance pour les problèmes de classification par apprentissage automatique où la sortie peut comporter deux classes ou plus. Il s'agit d'un tableau présentant quatre combinaisons différentes de valeurs prédites et réelles, servant d'élément fondamental pour la data visualization lors de l'évaluation des modèles. Contrairement à la simple exactitude, qui peut porter à confusion si le jeu de données est déséquilibré, une matrice de confusion offre une ventilation granulaire des endroits où un modèle de computer vision (CV) commet des erreurs. En comparant les prédictions aux étiquettes de ground truth, les développeurs peuvent déterminer si le système confond deux classes spécifiques ou s'il ne parvient pas à détecter un objet.

Composants principaux de la matrice#

La matrice elle-même est généralement divisée en quatre quadrants pour la classification binaire, bien qu'elle s'agrandisse pour les problèmes multiclasses comme ceux gérés par Ultralytics YOLO26. Ces quatre composants représentent l'intersection de ce que le modèle a prédit par rapport à ce qui existe réellement dans l'image.

• True Positives (TP) : Le modèle prédit correctement la classe positive. Par exemple, dans une tâche d'object detection, le modèle dessine avec succès une boîte englobante autour d'une personne qui se trouve effectivement dans le cadre.
• True Negatives (TN) : Le modèle prédit correctement la classe négative. C'est crucial dans des scénarios comme l'anomaly detection, où le système identifie correctement qu'une pièce fabriquée ne présente aucun défaut.
• False Positives (FP) : Le modèle prédit incorrectement la classe positive. Souvent appelée "erreur de type I", cette situation se produit lorsque le système détecte un objet qui n'est pas présent, comme une caméra de sécurité prenant une ombre pour un intrus.
• False Negatives (FN) : Le modèle prédit incorrectement la classe négative. Connue sous le nom "d'erreur de type II", cette situation se produit lorsque le modèle ne parvient pas à détecter un objet présent, "manquant" essentiellement la cible.

Métriques dérivées et signification#

Les chiffres bruts d'une matrice de confusion sont utilisés pour calculer des métriques plus avancées qui décrivent la model performance. Comprendre ces dérivés est essentiel pour optimiser les réseaux de neurones.

• Precision : Calculée comme TP / (TP + FP), cette métrique révèle la précision des prédictions positives. Une haute précision signifie moins de fausses alertes.
• Recall (Sensitivity) : Calculé comme TP / (TP + FN), cela mesure la capacité du modèle à trouver toutes les instances positives. Un rappel élevé est vital lorsque manquer un objet a de graves conséquences.
• F1 Score : La moyenne harmonique de la précision et du rappel. Il fournit un score unique qui équilibre le compromis entre les deux, utile pour comparer différents YOLO26 models.

Applications concrètes#

Le coût spécifique des erreurs défini par la matrice de confusion dicte la manière dont les modèles sont ajustés pour différentes industries.

Dans le domaine de l'AI in healthcare, la matrice de confusion est une question de sécurité. Lors de l'entraînement d'un modèle pour l'medical image analysis afin de détecter des tumeurs, un faux négatif (rater une tumeur) est bien pire qu'un faux positif (signaler une tache bénigne pour qu'un médecin l'examine). Par conséquent, les ingénieurs privilégient le rappel à la précision dans ces matrices pour s'assurer qu'aucun risque potentiel pour la santé n'est négligé.

À l'inverse, dans le domaine du manufacturing quality control, l'efficacité est primordiale. Si un système classant des pièces sur une chaîne de montage génère trop de faux positifs (signalant des pièces bonnes comme défectueuses), cela provoque un gaspillage inutile et ralentit la production. Ici, la matrice de confusion aide les ingénieurs à régler le modèle pour maximiser la précision, garantissant que ce qui est rejeté est réellement défectueux, ce qui rationalise les flux de travail d'automated machine learning.

Générer une matrice de confusion avec Ultralytics YOLO26#

Lors de l'utilisation de frameworks modernes, la génération de cette matrice fait souvent partie du pipeline de validation standard. L'exemple ci-dessous montre comment valider un YOLO26 model et accéder aux données de la matrice de confusion à l'aide du paquet ultralytics.

from ultralytics import YOLO

# Load a pre-trained YOLO26 model
model = YOLO("yolo26n.pt")

# Validate the model on the COCO8 dataset
# This automatically generates and plots the confusion matrix
metrics = model.val(data="coco8.yaml")

# Access the confusion matrix object directly
print(metrics.confusion_matrix.matrix)

Différencier les concepts associés#

Il est important de distinguer la matrice de confusion de termes d'évaluation similaires.

• Vs Accuracy : L'exactitude est simplement le ratio des prédictions correctes par rapport au total des prédictions. Bien qu'utile, l'exactitude peut être très trompeuse dans les imbalanced datasets. Par exemple, si 95 % des e-mails ne sont pas des spams, un modèle qui prédit "non spam" pour chaque e-mail a une exactitude de 95 % mais est inutile. La matrice de confusion révèle ce défaut en affichant zéro vrai positif pour la classe des spams.
• Vs ROC Curve : La matrice de confusion fournit un instantané de la performance à un confidence threshold spécifique. En revanche, la courbe ROC (Receiver Operating Characteristic) visualise comment le taux de vrais positifs et le taux de faux positifs changent lorsque ce seuil varie. Des outils tels que la Ultralytics Platform permettent aux utilisateurs d'explorer les deux visualisations pour choisir le point de fonctionnement optimal pour leur déploiement.