Courbe ROC (Receiver Operating Characteristic)

Une courbe ROC (Receiver Operating Characteristic) est une représentation graphique utilisée pour évaluer les performances d'un modèle de classification binaire. modèle de classification binaire. Elle visualise le compromis entre le taux de vrais positifs (TPR) et le taux de faux positifs (FPR) pour différents seuils de classification. positif (TPR) et le taux de faux positifs (FPR) pour différents seuils de classification. Dans l'apprentissage l'apprentissage machine (ML), cette courbe est est fondamentale pour évaluer la capacité d'un modèle à distinguer deux classes, telles que "spam" par rapport à "non spam" ou "malade". spam" contre "pas de spam" ou "malade" contre "sain". En traçant ces taux, la courbe ROC fournit une vue d'ensemble de la capacité de diagnostic d'un modèle, allant au-delà des mesures à un seul chiffre comme la précision, qui peuvent être trompeuses si elles sont utilisées seules. qui peuvent être trompeuses isolément.

Comprendre les axes

Pour interpréter correctement une courbe ROC, il est essentiel de comprendre les deux paramètres représentés sur ses axes :

• Taux de vrais positifs (TPR) : Souvent appelé Rappel ou sensibilité, ce paramètre mesure la proportion d'instances d'instances positives réelles que le modèle identifie correctement. Par exemple, dans un système de sécurité, il s'agirait du pourcentage d'intrus correctement détectés. le pourcentage d'intrus correctement détectés.
• Taux de faux positifs (FPR) : Cette mesure calcule la proportion d'instances négatives réelles qui sont incorrectement identifiées comme positives (fausses alarmes). sont incorrectement identifiées comme positives (fausses alarmes). Un taux de fausses alertes faible indique une diminution du nombre de fausses alertes, ce qui est crucial pour la confiance de l'utilisateur dans des systèmes tels que les systèmes d'information. pour la confiance des utilisateurs dans des systèmes l 'authentification biométrique.

La courbe est générée en faisant varier le seuil de confiance du classificateur de 0 à 1. seuil de confiance du classificateur de 0 à 1. Chaque point de la courbe ROC représente une paire sensibilité/spécificité correspondant à un seuil de décision particulier. point de la courbe ROC représente une paire sensibilité/spécificité correspondant à un seuil de décision particulier. A diagonale allant du bas à gauche au haut à droite représente un classificateur aléatoire sans capacité prédictive (pile ou face), alors qu'une (pile ou face), tandis qu'une courbe qui s'incline fortement vers le coin supérieur gauche indique un modèle très performant.

Applications concrètes

Les courbes ROC sont largement utilisées dans divers secteurs d'activité pour optimiser les seuils de décision pour le déploiement de modèles. pour le déploiement de modèles.

1. Diagnostic médical : Dans l'analyse d'images l'analyse d'images médicales, les chercheurs utilisent les courbes courbes ROC pour ajuster les modèles de détection d'affections telles que la pneumonie ou les tumeurs. Un TPR élevé est prioritaire pour s'assurer qu'aucun cas positif n'est manqué, même si cela implique d'accepter un FPR légèrement plus élevé. Aucun cas positif n'est manqué, même si cela implique d'accepter un TPR légèrement plus élevé. Cet équilibre est essentiel pour se conformer aux normes de sécurité d'organisations telles que la FDA.
2. Détection des fraudes financières : Les institutions financières utilisent l l 'IA dans la finance pour identifier les les transactions frauduleuses. Ici, la courbe ROC aide les analystes à sélectionner un seuil qui capture la majorité des tentatives de fraude (rappel élevé) sans signaler trop de transactions légitimes, ce qui aurait un impact négatif sur les clients. fraude (rappel élevé) sans signaler trop de transactions légitimes, ce qui aurait un impact négatif sur l'expérience client. l'expérience client.

Calcul des probabilités pour le ROC

Pour tracer une courbe ROC, vous avez besoin des probabilités prédites pour la classe positive plutôt que des étiquettes finales de la classe. finales. L'exemple suivant montre comment extraire ces probabilités à l'aide d'une fonction YOLO11 à partir du modèle de classification de l ultralytics l'emballage.

from ultralytics import YOLO

# Load a pretrained YOLO11 classification model
model = YOLO("yolo11n-cls.pt")

# Run inference on an image to get prediction results
results = model("path/to/image.jpg")

# Access the probability distribution for all classes
# These scores are necessary inputs for calculating ROC and AUC
probs = results[0].probs.data
print(f"Class probabilities: {probs}")

Une fois ces probabilités obtenues pour un ensemble de données de test, des bibliothèques telles que Scikit-learn peuvent être pour calculer les valeurs FPR et TPR nécessaires pour tracer la courbe.

ROC par rapport à d'autres mesures d'évaluation

Bien que la courbe ROC soit un outil puissant, il est utile de la distinguer des concepts d'évaluation connexes :

• Surface sous la courbe (SSC) : L'aire sous la courbe (AUC) aire sous la courbe (AUC) est une valeur scalaire dérivée de la courbe ROC. valeur scalaire dérivée de la courbe ROC. Alors que la courbe ROC est un graphique visuel, l'aire sous la courbe quantifie la performance globale en un seul chiffre compris entre 0 et 1, ce qui facilite la comparaison entre différentes méthodes. performance globale en un seul chiffre compris entre 0 et 1, ce qui facilite la comparaison entre différents modèles d'apprentissage supervisé. modèles d'apprentissage supervisé.
• Courbe de précision et de rappel : Lorsqu'il s'agit d'ensembles de données fortement déséquilibrés (par exemple, une maladie rare affectant 1 % de la population), la courbe ROC peut parfois présenter une vision trop optimiste. maladie rare affectant 1 % de la population), la courbe ROC peut parfois présenter une vision trop optimiste. Dans de tels cas, une courbe courbe Précision-Recall est souvent plus informative car elle se concentre directement sur la performance de la classe minoritaire sans prendre en compte les Vrais négatifs.
• Matrice de confusion : A matrice de confusion donne un aperçu des performance à un seuil spécifique unique, montrant le nombre exact de vrais positifs, de faux positifs, de vrais négatifs et de faux négatifs, vrais positifs, faux positifs, vrais négatifs et faux négatifs. La courbe ROC résume efficacement les informations provenant des matrices de confusion générées à chaque seuil possible.

Pour les tâches impliquant la détection d'objets, des mesures telles que précision moyenne (mAP) sont généralement utilisées, bien que les courbes ROC restent pertinentes pour la composante de classification sous-jacente de ces modèles. La compréhension de ces distinctions permet aux développeurs de choisir la bonne métrique pour leurs défis spécifiques en matière de vision par ordinateur (CV). spécifiques de la vision par ordinateur (VA).