Receiver Operating Characteristic (ROC) Curve

La courbe caractéristique de fonctionnement du récepteur (ROC) est un outil graphique fondamental utilisé pour évaluer les performances des modèles de classification binaire. Dans le domaine de l'apprentissage automatique (ML), elle visualise le compromis entre la sensibilité et la spécificité d'un modèle pour tous les seuils de décision possibles. Contrairement aux métriques à valeur unique comme l'exactitude, qui peuvent être trompeuses si un jeu de données est déséquilibré, la courbe ROC fournit une vue d'ensemble du comportement d'un classifieur lorsque les critères d'identification des instances positives deviennent plus ou moins stricts. Cette visualisation est essentielle pour les ingénieurs qui utilisent des techniques d'apprentissage supervisé afin de déterminer le point de fonctionnement optimal pour leur cas d'usage spécifique.

Interprétation des axes et des compromis#

Pour comprendre une courbe ROC, il est nécessaire d'examiner les deux paramètres représentés l'un par rapport à l'autre : le taux de vrais positifs (TPR) et le taux de faux positifs (FPR).

• Taux de vrais positifs (TPR) : Souvent appelée rappel ou sensibilité, cette métrique, représentée sur l'axe des ordonnées, mesure la proportion des observations réellement positives que le modèle a correctement identifiées. Un TPR élevé signifie que le système manque rarement une cible.
• Taux de faux positifs (FPR) : Représenté sur l'axe des abscisses, il correspond à la proportion d'instances négatives incorrectement catégorisées comme positives, également appelées « fausses alertes ».

La courbe illustre une relation dynamique : lorsque tu abaisses le seuil de confiance pour détecter davantage de cas positifs (ce qui augmente le TPR), tu accrois inévitablement le risque de signaler à tort des cas négatifs (ce qui augmente le FPR). Un classifieur parfait atteindrait le coin supérieur gauche du graphique, ce qui indiquerait une sensibilité de 100 % et 0 % de fausses alertes. Un modèle qui effectue des prédictions aléatoires apparaîtrait sous la forme d'une diagonale allant du coin inférieur gauche au coin supérieur droit. Les performances globales sont souvent résumées par l'aire sous la courbe (AUC), où une valeur de 1,0 représente la perfection.

Applications concrètes#

La décision concernant le seuil à définir sur une courbe ROC dépend entièrement du coût des erreurs dans une application industrielle donnée.

1. Diagnostic médical : Dans le domaine de l'IA dans la santé, notamment pour des tâches comme la détection de tumeurs en analyse d'images médicales, le coût d'une omission d'un cas positif (un faux négatif) peut mettre la vie en danger. Les praticiens choisissent donc souvent un seuil qui maximise le TPR, même si cela entraîne un FPR plus élevé, ce qui signifie que davantage de patients en bonne santé pourraient être initialement orientés vers des examens complémentaires.

2. Détection des fraudes financières : Lorsque l'IA dans la finance est utilisée pour surveiller les transactions par carte bancaire, les banques doivent trouver un équilibre entre sécurité et expérience client. Si le système est trop sensible (TPR élevé), il peut bloquer des cartes légitimes (FPR élevé), ce qui frustre les utilisateurs. Les analystes utilisent la courbe ROC pour trouver un seuil équilibré qui détecte la plupart des fraudes tout en maintenant les faux positifs à un niveau minimal acceptable.

Génération de probabilités pour l'analyse ROC#

Pour tracer une courbe ROC, tu as besoin des probabilités brutes des prédictions plutôt que des seules étiquettes de classe finales. L'exemple suivant utilise le modèle YOLO26, à la pointe de la technologie, pour générer des scores de classification.

from ultralytics import YOLO

# Load a pretrained YOLO26 classification model
model = YOLO("yolo26n-cls.pt")

# Run inference to get probability distribution
results = model("bus.jpg")

# Access the probability score for the predicted class
# These continuous scores are required to calculate TPR/FPR at different thresholds
print(f"Top Class Index: {results[0].probs.top1}")
print(f"Confidence Score: {results[0].probs.top1conf:.4f}")

Une fois ces probabilités collectées pour un jeu de validation, les développeurs peuvent utiliser des bibliothèques comme Scikit-learn pour calculer les points de la courbe. Pour gérer les jeux de données et suivre ces métriques au fil du temps, l'Ultralytics Platform propose des outils intégrés pour l'évaluation et le déploiement des modèles.

ROC et concepts associés#

Il est important de distinguer la courbe ROC des autres outils d'évaluation :

• Par rapport à la courbe précision-rappel (PR) : Alors que la ROC représente le TPR en fonction du FPR, la courbe précision-rappel représente la précision en fonction du rappel. La courbe PR est généralement privilégiée lorsque le jeu de données est fortement déséquilibré (par exemple, pour détecter des anomalies rares), car la courbe ROC peut parfois donner une vision trop optimiste dans ce type de situation.
• Par rapport à la matrice de confusion : Une matrice de confusion fournit un instantané des performances pour un seul seuil spécifique. En revanche, la courbe ROC visualise les performances pour tous les seuils possibles, ce qui en fait un outil plus global pour l'analyse de la modélisation prédictive avant l'établissement d'une règle de décision finale.