Area Under the Curve (AUC)

L’aire sous la courbe (AUC) est une métrique complète de performance utilisée en apprentissage automatique (ML) pour évaluer le pouvoir discriminant d’un modèle de classification. Plus précisément, elle mesure l’aire bidimensionnelle située sous la courbe caractéristique de fonctionnement du récepteur (ROC), fournissant une valeur scalaire unique comprise entre 0 et 1. Une AUC de 1,0 indique un classificateur parfait, tandis qu’une AUC de 0,5 suggère que le modèle ne fait pas mieux que le hasard. Comme elle agrège les performances pour tous les seuils de classification possibles, l’AUC est particulièrement efficace pour évaluer les capacités de modélisation prédictive lorsque la frontière de décision optimale est inconnue ou variable.

La relation entre ROC et AUC#

Pour bien comprendre l’AUC, tu dois comprendre la courbe ROC sous-jacente. Ce graphique représente le taux de vrais positifs (Recall) en fonction du taux de faux positifs pour différents seuils. L’AUC quantifie essentiellement la probabilité que le modèle classe une instance positive choisie aléatoirement plus haut qu’une instance négative choisie aléatoirement.

• Séparabilité : l’AUC mesure la capacité du modèle à distinguer les classes (par exemple, « chien » et « chat »). Une meilleure séparabilité signifie de meilleures prédictions.
• Invariance au seuil : contrairement au score F1, qui dépend d’un seuil spécifique, l’AUC fournit une vue d’ensemble de la qualité du modèle.
• Invariance d’échelle : elle mesure la qualité du classement des prédictions plutôt que leurs valeurs de probabilité absolues.

Applications concrètes#

L’AUC est une métrique privilégiée dans les secteurs qui prennent des décisions critiques et traitent des ensembles de données déséquilibrés, où une classe est nettement plus rare que l’autre.

1. Diagnostic médical : dans le domaine de l’IA dans la santé, les modèles sont entraînés à identifier des pathologies à partir de l’analyse d’images médicales. Par exemple, un modèle qui détecte des tumeurs rares doit privilégier la sensibilité. Une AUC élevée garantit que le système attribue de manière fiable des scores de risque plus élevés aux patients réellement malades qu’aux personnes en bonne santé, réduisant ainsi les faux négatifs dangereux.

2. Détection des fraudes financières : les institutions financières utilisent l’IA dans la finance pour repérer les transactions frauduleuses. Comme les transactions légitimes sont largement plus nombreuses que les transactions frauduleuses, un modèle pourrait atteindre une précision de 99 % en classant simplement tout comme « légitime ». L’AUC évite ce biais en évaluant la capacité du modèle à distinguer les tentatives de fraude réelles des comportements normaux, quelle que soit la répartition des classes.

Distinguer l’AUC des métriques associées#

Il est essentiel de distinguer l’AUC des autres informations issues de l’évaluation des modèles afin de choisir l’outil adapté à ton projet.

• AUC et précision : la précision est simplement le rapport entre le nombre de prédictions correctes et le nombre total de prédictions. Sur des ensembles de données fortement déséquilibrés, la précision peut être trompeusement élevée. L’AUC résiste au déséquilibre des classes et fournit une évaluation plus honnête des performances du classificateur.
• AUC et précision-rappel : tandis que la ROC-AUC est la référence pour les résultats équilibrés, l’aire sous la courbe précision-rappel (AUPRC) est souvent privilégiée lorsque la classe « positive » est extrêmement rare et que les faux positifs constituent une préoccupation majeure.
• AUC et mAP : dans les tâches de détection d’objets utilisant des modèles tels que YOLO26, la métrique standard est la précision moyenne (mAP). Bien que la mAP soit conceptuellement similaire — elle calcule l’aire sous la courbe précision-rappel pour différents seuils d’intersection sur l’union (IoU) —, l’AUC désigne strictement la courbe ROC dans le cadre de la classification binaire ou multiclasse.

Exemple de code#

L’exemple suivant montre comment charger un modèle de classification YOLO26 préentraîné et exécuter sa validation. Bien que les modèles YOLO rapportent principalement la précision top-1 et top-5, le processus de validation génère les données de prédiction nécessaires à l’analyse des métriques fondées sur les courbes.

from ultralytics import YOLO

# Load a pre-trained YOLO26 classification model
model = YOLO("yolo26n-cls.pt")

# Validate the model on a standard dataset (e.g., imagenet10)
# This generates precision, recall, and accuracy metrics
results = model.val(data="imagenet10")

# Access top-1 accuracy, a key point on the ROC curve
print(f"Top-1 Accuracy: {results.top1:.4f}")
print(f"Top-5 Accuracy: {results.top5:.4f}")

Pour une gestion complète du cycle de vie, notamment l’annotation des ensembles de données et l’entraînement dans le cloud, où ces métriques sont visualisées automatiquement, les développeurs peuvent utiliser l’Ultralytics Platform. Cela simplifie l’interprétation de métriques complexes comme l’AUC sans calcul manuel.