Aire sous la courbe (AUC)

L'aire sous la courbe (AUC) est une mesure de performance complète utilisée dans l' apprentissage automatique (ML) pour évaluer le pouvoir discriminant d'un modèle de classification. Plus précisément, elle mesure l'aire bidimensionnelle sous la courbe ROC (Receiver Operating Characteristic), fournissant une valeur scalaire unique comprise entre 0 et 1. Une AUC de 1,0 indique un classificateur parfait, tandis qu'une AUC de 0,5 suggère que le modèle n'est pas plus performant que le hasard. Comme elle agrège les performances pour tous les seuils de classification possibles , l'AUC est particulièrement efficace pour évaluer les capacités de modélisation prédictive dans des scénarios où la frontière de décision optimale est inconnue ou variable.

La relation entre ROC et AUC

Pour bien comprendre l'AUC, il faut comprendre la courbe ROC sous-jacente. Ce graphique représente le taux de vrais positifs (rappel) par rapport au taux de faux positifs pour différents seuils. L' AUC quantifie essentiellement la probabilité que le modèle classe une instance positive choisie au hasard plus haut qu'une instance négative choisie au hasard.

• Séparabilité : l'AUC mesure la capacité du modèle à distinguer les classes (par exemple, « chien » et « chat »). Une séparabilité plus élevée signifie de meilleures prédictions.
• Invariance du seuil : contrairement au score F1, qui dépend d'un seuil spécifique, l'AUC fournit une vue d'ensemble de la qualité du modèle.
• Invariance d'échelle : elle mesure la qualité du classement des prédictions plutôt que leurs valeurs de probabilité absolues.

Applications concrètes

L'AUC est une mesure privilégiée dans les secteurs où la prise de décision est cruciale et où les ensembles de données sont déséquilibrés, c'est-à-dire qu'une classe est beaucoup plus rare que l'autre.

1. Diagnostic médical : dans le domaine de l' IA appliquée à la santé, les modèles sont entraînés à identifier des pathologies à partir de l' analyse d'images médicales. Par exemple, un modèle détectant des tumeurs rares doit privilégier la sensibilité. Une AUC élevée garantit que le système attribue de manière fiable des scores de risque plus élevés aux patients réels par rapport aux individus en bonne santé, réduisant ainsi les dangereux faux négatifs.
2. Détection des fraudes financières : les institutions financières utilisent l'IA dans le domaine financier pour repérer les transactions frauduleuses . Étant donné que les transactions légitimes sont largement plus nombreuses que les transactions frauduleuses, un modèle pourrait atteindre une précision de 99 % en qualifiant simplement toutes les transactions de « légitimes ». L'AUC empêche cela en évaluant la capacité du modèle à distinguer les tentatives de fraude réelles des comportements normaux, quelle que soit la distribution des classes.

Distinguer l'AUC des mesures connexes

Il est essentiel de différencier l'AUC des autres indicateurs d'évaluation des modèles afin de choisir l' outil le mieux adapté à votre projet.

• AUC vs. Précision : La précision est simplement le rapport entre les prédictions correctes et le nombre total de prédictions. Sur des ensembles de données très asymétriques, la précision peut être trompeusement élevée. L'AUC est robuste face au déséquilibre des classes, fournissant une évaluation plus honnête des performances du classificateur.
• AUC vs précision-rappel : alors que la courbe ROC-AUC est la norme pour les résultats équilibrés, l'aire sous la courbe précision-rappel (AUPRC) est souvent préférée lorsque la classe « positive » est extrêmement rare et que les faux positifs constituent une préoccupation majeure.
• AUC vs mAP: dans les tâches de détection d'objets utilisant des modèles tels que YOLO26, la métrique standard est la précision moyenne (mAP). Alors que mAP conceptuellement similaire (calcul de l'aire sous la courbe précision-rappel pour différents seuils d'intersection sur l'union (IoU)), l'AUC se réfère strictement à la courbe ROC dans la classification binaire ou multi-classes.

Exemple de code

L'exemple suivant montre comment charger un modèle de classification YOLO26 pré-entraîné et exécuter une validation. Alors que les modèles YOLO rapportent principalement une précision top-1 et top-5, le processus de validation génère les données de prédiction nécessaires pour analyser les métriques basées sur les courbes.

from ultralytics import YOLO

# Load a pre-trained YOLO26 classification model
model = YOLO("yolo26n-cls.pt")

# Validate the model on a standard dataset (e.g., imagenet10)
# This generates precision, recall, and accuracy metrics
results = model.val(data="imagenet10")

# Access top-1 accuracy, a key point on the ROC curve
print(f"Top-1 Accuracy: {results.top1:.4f}")
print(f"Top-5 Accuracy: {results.top5:.4f}")

Pour une gestion complète du cycle de vie, y compris l'annotation des ensembles de données et la formation dans le cloud où ces mesures sont visualisées automatiquement, les développeurs peuvent utiliser Ultralytics . Cela simplifie le processus d'interprétation de mesures complexes telles que l'AUC sans calcul manuel.