Surface sous la courbe (SSC)

L'aire sous la courbe (AUC) est une mesure de performance fondamentale principalement utilisée dans l'apprentissage automatique (ML) pour évaluer les modèles de classification binaire. Elle quantifie la capacité d'un modèle à distinguer les classes positives et négatives pour tous les seuils de classification possibles. Les scores AUC sont compris entre 0 et 1, les valeurs les plus élevées indiquant une meilleure performance du modèle. Un modèle qui obtient un score de 0,5 n'est pas plus performant que le hasard, tandis qu'un modèle parfait qui sépare parfaitement les classes obtient un AUC de 1,0. Cette métrique fournit une mesure unique et globale de la performance de la classification, indépendante de tout choix de seuil spécifique.

Comprendre la courbe ROC

La valeur de la SSC est directement dérivée de la courbe ROC (Receiver Operating Characteristic). La courbe ROC est un graphique qui illustre la capacité de diagnostic d'un classificateur binaire lorsque son seuil de discrimination varie. Elle représente le taux de vrais positifs (TPR), également appelé sensibilité ou rappel, sur l'axe des ordonnées par rapport au taux de faux positifs (FPR) sur l'axe des abscisses pour différents seuils. La SSC représente l'ensemble de la zone bidimensionnelle située sous cette courbe ROC. Un aperçu complet des courbes ROC est disponible sur Wikipedia.

Interprétation de la SSC

L'AUC est interprétée comme la probabilité qu'un modèle classe une instance positive choisie au hasard plus haut qu'une instance négative choisie au hasard. Il s'agit donc d'une mesure du pouvoir discriminant global du modèle. L'un des principaux avantages de l'AUC est sa relative insensibilité au déséquilibre des classes par rapport à des mesures telles que la précision. Dans les ensembles de données où une classe est largement supérieure à l'autre (un scénario courant dans les problèmes du monde réel), la précision peut être trompeuse, alors que la SSC fournit une mesure plus robuste de la manière dont le modèle sépare les classes. Une SSC proche de 1 indique que le modèle présente une excellente séparabilité, tandis qu'une SSC proche de 0,5 suggère une faible capacité de discrimination, similaire à celle d'une supposition aléatoire. Il est essentiel de comprendre ces interprétations pour évaluer efficacement les modèles.

Applications en IA et ML

L'AUC est largement utilisé dans divers domaines où les tâches de classification binaire sont essentielles. En voici deux exemples :

1. Diagnostic médical : dans l'analyse d'images médicales, les modèles sont souvent formés pour détecter la présence ou l'absence de maladies (par exemple, tumeurs, rétinopathie diabétique). La SSC est utilisée pour évaluer la capacité de ces modèles d'IA à distinguer les patients sains des patients malades sur la base d'images, en fonction de différents seuils de diagnostic. L'importance de la SSC dans la recherche médicale est bien documentée.
2. Détection des fraudes : Les institutions financières utilisent des modèles ML pour identifier les transactions frauduleuses. Il s'agit d'un problème classique de classification binaire (frauduleux vs. non frauduleux). L'AUC permet d'évaluer l'efficacité globale du modèle à signaler les activités potentiellement frauduleuses tout en minimisant les fausses alertes, ce qui est vital pour l'IA dans la finance.

De nombreux cadres et bibliothèques d'apprentissage profond (DL), notamment PyTorch et TensorFlow, sont utilisés pour construire ces classificateurs. Des outils comme Scikit-learn offrent des fonctions pratiques pour calculer les scores ROC AUC, ce qui simplifie le processus d'évaluation. Des plateformes comme Ultralytics HUB facilitent également la formation et l'évaluation des modèles lorsque ces mesures sont pertinentes.

AUC par rapport à d'autres paramètres

Bien que la SSC soit une mesure précieuse, il est important de comprendre en quoi elle diffère des autres mesures d'évaluation utilisées dans le domaine de la vision artificielle (CV) et de la ML :

• AUC vs. précision : La précision mesure l'exactitude globale des prédictions, mais peut être trompeuse sur des ensembles de données déséquilibrés. La SSC fournit une mesure de séparabilité indépendante des seuils, ce qui la rend plus fiable dans de tels cas.
• SSC vs. Précision-Recall : Pour les ensembles de données déséquilibrés où la classe positive est rare et d'un intérêt primordial (par exemple, la détection de maladies rares), la courbe Précision-Recall et sa surface correspondante (AUC-PR) peuvent être plus informatives que l'AUC ROC. Les mesures telles que la précision et le rappel se concentrent spécifiquement sur les performances concernant la classe positive. Le score F1 équilibre également la précision et le rappel.
• AUC vs. mAP/IoU : L'AUC est principalement utilisé pour les tâches de classification binaire. Pour les tâches de détection d'objets communes à des modèles comme Ultralytics YOLO, des mesures telles que la précision moyenne (mAP) et l'intersection sur l'union (IoU) sont la norme. Ces mesures évaluent à la fois la précision de la classification et la précision de la localisation des objets détectés à l'aide de boîtes englobantes. Pour en savoir plus sur les mesures de performance de YOLO, cliquez ici. La comparaison de différents modèles implique souvent l'analyse de ces mesures spécifiques, comme le montrent les comparaisons de modèles d'Ultralytics.

Le choix de la bonne métrique dépend du problème spécifique, des caractéristiques de l'ensemble de données (comme l'équilibre des classes) et des objectifs du projet d'IA. L'AUC reste la pierre angulaire de l'évaluation des performances de la classification binaire en raison de sa robustesse et de sa facilité d'interprétation.