Aire sous la courbe (AUC)

L'aire sous la courbe (AUC) est une mesure fondamentale utilisée pour quantifier la performance des modèles de classification, particulièrement dans le domaine de l'apprentissage l 'apprentissage machine (ML). Elle mesure la capacité Elle mesure la capacité d'un modèle à faire la distinction entre les classes, par exemple en séparant les instances positives des instances négatives. Contrairement aux mesures qui s'appuient sur un seul seuil de décision, la SSC fournit une vue d'ensemble des performances à travers tous les seuils possibles. possibles. Il s'agit donc d'un outil essentiel pour l'évaluation des algorithmes d'apprentissage supervisé. algorithmes d'apprentissage supervisé, en s'assurant que que les capacités prédictives du modèle sont robustes et ne sont pas biaisées par un seuil spécifique. Une valeur AUC plus élevée indique généralement un modèle plus performant. indique généralement un modèle plus performant, un score de 1,0 représentant une classification parfaite.

La relation entre la SSC et la ROC

Le terme AUC fait spécifiquement référence à l'aire sous la courbe ROC (Receiver Operating Characteristic). courbe ROC (Receiver Operating Characteristic). La courbe ROC est un graphique qui illustre la capacité de diagnostic d'un système de classification binaire. Elle représente le taux de vrais positifs (TPR), également connu sous le nom de rappel, en fonction du taux de faux positifs (FPR ). le taux de faux positifs (FPR) à différents seuils.

• Taux de vrais positifs : La proportion de cas positifs réels effectivement identifiés par le modèle.
• Taux de faux positifs : La proportion de cas négatifs réels qui sont incorrectement identifiés comme positifs. positifs.

En calculant l'AUC, les data scientists condensent les informations contenues dans la courbe ROC en un seul chiffre. Cela simplifie l'évaluation du modèle et permet d'améliorer la qualité des données. simplifie l'évaluation des modèles, ce qui permet une comparaison plus facile entre différentes architectures, comme la comparaison d'un réseau ResNet-50 par rapport à une alternative plus légère.

Interprétation du score

Le score AUC varie de 0 à 1, fournissant une interprétation probabiliste de la qualité du classement du modèle.

• AUC = 1,0 : Un classificateur parfait. Il peut distinguer correctement les classes positives et négatives dans 100 % des cas. du temps.
• 0.5 < AUC < 1.0: The model has a better-than-random chance of classifying instances correctly. This is the target range for most predictive modeling tasks.
• SSC = 0,5 : le modèle n'a aucune capacité de discrimination, ce qui équivaut à une supposition aléatoire (comme tirer à pile ou face). pièce de monnaie).
• AUC < 0.5: This suggests the model is performing worse than random chance, often indicating that the predictions are inverted or there is a significant issue with the training data.

Pour approfondir les mécanismes de classification, des ressources telles que la formation accélérée sur l'apprentissage automatique de Google (Google Machine Learning Crash Course) sont disponibles. Google Machine Learning Crash Course offrent d'excellentes explications visuelles.

Applications concrètes

L'AUC est particulièrement utile dans les scénarios où les conséquences des faux positifs et des faux négatifs varient considérablement. significatives.

1. Diagnostic médical : En l 'IA dans les soins de santé, les modèles sont souvent formés pour detect anomalies telles que des tumeurs sur des radiographies ou des IRM. Un score AUC élevé garantit que le modèle classe de manière fiable les cas les cas malins plus haut que les cas bénins. Cette fiabilité est essentielle pour les systèmes d'aide à la décision clinique utilisés par les radiologues. Par exemple, voir comment YOLO11 aide à la détection des tumeurs souligne l'importance de mesures d'évaluation robustes dans les applications vitales.
2. Détection des fraudes financières : Les institutions financières utilisent la vision par ordinateur (VA) et la reconnaissance des formes pour repérer les transactions frauduleuses. Les transactions légitimes étant largement plus nombreuses que les transactions frauduleuses, les données sont fortement déséquilibrées. déséquilibrées. La CUA est préférée ici car elle évalue le classement des probabilités de fraude sans être faussée par le grand nombre de négatifs légitimes, contrairement à la CUA brute. par le grand nombre de négatifs légitimes, contrairement à la précision brute. brute. Cela permet de construire des systèmes qui minimisent les frictions avec les clients tout en maintenant la sécurité, une composante essentielle de l'IA dans la finance. L 'IA dans la finance.

AUC par rapport à d'autres paramètres

Comprendre quand utiliser la CUA par rapport à d'autres mesures est la clé d'une succès du déploiement du modèle.

• AUC vs. précision : La précision mesure le pourcentage de prédictions correctes. Cependant, sur des ensembles de données déséquilibrés (par exemple, une classe négative à 99 %), un modèle peut atteindre une précision de 99 % en prédisant "négatif" pour tout, bien que son pouvoir prédictif soit nul. 99 % de précision en prédisant "négatif" pour tout, bien que son pouvoir prédictif soit nul. L'AUC est est invariant au déséquilibre des classes, ce qui en fait une mesure plus honnête pour ces problèmes.
• AUC vs. Précision-Recall : Alors que le ROC AUC prend en compte à la fois le TPR et le FPR, Précision et Rappel se concentrent spécifiquement sur la classe positive. Dans les cas Dans les cas où les faux positifs sont acceptables mais pas les faux négatifs (par exemple, le dépistage initial d'une maladie), l'analyse du compromis précision-rappel peut être utile. compromis Précision-Recall peut être plus informative que la SSC ROC.
• AUC vs. mAP Pour les tâches de les tâches de détection d'objets effectuées par des modèles tels que YOLO11la mesure standard est précision moyenne (mAP). mAP calcule essentiellement l'aire sous la courbe de précision-rappel pour les boîtes englobantes à des seuils spécifiques d'intersection sur l'union (IoU), alors que l'AUC est généralement utilisée pour la confiance de classification des objets. UnionIoU), alors que l'AUC est généralement utilisée pour la confiance de la classification des objets.

Calcul des probabilités de classe

Pour calculer l'AUC, vous avez besoin des scores de probabilité de la classe positive plutôt que des étiquettes de la classe finale. L'exemple exemple suivant montre comment obtenir ces probabilités à l'aide d'un classification des images du modèle de l ultralytics bibliothèque.

from ultralytics import YOLO

# Load a pre-trained YOLO11 classification model
model = YOLO("yolo11n-cls.pt")

# Run inference on an image
results = model("path/to/image.jpg")

# Access the probability scores for all classes
# These scores are the inputs needed to calculate AUC against ground truth
probs = results[0].probs.data
print(f"Class Probabilities: {probs}")

Une fois que vous disposez des probabilités pour un ensemble de données, vous pouvez utiliser des bibliothèques standard telles que Scikit-learn pour calculer le score final de la SSC.