Precision-Recall Curve

Une courbe précision-rappel est un graphique qui montre comment la précision et le rappel d’un modèle évoluent lorsque son seuil de décision varie. Le rappel figure sur l’axe horizontal et la précision sur l’axe vertical. Chaque point de fonctionnement mesuré correspond à un seuil : il indique combien de cas positifs le modèle détecte et dans quelle mesure ses prédictions positives sont fiables. La courbe aide à évaluer les classificateurs et les détecteurs lorsque les fausses alertes et les cas manqués ont des coûts différents.

Fonctionnement d’une courbe précision-rappel#

La précision est la proportion de prédictions positives qui sont correctes : TP / (TP + FP). Le rappel, également appelé sensibilité, est la proportion de positifs réels détectés : TP / (TP + FN). TP désigne les vrais positifs, FP les faux positifs et FN les faux négatifs — les résultats comptabilisés dans une matrice de confusion.

Faire varier le seuil de confiance parmi les scores de prédiction produit des paires précision-rappel. Abaisser le seuil permet davantage de prédictions, de sorte que le rappel augmente ou reste inchangé. La précision peut évoluer dans un sens ou dans l’autre à mesure que des prédictions correctes et incorrectes sont ajoutées à l’ensemble, ce qui produit une courbe en escalier.

Cyril Cleverdon a introduit les graphiques rappel-pertinence dans son rapport de Cranfield de 1962, établissant ainsi les origines de l’évaluation précision-rappel dans la recherche d’information. Dans la recherche de documents, les documents pertinents retrouvés sont des vrais positifs ; les documents non pertinents retrouvés sont des faux positifs.

Interpréter la courbe et sa ligne de base#

Une courbe qui maintient une précision élevée à mesure que le rappel approche de 1 indique de bonnes performances. Lorsque les courbes se croisent, chaque modèle est meilleur dans une région de fonctionnement différente. Une forte baisse de précision indique où les prédictions supplémentaires entraînent de nombreuses fausses alertes.

La ligne de base d’un classement aléatoire non informatif correspond à la prévalence de la classe positive, c’est-à-dire à la proportion d’exemples étiquetés comme positifs. Avec 1 % de positifs, la précision de référence est de 0.01. La prévalence modifie la précision : la population d’évaluation fait donc partie du résultat.

Une courbe caractéristique de fonctionnement du récepteur (ROC) représente plutôt le rappel en fonction du taux de faux positifs, FP / (FP + TN), où TN désigne les vrais négatifs. L’évaluation précision-rappel exprime directement la proportion d’alertes correctes, ce qui la rend utile lorsque les positifs sont rares. L’exactitude peut être dominée par la classe majoritaire.

Choisir un seuil de fonctionnement#

Choisis un point de fonctionnement sur les données de validation en fonction des coûts des erreurs. Pour un rappel minimal requis, choisis le point réalisable avec la précision la plus élevée ; pour une précision minimale, choisis le point réalisable avec le rappel le plus élevé. Maximiser le score F1, la moyenne harmonique de la précision et du rappel, accorde le même poids aux deux métriques. Les valeurs de seuil proviennent des scores sous-jacents ou des graphiques précision-confiance et rappel-confiance.

La prédiction d’Ultralytics YOLO permet de choisir ce seuil à l’aide de conf, qui filtre les détections selon leur score. Lors d’une évaluation de l’Academy de YOLO26n sur quatre images de validation COCO8 avec un IoU de 0.50, faire passer conf de 0.10 à 0.25 a fait passer la précision et le rappel interpolés pour la classe des personnes de 0.63/0.80 à 1.00/0.54 : la diminution des fausses alertes s’est accompagnée d’une augmentation du nombre de personnes manquées.

Garde le seuil sélectionné fixe lors de l’évaluation sur des données de test distinctes.

Tracer une courbe précision-rappel en Python#

Cet exemple distingue le chiffre manuscrit 9 des autres chiffres à l’aide d’images fournies et d’une régression logistique. Installe les dépendances avec pip install scikit-learn matplotlib, puis utilise l’API de scikit-learn pour tracer la courbe précision-rappel.

import matplotlib.pyplot as plt
from sklearn.datasets import load_digits
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import PrecisionRecallDisplay
from sklearn.model_selection import train_test_split

X, digits = load_digits(return_X_y=True)
y = digits == 9
X_train, X_test, y_train, y_test = train_test_split(X, y, stratify=y, random_state=42)
model = LogisticRegression(max_iter=2000)
model.fit(X_train, y_train)
PrecisionRecallDisplay.from_estimator(model, X_test, y_test)
plt.savefig("precision_recall_curve.png", bbox_inches="tight")

Le graphique enregistré montre la précision à chaque niveau de rappel atteignable pour les images de chiffres mises de côté pour l’évaluation.

Détection d’objets et précision moyenne#

En détection d’objets, une boîte englobante prédite compte comme un vrai positif lorsqu’elle correspond à un objet annoté non encore associé, de la même classe, avec un seuil d’intersection sur union (IoU) atteint ou dépassé. Les prédictions non associées, y compris les doublons, comptent comme des faux positifs. Chaque classe dispose de sa propre courbe, avec une exigence d’IoU fixe.

La précision moyenne (AP) résume la courbe sur différents niveaux de rappel. L’aire sous la courbe précision-rappel calculée par la méthode des trapèzes et l’AP non interpolée reposent sur des règles d’intégration différentes. La moyenne des précisions moyennes (mAP) correspond à la moyenne des valeurs AP des classes. Parmi les métriques de performance de détection, mAP₅₀ utilise un IoU de 0.50, tandis que mAP50–95 calcule la moyenne sur dix seuils d’IoU allant de 0.50 à 0.95 par incréments de 0.05.