Confidence

Un score de confiance est une valeur comprise entre 0 et 1 qu’un modèle associe à une prédiction pour exprimer la probabilité que celle-ci soit correcte. Les classificateurs en associent un à chaque étiquette de classe, et les modèles de détection d’objets en associent un à chaque boîte englobante. Dans ce dernier cas, il répond à une question plus précise : quelle est la probabilité que cette boîte contienne un objet de cette classe ? Les applications utilisent les scores de confiance pour décider quelles prédictions conserver, dans quel ordre les classer et lesquelles transmettre à une personne pour examen.

Comment les modèles produisent un score de confiance#

Le score de confiance provient de la dernière couche du réseau. Un classificateur à étiquette unique transmet ses sorties brutes, appelées logits, au softmax, qui fait en sorte que la somme des scores de classe soit égale à 1, puis renvoie la valeur la plus élevée. Les détecteurs appliquent généralement une sigmoïde à chaque classe indépendamment ; une boîte peut donc obtenir un score élevé pour deux classes apparentées, et les scores ne sont pas nécessairement égaux à 1 au total. Les détecteurs dotés d’une sortie d’objectivité distincte, comme YOLOv5, multipliaient cette valeur par la probabilité de la classe. De nombreux détecteurs sans ancrage, y compris les modèles YOLO récents, suppriment la sortie d’objectivité et utilisent le score de classe le plus élevé comme score de confiance de la boîte.

Seuils de confiance#

Un seuil de confiance transforme les scores en décisions : les prédictions qui le dépassent sont conservées et les autres rejetées. Augmenter le seuil élimine les faux positifs et augmente la précision. L’abaisser permet de retrouver des objets peu visibles, petits ou partiellement masqués et augmente le rappel, au prix de davantage de fausses alertes. Le seuil auquel la courbe du score F1 atteint son maximum équilibre ces deux mesures. Par défaut, YOLO26 conserve les boîtes dont le score dépasse 0,25 au moment de la prédiction, et la validation abaisse le seuil à 0,001 afin que ses courbes précision-rappel couvrent presque tous les points de fonctionnement possibles.

from ultralytics import YOLO

# Load a pretrained YOLO26 nano detector
model = YOLO("yolo26n.pt")
image = "https://ultralytics.com/images/bus.jpg"

# Run the same image at a low and a high confidence threshold
for threshold in (0.1, 0.6):
    results = model(image, conf=threshold)
    scores = results[0].boxes.conf.tolist()
    print(f"conf={threshold}: {len(scores)} boxes, scores {[round(s, 2) for s in scores]}")

L'exécution avec un seuil de 0.1 renvoie toutes les boîtes de l'exécution avec un seuil de 0.6, ainsi que les candidats moins fiables. Augmenter le seuil ne fait donc que supprimer des détections, en commençant par les moins certaines.

Utiliser la confiance dans les applications#

De nombreux systèmes utilisent deux seuils. Les prédictions sous un seuil bas sont éliminées, celles au-dessus d'un seuil élevé déclenchent une action automatique et celles situées entre les deux sont transmises à une personne, à un second modèle ou à un autre capteur. Un outil de dépistage médical peut signaler immédiatement les résultats très fiables et mettre en attente les résultats incertains pour qu'un radiologue les examine. Une boucle d'apprentissage actif transmet les cas incertains aux annotateurs : cette stratégie s'appelle l'échantillonnage par incertitude.

Confiance et calibration#

Un score de 0.9 n'est une probabilité exploitable que si le modèle est calibré, c'est-à-dire que, parmi toutes les prédictions ayant un score de 0.9, environ 90 % sont correctes. Les réseaux profonds modernes ont tendance à être trop confiants : leurs scores dépassent leur taux réel de réussite. La mise à l'échelle de la température corrige en grande partie ce problème en divisant les logits par une constante ajustée sur des données de validation. Les outils de calibration de scikit-learn ajustent des transformations de Platt (sigmoïde) ou isotoniques et tracent des courbes de fiabilité. La calibration est importante chaque fois qu'un score est interprété comme une probabilité, par exemple pour définir un seuil de risque. Les métriques de classement, comme la précision moyenne (mAP), dépendent uniquement de l'ordre des scores.

Confiance et notions connexes#

• Exactitude : taux de prédictions correctes à l'échelle d'un jeu de données. Dans un modèle calibré, la confiance moyenne est égale à l'exactitude.
• Intervalles de confiance statistiques : notion distincte qui porte le même nom. Un niveau de confiance de 95 % décrit la fréquence à laquelle une procédure de construction d'intervalles inclut une valeur réelle sur des échantillons répétés.
• Prédiction conforme : transforme les scores bruts en ensembles de prédictions avec une garantie de couverture. Ainsi, pour une cible de 90 %, l'ensemble contient la vraie étiquette au moins 90 % du temps sur des données échangeables.