Licence YOLO
Retour au glossaire Ultralytics

Confidence Interval

Un intervalle de confiance quantifie l’incertitude d’échantillonnage des métriques d’un modèle, comme la précision et mAP. Un intervalle de 95 % décrit la couverture à long terme.

Un intervalle de confiance (CI) est une plage calculée à partir d’un échantillon au moyen d’une méthode conçue pour contenir une quantité inconnue de la population à un taux déterminé. En apprentissage automatique, un score de test estime les performances d’un modèle fixe sur les types d’entrées représentés par l’ensemble de test. L’intervalle indique avec quelle précision ces performances sont estimées à partir d’un échantillon de taille finie.

Que signifie un intervalle de confiance à 95 % ?#

Si tu tirais à plusieurs reprises des échantillons comparables de données de test et calculais un intervalle de la même façon à chaque fois, une procédure ayant une couverture de 95 % contiendrait la vraie valeur de la métrique dans environ 95 intervalles sur 100 à long terme. La métrique est fixe ; les bornes de l’intervalle varient d’un échantillon à l’autre. Jerzy Neyman a présenté ce cadre fréquentiste dans son article de 1934 sur l’échantillonnage.

Un niveau de confiance plus élevé produit généralement un intervalle plus large à partir des mêmes données. Un plus grand nombre d’observations indépendantes rend généralement l’intervalle plus étroit à niveau de confiance constant. La largeur mesure la précision de l’échantillonnage : un intervalle peut être étroit même si un biais du jeu de données rend l’échantillon de test non représentatif des conditions de déploiement.

Comment calculer un intervalle de confiance#

Pour une moyenne d’échantillon, une formule courante est estimation ± marge d’erreur, où la marge d’erreur correspond à la valeur critique multipliée par l’erreur standard. L’erreur standard mesure la variation de l’estimation d’un échantillon à l’autre. Pour des observations indépendantes issues d’une même population, l’erreur standard estimée de la moyenne est l’écart type de l’échantillon divisé par la racine carrée de la taille de l’échantillon. Un intervalle normal bilatéral à 95 % utilise une valeur critique de 1,96 et laisse 2,5 % dans chaque queue. Un intervalle t à un échantillon utilise une valeur critique de la loi t de Student avec un nombre de degrés de liberté égal à la taille de l’échantillon moins un. Sa couverture est exacte pour des observations indépendantes issues d’une même population normale.

La méthode dépend de la métrique et de la façon dont les données de test ont été échantillonnées :

  • Exactitude de classification : Pour des images indépendantes et une probabilité commune de classification correcte, un intervalle de score de Wilson utilise le nombre de prédictions correctes et la taille de l’ensemble de test pour estimer cette probabilité. Les deux bornes restent entre 0 % et 100 %.
  • Précision moyenne (mAP) : Utilise le bootstrap sur la métrique complète en rééchantillonnant avec remise les unités de test et en recalculant la mAP à chaque tirage. Un intervalle à 95 % par centiles utilise les 2,5e et 97,5e centiles de ces scores. Dans un bootstrap au niveau de l’image, chaque image est associée à ses prédictions et annotations.

Exemple détaillé : exactitude de la reconnaissance de chiffres manuscrits#

L’exemple de classification de chiffres de scikit-learn entraîne une machine à vecteurs de support sur la première moitié des images de chiffres fournies avec le jeu de données et l’évalue sur la seconde moitié. Le code utilise la même séparation et calcule un intervalle de Wilson avec l’API de proportions binomiales de SciPy.

from scipy.stats import binomtest
from sklearn.datasets import load_digits
from sklearn.svm import SVC

X, y = load_digits(return_X_y=True)
split = len(y) // 2
model = SVC(gamma=0.001)
model.fit(X[:split], y[:split])
predictions = model.predict(X[split:])

correct = int((predictions == y[split:]).sum())
accuracy = binomtest(correct, len(y[split:]))
interval = accuracy.proportion_ci(confidence_level=0.95, method="wilson")
print(f"Accuracy: {accuracy.statistic:.1%} (95% CI: {interval.low:.1%}–{interval.high:.1%})")

Le classifieur reconnaît correctement 871 images sur 899 : 96,9 % d’exactitude, avec un intervalle de Wilson à 95 % de 95,5 % à 97,8 %, selon le modèle d’images indépendantes. Les images fournies proviennent du jeu de test UCI de chiffres manuscrits, constitué à partir de 13 auteurs. Les images d’un même auteur peuvent partager des caractéristiques d’écriture ; pour estimer l’exactitude sur de nouveaux auteurs, il faut tenir compte de ces groupes.

Intervalles de confiance, scores et prédictions#

Un score de confiance est une sortie du modèle pour une prédiction donnée. En mode de prédiction Ultralytics YOLO, conf définit le score minimal qu’une détection doit atteindre pour être conservée. Un intervalle de confiance pour le rappel à ce seuil quantifie l’incertitude de l’estimation du rappel à partir de l’échantillon de test.

Un intervalle de prédiction concerne une observation future. Par exemple, la prédiction conforme a été utilisée pour construire des intervalles de prédiction par pixel sur KITTI pour estimer la profondeur dans de nouvelles images.

Comparer des modèles de vision par ordinateur#

Un intervalle associé à un modèle fixe mesure l’incertitude d’échantillonnage de l’ensemble de test. La comparaison de pipelines d’entraînement tient également compte de facteurs de variation tels que l’initialisation aléatoire et le réglage des hyperparamètres, qui peuvent être mesurés en répétant les entraînements.

Lorsque deux détecteurs d’objets sont évalués sur le même ensemble de test, un bootstrap apparié tire les mêmes unités pour les deux modèles et calcule la différence de mAP à chaque tirage. Pour des images fixes échantillonnées indépendamment, les tirages peuvent se faire une image à la fois. Lorsque des vidéos échantillonnées indépendamment contiennent des images corrélées, tirer des vidéos entières préserve la dépendance entre les images. Considérer des images voisines comme indépendantes peut rendre l’intervalle trop étroit. Comme l’appariement préserve le lien entre les résultats obtenus sur les mêmes entrées, l’intervalle de la différence de mAP peut exclure zéro même lorsque les deux intervalles de confiance individuels se chevauchent.

Découvre les solutions

La vision par ordinateur dans le sport

La vision par ordinateur dans le sport

Découvre comment Ultralytics YOLO propulse la vision par ordinateur dans le sport grâce au suivi des joueurs et du ballon, aux analyses de performance, aux conseils d’entraînement et à la rééducation des athlètes.
En savoir plus
Vision par ordinateur pour les images aériennes

Vision par ordinateur pour les images aériennes

Transforme les images de drones et les images aériennes en informations exploitables en temps réel pour l’agriculture, l’aquaculture, la conservation et l’analyse géospatiale avec Ultralytics YOLO.
En savoir plus
Vision par ordinateur dans l’aérospatiale

Vision par ordinateur dans l’aérospatiale

Applique la vision par ordinateur dans l’aérospatiale avec Ultralytics YOLO pour l’inspection des aéronefs, la détection des corps étrangers sur les pistes, les opérations au sol des aéroports et la détection des défauts des matériaux composites.
En savoir plus
La vision par ordinateur dans la sécurité

La vision par ordinateur dans la sécurité

Protège chaque site avec les modèles Ultralytics YOLO. L’IA visuelle permet la surveillance des périmètres, la détection des menaces, la reconnaissance des plaques d’immatriculation et la sécurité au travail.
En savoir plus
La vision par ordinateur en robotique

La vision par ordinateur en robotique

Donne plus de capacités à tes machines grâce aux modèles Ultralytics YOLO. Dans la robotique, l’IA visuelle permet la navigation autonome, la perception, le suivi des objets et le contrôle en temps réel.
En savoir plus
La vision par ordinateur dans la logistique

La vision par ordinateur dans la logistique

Optimise la logistique avec les modèles Ultralytics YOLO. La vision par IA permet d’inspecter les colis, de les trier, de suivre les véhicules et de surveiller la sécurité des entrepôts en temps réel.
En savoir plus
La vision par ordinateur dans le commerce de détail

La vision par ordinateur dans le commerce de détail

Réinvente le commerce de détail avec les modèles Ultralytics YOLO. La vision par IA permet de suivre les stocks, de surveiller les rayons, de gérer les files d’attente et de mieux comprendre les clients.
En savoir plus
La vision par ordinateur dans le secteur de la santé

La vision par ordinateur dans le secteur de la santé

Crée des solutions de santé avec les modèles Ultralytics YOLO. La vision par IA dans le secteur de la santé accélère l’imagerie médicale, améliore les diagnostics et facilite la surveillance des patients.
En savoir plus
La vision par ordinateur dans l’industrie manufacturière

La vision par ordinateur dans l’industrie manufacturière

Optimise la fabrication avec les modèles Ultralytics YOLO. La vision par IA améliore le contrôle qualité, la détection des défauts, le respect des règles concernant les EPI et l’automatisation des chaînes de montage.
En savoir plus
La vision par ordinateur dans l’automobile

La vision par ordinateur dans l’automobile

Mets la vision par ordinateur au service de l’automobile avec les modèles Ultralytics YOLO. La vision par IA renforce la sécurité routière, l’aide à la conduite et l’automatisation des véhicules pour des routes plus intelligentes.
En savoir plus
Vision par ordinateur dans l’agriculture

Vision par ordinateur dans l’agriculture

Fais entrer l’IA de vision dans l’agriculture intelligente avec les modèles Ultralytics YOLO. Optimise le suivi des cultures et du bétail ainsi que l’agriculture de précision pour obtenir des rendements plus élevés et plus intelligents.
En savoir plus

Construisons ensemble l’avenir de l’IA !

Commence ton parcours vers l’avenir de l’apprentissage automatique