Confidence Interval
Un intervalle de confiance quantifie l’incertitude d’échantillonnage des métriques d’un modèle, comme la précision et mAP. Un intervalle de 95 % décrit la couverture à long terme.
Un intervalle de confiance (CI) est une plage calculée à partir d’un échantillon au moyen d’une méthode conçue pour contenir une quantité inconnue de la population à un taux déterminé. En apprentissage automatique, un score de test estime les performances d’un modèle fixe sur les types d’entrées représentés par l’ensemble de test. L’intervalle indique avec quelle précision ces performances sont estimées à partir d’un échantillon de taille finie.
Que signifie un intervalle de confiance à 95 % ?#
Si tu tirais à plusieurs reprises des échantillons comparables de données de test et calculais un intervalle de la même façon à chaque fois, une procédure ayant une couverture de 95 % contiendrait la vraie valeur de la métrique dans environ 95 intervalles sur 100 à long terme. La métrique est fixe ; les bornes de l’intervalle varient d’un échantillon à l’autre. Jerzy Neyman a présenté ce cadre fréquentiste dans son article de 1934 sur l’échantillonnage.
Un niveau de confiance plus élevé produit généralement un intervalle plus large à partir des mêmes données. Un plus grand nombre d’observations indépendantes rend généralement l’intervalle plus étroit à niveau de confiance constant. La largeur mesure la précision de l’échantillonnage : un intervalle peut être étroit même si un biais du jeu de données rend l’échantillon de test non représentatif des conditions de déploiement.
Comment calculer un intervalle de confiance#
Pour une moyenne d’échantillon, une formule courante est estimation ± marge d’erreur, où la marge d’erreur correspond à la valeur critique multipliée par l’erreur standard. L’erreur standard mesure la variation de l’estimation d’un échantillon à l’autre. Pour des observations indépendantes issues d’une même population, l’erreur standard estimée de la moyenne est l’écart type de l’échantillon divisé par la racine carrée de la taille de l’échantillon. Un intervalle normal bilatéral à 95 % utilise une valeur critique de 1,96 et laisse 2,5 % dans chaque queue. Un intervalle t à un échantillon utilise une valeur critique de la loi t de Student avec un nombre de degrés de liberté égal à la taille de l’échantillon moins un. Sa couverture est exacte pour des observations indépendantes issues d’une même population normale.
La méthode dépend de la métrique et de la façon dont les données de test ont été échantillonnées :
- Exactitude de classification : Pour des images indépendantes et une probabilité commune de classification correcte, un intervalle de score de Wilson utilise le nombre de prédictions correctes et la taille de l’ensemble de test pour estimer cette probabilité. Les deux bornes restent entre 0 % et 100 %.
- Précision moyenne (mAP) : Utilise le bootstrap sur la métrique complète en rééchantillonnant avec remise les unités de test et en recalculant la mAP à chaque tirage. Un intervalle à 95 % par centiles utilise les 2,5e et 97,5e centiles de ces scores. Dans un bootstrap au niveau de l’image, chaque image est associée à ses prédictions et annotations.
Exemple détaillé : exactitude de la reconnaissance de chiffres manuscrits#
L’exemple de classification de chiffres de scikit-learn entraîne une machine à vecteurs de support sur la première moitié des images de chiffres fournies avec le jeu de données et l’évalue sur la seconde moitié. Le code utilise la même séparation et calcule un intervalle de Wilson avec l’API de proportions binomiales de SciPy.
from scipy.stats import binomtest
from sklearn.datasets import load_digits
from sklearn.svm import SVC
X, y = load_digits(return_X_y=True)
split = len(y) // 2
model = SVC(gamma=0.001)
model.fit(X[:split], y[:split])
predictions = model.predict(X[split:])
correct = int((predictions == y[split:]).sum())
accuracy = binomtest(correct, len(y[split:]))
interval = accuracy.proportion_ci(confidence_level=0.95, method="wilson")
print(f"Accuracy: {accuracy.statistic:.1%} (95% CI: {interval.low:.1%}–{interval.high:.1%})")Le classifieur reconnaît correctement 871 images sur 899 : 96,9 % d’exactitude, avec un intervalle de Wilson à 95 % de 95,5 % à 97,8 %, selon le modèle d’images indépendantes. Les images fournies proviennent du jeu de test UCI de chiffres manuscrits, constitué à partir de 13 auteurs. Les images d’un même auteur peuvent partager des caractéristiques d’écriture ; pour estimer l’exactitude sur de nouveaux auteurs, il faut tenir compte de ces groupes.
Intervalles de confiance, scores et prédictions#
Un score de confiance est une sortie du modèle pour une prédiction donnée. En mode de prédiction Ultralytics YOLO, conf définit le score minimal qu’une détection doit atteindre pour être conservée. Un intervalle de confiance pour le rappel à ce seuil quantifie l’incertitude de l’estimation du rappel à partir de l’échantillon de test.
Un intervalle de prédiction concerne une observation future. Par exemple, la prédiction conforme a été utilisée pour construire des intervalles de prédiction par pixel sur KITTI pour estimer la profondeur dans de nouvelles images.
Comparer des modèles de vision par ordinateur#
Un intervalle associé à un modèle fixe mesure l’incertitude d’échantillonnage de l’ensemble de test. La comparaison de pipelines d’entraînement tient également compte de facteurs de variation tels que l’initialisation aléatoire et le réglage des hyperparamètres, qui peuvent être mesurés en répétant les entraînements.
Lorsque deux détecteurs d’objets sont évalués sur le même ensemble de test, un bootstrap apparié tire les mêmes unités pour les deux modèles et calcule la différence de mAP à chaque tirage. Pour des images fixes échantillonnées indépendamment, les tirages peuvent se faire une image à la fois. Lorsque des vidéos échantillonnées indépendamment contiennent des images corrélées, tirer des vidéos entières préserve la dépendance entre les images. Considérer des images voisines comme indépendantes peut rendre l’intervalle trop étroit. Comme l’appariement préserve le lien entre les résultats obtenus sur les mêmes entrées, l’intervalle de la différence de mAP peut exclure zéro même lorsque les deux intervalles de confiance individuels se chevauchent.










