Uncertainty Quantification

La quantification de l’incertitude (UQ) consiste à estimer le degré d’incertitude d’un modèle d’apprentissage automatique pour chaque prédiction et à vérifier la fiabilité de ces estimations. En plus d’une étiquette, d’une valeur ou d’une boîte englobante, un modèle intégrant l’UQ renvoie une distribution de probabilités, un intervalle de prédiction, un ensemble d’étiquettes plausibles ou une variance. Les systèmes utilisent ces estimations pour décider quand agir automatiquement, quand confier la décision à une personne et quelles nouvelles données collecter. Un score de confiance est une estimation de ce type ; l’UQ vérifie également si ce score est calibré, c’est-à-dire si les prédictions faites avec une confiance de 80 % sont correctes environ 80 % du temps.

Incertitudes aléatoire et épistémique#

L’incertitude prédictive a deux sources. Alex Kendall et Yarin Gal ont introduit cette distinction dans l’apprentissage profond appliqué à la vision dans leur article de 2017, What Uncertainties Do We Need in Bayesian Deep Learning for Computer Vision? :

• Incertitude aléatoire : bruit inhérent aux données, comme le flou de mouvement, le bruit des capteurs, l’occlusion ou les désaccords entre annotateurs. Davantage de données d’entraînement ne la supprime pas, car l’entrée ne contient pas l’information manquante. Un modèle peut apprendre à la prédire comme une sortie supplémentaire, par exemple une variance pour chaque estimation de profondeur.
• Incertitude épistémique : manque de connaissances du modèle, important pour les entrées qui ne ressemblent à rien dans ses données d’entraînement, par exemple une nouvelle caméra, une nouvelle saison ou un nouveau type d’objet. Elle diminue à mesure que des données pertinentes sont ajoutées ; elle signale donc la dérive des données et les entrées hors distribution.

Cette distinction détermine la marche à suivre pour une prédiction incertaine :

Méthodes d’estimation de l’incertitude#

• Probabilités prédites : la sortie softmax d’un classificateur est l’estimation la moins coûteuse, mais une étude de 2017 menée par Chuan Guo et ses collègues a montré que les réseaux profonds modernes sont systématiquement trop confiants. La mise à l’échelle de température sur des données de validation corrige une grande partie de l’écart.
• Dropout de Monte-Carlo : maintient le dropout actif lors de l’inférence et exécute plusieurs fois l’entrée. L’étendue des sorties sert alors d’approximation de l’incertitude bayésienne, comme l’ont montré Yarin Gal et Zoubin Ghahramani en 2016.
• Ensembles profonds : entraînent plusieurs copies d’un réseau à partir d’initialisations aléatoires différentes et mesurent leur désaccord. Cette méthode a été présentée en 2017 par Balaji Lakshminarayanan et ses collègues de DeepMind. Dans une vaste comparaison Google de méthodes d’UQ menée en 2019, les ensembles ont donné les meilleurs résultats en présence d’un décalage de distribution.
• Prédiction conforme : enveloppe n’importe quel modèle pour produire des ensembles ou des intervalles de prédiction qui contiennent la vraie réponse à une fréquence choisie, par exemple 95 %.
• Entropie sémantique : échantillonne plusieurs réponses d’un grand modèle de langage (LLM) et mesure le nombre de significations distinctes qu’elles expriment, ce qui aide à détecter les hallucinations.

Un ensemble profond appliqué à une tâche de régression unidimensionnelle illustre directement l’incertitude épistémique :

import numpy as np
from sklearn.neural_network import MLPRegressor

# Noisy samples of sin(x), observed only between -3 and 3
rng = np.random.default_rng(0)
x = rng.uniform(-3, 3, (200, 1))
y = np.sin(x).ravel() + rng.normal(0, 0.1, 200)

# Deep ensemble: the same network trained from five random initializations
ensemble = [MLPRegressor(hidden_layer_sizes=(32, 32), max_iter=3000, random_state=seed).fit(x, y) for seed in range(5)]

# Members agree where data exists and diverge where it does not
for x_new in (1.0, 8.0):
    preds = np.array([m.predict([[x_new]])[0] for m in ensemble])
    print(f"x={x_new}: mean {preds.mean():+.2f}, std {preds.std():.2f}")

À x = 1, dans l’intervalle d’entraînement, les cinq réseaux prédisent une moyenne de 0,86 pour une vraie valeur de 0,84, avec un écart-type de 0,01. À x = 8, très loin de cet intervalle, ils prédisent -1,17 pour une vraie valeur de 0,99, et l’écart-type grimpe à 0,59. L’ensemble signale ainsi précisément la prédiction erronée.

Évaluer les estimations d’incertitude#

La calibration est vérifiée au moyen d’un diagramme de fiabilité, qui regroupe les prédictions par niveau de confiance et représente l’exactitude réelle de chaque groupe. Elle est résumée par l’erreur de calibration attendue ou le score de Brier. Les intervalles de prédiction sont évalués selon leur couverture, c’est-à-dire la part des vraies valeurs qui se trouvent à l’intérieur, et leur largeur, car un intervalle assez large pour tout couvrir n’apporte aucune information. La détection des données hors distribution est évaluée au moyen de l’aire sous la courbe ROC, qui mesure la séparation entre entrées familières et inconnues. Les bancs d’essai rapportent désormais la calibration avec l’exactitude : Humanity’s Last Exam a révélé des erreurs de calibration de 73 % à 89 % pour les LLM lancés à l’époque.

Applications#

• Analyse d’images médicales : les modèles de diagnostic en santé adressent à un radiologue les examens présentant une forte incertitude. L’automatisation traite ainsi les cas évidents, tandis que les personnes examinent les cas ambigus.
• Véhicules autonomes : les systèmes de perception élargissent les marges de sécurité ou rendent le contrôle au conducteur lorsque l’incertitude sur la profondeur ou la détection augmente, par exemple dans le brouillard ou en cas d’éblouissement.
• Apprentissage actif : l’incertitude détermine quelles images non étiquetées méritent d’être annotées, car les exemples dont le modèle est le moins sûr sont ceux qui lui apprennent le plus.

C’est dans l’apprentissage actif que les pipelines de détection utilisent l’incertitude le plus directement. Le modèle Collect Uncertain Detections d’Ultralytics Platform Agents traite les images d’un jeu de données avec un modèle YOLO26 déployé et copie dans un jeu de données de révision, sans étiquette, chaque image contenant au moins une détection dont la confiance se trouve dans la plage choisie, par exemple de 0,25 à 0,5, prête à être annotée et utilisée pour le réentraînement.