Uncertainty Quantification

La quantification de l’incertitude (UQ) est le processus qui consiste à estimer, évaluer et communiquer le degré d’incertitude d’un modèle d’IA ou de machine learning concernant ses prédictions. Au lieu de renvoyer uniquement une étiquette, une valeur ou une boîte englobante, un workflow de quantification de l’incertitude fournit des informations supplémentaires, telles qu’une distribution de probabilités, un intervalle de prédiction, un score de confiance ou un ensemble de prédictions. Cela aide les utilisateurs à comprendre non seulement ce que prédit un modèle, mais aussi dans quelle mesure ils peuvent se fier à cette prédiction.

Pourquoi la quantification de l’incertitude est importante#

Les modèles apprennent des motifs à partir de données limitées, de sorte que leurs sorties ne sont jamais parfaitement certaines. Les entrées peuvent être bruitées, les étiquettes ambiguës et les données de production peuvent différer de la distribution d’apprentissage. La quantification de l’incertitude rend ces limites mesurables et favorise des décisions plus sûres, la revue humaine et une meilleure collecte de données.

Cette idée étend l’objectif plus large de caractériser la qualité des modèles, décrit par le programme de mesure virtuelle du NIST. Dans les systèmes d’IA, les estimations d’incertitude peuvent aider les équipes à :

• Rejeter ou examiner les prédictions lorsque l’incertitude dépasse un niveau acceptable.
• Comparer plusieurs prédictions possibles plutôt que de s’appuyer sur une seule réponse.
• Identifier les entrées inconnues et les éventuelles dérives de données.
• Prioriser les échantillons incertains pour l’annotation grâce à l’apprentissage actif.
• Propager l’incertitude dans les calculs et décisions en aval, comme l’illustre la présentation du Department of Energy sur l’incertitude dans les modèles computationnels.

La quantification de l’incertitude est particulièrement importante lorsque les erreurs de prédiction ont des conséquences différentes. Ne pas détecter un piéton est plus grave que de détecter à tort un panneau au bord de la route ; le seuil d’incertitude acceptable dépend donc de l’application.

Incertitude aléatoire et incertitude épistémique#

Deux catégories expliquent l’origine de l’incertitude prédictive :

• L’incertitude aléatoire, également appelée incertitude aléatoire, provient du caractère aléatoire ou de l’ambiguïté inhérente aux données. Le flou de mouvement, le bruit des capteurs, l’occlusion partielle et les étiquettes incohérentes peuvent rendre une image difficile à interpréter, même pour un modèle bien entraîné. Davantage de données d’apprentissage peuvent aider à estimer cette incertitude, mais ne peuvent pas éliminer complètement l’ambiguïté sous-jacente.
• L’incertitude épistémique provient d’une connaissance incomplète du modèle. Elle apparaît souvent lorsque les données d’apprentissage sont insuffisantes, peu représentatives ou ne couvrent pas certaines situations importantes. Elle peut fréquemment être réduite en collectant des exemples pertinents, en améliorant les annotations ou en modifiant le modèle.

La quantification de l’incertitude combine les informations relatives à ces sources pour produire des sorties utiles. Les outils de modélisation probabiliste tels que TensorFlow Probability peuvent représenter les prédictions sous forme de distributions, tandis que les méthodes d’ensemble estiment l’incertitude en comparant plusieurs modèles ou exécutions d’apprentissage. Un désaccord important suggère généralement une incertitude épistémique plus élevée.

L’incertitude est liée à un score de confiance, mais elle est plus large que celui-ci. La confiance décrit la force d’une prédiction, tandis que la quantification de l’incertitude évalue la fiabilité de ce score et les sources d’incertitude qui l’affectent. De même, la prédiction conforme est une technique spécifique permettant de produire des ensembles ou des intervalles de prédiction avec une couverture cible, selon des hypothèses définies.

Méthodes et évaluation#

Les approches courantes de quantification de l’incertitude comprennent les sorties probabilistes, les ensembles, l’échantillonnage répété, la modélisation bayésienne et les intervalles de prédiction. Les intervalles de confiance bootstrap estiment la variabilité en rééchantillonnant à plusieurs reprises les données observées. Pour la classification, la calibration vérifie que les prédictions auxquelles est attribuée une probabilité d’environ 80 % sont correctes environ 80 % du temps.

Un modèle peut être précis tout en étant mal calibré ; les équipes doivent donc évaluer à la fois les performances de la tâche et la qualité de l’incertitude. Les outils de calibration des probabilités utilisent des diagrammes de fiabilité et des techniques de calibration pour comparer les probabilités prédites aux résultats observés. Les Rules of Machine Learning de Google soulignent également l’importance de prédictions probabilistes interprétables et surveillées.

Les critères d’évaluation utiles comprennent la couverture, la largeur de l’intervalle, l’erreur de calibration et les performances sur des sous-ensembles de données difficiles. Pour la vision par ordinateur, le mode validation d’Ultralytics et le guide des métriques de performance de YOLO aident à examiner la précision, le rappel, les matrices de confusion et le comportement de la confiance selon les classes et les seuils.

Applications concrètes#

• Analyse d’images médicales : Un modèle de diagnostic peut signaler un examen pour une revue par un spécialiste lorsque plusieurs résultats plausibles ont des scores similaires ou lorsque l’image diffère de ses données d’apprentissage. Sans cette escalade, une prédiction incorrecte formulée avec une confiance excessive pourrait retarder le traitement.
• Inspection visuelle industrielle : Un détecteur de défauts peut rencontrer des reflets, de nouveaux matériaux ou des dommages jamais observés auparavant. Un routage tenant compte de l’incertitude peut envoyer les produits ambigus vers une inspection manuelle au lieu de les accepter ou de les rejeter automatiquement, réduisant ainsi à la fois les défauts non détectés et le gaspillage inutile.

Ces politiques relient l’incertitude du modèle au risque opérationnel. Le NIST AI Risk Management Framework Core recommande de mesurer l’incertitude, de documenter les limites de généralisation et de surveiller les systèmes pendant toute leur mise en production.

L’incertitude dans les workflows Ultralytics YOLO#

Ultralytics YOLO26 expose les scores de confiance de détection via son mode Predict documenté :

from ultralytics import YOLO

# Load an official detection model
model = YOLO("yolo26n.pt")

# Run inference
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]

# Inspect each detection's confidence
for box in result.boxes:
    class_id = int(box.cls.item())
    class_name = result.names[class_id]
    confidence = box.conf.item()
    print(f"{class_name}: {confidence:.3f}")

Ce workflow expose un signal utile lié à l’incertitude, mais la confiance seule ne constitue pas une quantification complète de l’incertitude et ne doit pas être automatiquement interprétée comme une probabilité calibrée. Valide les scores sur des données représentatives mises de côté, choisis les seuils en fonction du coût des erreurs et surveille les distributions de confiance après le déploiement.

Les équipes peuvent utiliser Ultralytics Platform pour annoter des jeux de données, entraîner et déployer des modèles, et surveiller des points de terminaison. Associés à la surveillance et à la maintenance continues des modèles, les signaux d’incertitude peuvent révéler des conditions inconnues, orienter la revue humaine et indiquer quand de nouvelles données ou un nouvel entraînement sont nécessaires.