Uncertainty Quantification

La quantification de l'incertitude (UQ) est le processus qui consiste à estimer, évaluer et communiquer le degré d'incertitude d'un modèle d'IA ou d'apprentissage automatique quant à ses prédictions. Au lieu de renvoyer uniquement une étiquette, une valeur ou une boîte englobante, un flux de travail UQ fournit des informations supplémentaires telles qu'une distribution de probabilité, un intervalle de prédiction, un score de confiance ou un ensemble de prédictions. Cela aide les utilisateurs à comprendre non seulement ce que prédit un modèle, mais aussi le niveau de confiance à accorder à cette prédiction.

Link to this sectionPourquoi la quantification de l'incertitude est importante#

Les modèles apprennent des schémas à partir de données limitées, de sorte que leurs résultats ne sont jamais parfaitement certains. Les entrées peuvent être bruitées, les étiquettes peuvent être ambiguës et les données de production peuvent différer de la distribution d'entraînement. L'UQ rend ces limitations mesurables et favorise des décisions plus sûres, l'examen humain et une meilleure collecte de données.

Cette idée prolonge l'objectif plus large de caractérisation de la qualité des modèles décrit par le programme de mesure virtuelle du NIST. Dans les systèmes d'IA, les estimations d'incertitude peuvent aider les équipes à :

• Rejeter ou examiner les prédictions lorsque l'incertitude dépasse un niveau acceptable.
• Comparer des prédictions alternatives au lieu de s'en remettre à une seule réponse.
• Identifier les entrées non familières et l'éventuelle dérive des données.
• Donner la priorité aux échantillons incertains pour l'étiquetage grâce à l'apprentissage actif.
• Propager l'incertitude dans les calculs et les décisions en aval, comme l'illustre la vue d'ensemble du département de l'Énergie sur l'incertitude dans les modèles informatiques.

L'UQ est particulièrement importante lorsque les erreurs de prédiction ont des conséquences inégales. Manquer un piéton est plus grave que de détecter incorrectement un panneau routier, de sorte que le seuil d'incertitude acceptable dépend de l'application.

Link to this sectionIncertitude aléatoire et épistémique#

Deux catégories expliquent d'où vient l'incertitude prédictive :

• L'incertitude aléatoire, également appelée incertitude aléatoire pure, provient du caractère aléatoire inhérent ou de l'ambiguïté des données. Le flou de mouvement, le bruit des capteurs, l'occlusion partielle et des étiquettes incohérentes peuvent rendre une image difficile à interpréter, même pour un modèle bien entraîné. Davantage de données d'entraînement peuvent aider à estimer cette incertitude, mais ne peuvent pas éliminer complètement l'ambiguïté sous-jacente.
• L'incertitude épistémique provient d'une connaissance incomplète du modèle. Elle apparaît souvent lorsque les données d'entraînement sont insuffisantes, non représentatives ou omettent des situations importantes. Elle peut fréquemment être réduite en collectant des exemples pertinents, en améliorant les annotations ou en modifiant le modèle.

L'UQ combine des informations sur ces sources pour produire des résultats utiles. Les outils de modélisation probabiliste tels que TensorFlow Probability peuvent représenter les prédictions sous forme de distributions, tandis que les méthodes d'ensemble estiment l'incertitude en comparant plusieurs modèles ou exécutions d'entraînement. Un désaccord important suggère généralement une plus grande incertitude épistémique.

L'incertitude est liée à un score de confiance, mais elle est plus vaste. La confiance décrit la force d'une prédiction, tandis que l'UQ évalue si ce score est fiable et quelles sources d'incertitude l'affectent. De même, la prédiction conforme est une technique spécifique permettant de produire des ensembles ou des intervalles de prédiction avec une couverture cible sous des hypothèses définies.

Link to this sectionMéthodes et évaluation#

Les approches courantes de l'UQ comprennent les sorties probabilistes, les ensembles, l'échantillonnage répété, la modélisation bayésienne et les intervalles de prédiction. Les intervalles de confiance bootstrap estiment la variabilité en ré-échantillonnant de manière répétée les données observées. Pour la classification, la calibration vérifie si les prédictions se voyant attribuer une probabilité d'environ 80 % sont correctes environ 80 % du temps.

Un modèle peut être précis mais mal calibré, les équipes doivent donc évaluer à la fois les performances des tâches et la qualité de l'incertitude. Les outils de calibration des probabilités utilisent des diagrammes de fiabilité et des techniques de calibration pour comparer les probabilités prédites aux résultats observés. Les règles d'apprentissage automatique de Google soulignent également l'importance de prédictions probabilistes interprétables et surveillées.

Les critères d'évaluation utiles comprennent la couverture, la largeur d'intervalle, l'erreur de calibration et les performances sur des tranches de données difficiles. Pour la vision par ordinateur, le mode de validation d'Ultralytics et le guide des métriques de performance de YOLO aident à examiner la précision, le rappel, les matrices de confusion et le comportement de la confiance entre les classes et les seuils.

Link to this sectionApplications concrètes#

• Analyse d'images médicales : Un modèle de diagnostic peut signaler une analyse pour un examen par un spécialiste lorsque plusieurs observations plausibles ont des scores similaires ou lorsque l'image diffère de ses données d'entraînement. Sans cette escalade, une prédiction incorrecte trop confiante pourrait retarder le traitement.
• Inspection visuelle en fabrication : Un détecteur de défauts peut rencontrer des reflets, de nouveaux matériaux ou des dommages inédits. Le routage tenant compte de l'incertitude peut envoyer des produits ambigus vers une inspection manuelle au lieu de les accepter ou de les rejeter automatiquement, réduisant ainsi à la fois les défauts passés entre les mailles du filet et les déchets inutiles.

Ces politiques relient l'incertitude du modèle au risque opérationnel. Le tronc commun du cadre de gestion des risques liés à l'IA du NIST recommande de mesurer l'incertitude, de documenter les limites de généralisation et de surveiller les systèmes tout au long du déploiement.

Link to this sectionIncertitude dans les flux de travail Ultralytics YOLO#

Ultralytics YOLO26 expose les scores de confiance de détection via son mode Predict documenté :

from ultralytics import YOLO

# Load an official detection model
model = YOLO("yolo26n.pt")

# Run inference
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]

# Inspect each detection's confidence
for box in result.boxes:
    class_id = int(box.cls.item())
    class_name = result.names[class_id]
    confidence = box.conf.item()
    print(f"{class_name}: {confidence:.3f}")

Ce flux de travail expose un signal utile lié à l'incertitude, mais la confiance seule ne constitue pas une UQ complète et ne doit pas être interprétée automatiquement comme une probabilité calibrée. Valide les scores sur des données de test représentatives, choisis des seuils en fonction des coûts d'erreur et surveille les distributions de confiance après le déploiement.

Les équipes peuvent utiliser la plateforme Ultralytics pour annoter des jeux de données, entraîner et déployer des modèles, et surveiller des points de terminaison. Combinés à la surveillance et à la maintenance continues des modèles, les signaux d'incertitude peuvent révéler des conditions inhabituelles, guider l'examen humain et identifier le moment où de nouvelles données ou un ré-entraînement sont nécessaires.