Uncertainty Quantification

La cuantificación de la incertidumbre (UQ) es el proceso de estimar, evaluar y comunicar hasta qué punto un modelo de IA o de aprendizaje automático tiene incertidumbre sobre sus predicciones. En lugar de devolver únicamente una etiqueta, un valor o un cuadro delimitador, un flujo de trabajo de UQ proporciona información adicional, como una distribución de probabilidad, un intervalo de predicción, una puntuación de confianza o un conjunto de predicciones. Esto ayuda a los usuarios a entender no solo qué predice un modelo, sino también cuánta confianza deben depositar en esa predicción.

Por qué es importante la cuantificación de la incertidumbre#

Los modelos aprenden patrones a partir de datos limitados, por lo que sus resultados nunca son completamente seguros. Las entradas pueden contener ruido, las etiquetas pueden ser ambiguas y los datos de producción pueden diferir de la distribución de entrenamiento. La UQ permite medir estas limitaciones y favorece decisiones más seguras, la revisión humana y una mejor recopilación de datos.

Esta idea amplía el objetivo general de caracterizar la calidad de los modelos descrito por el programa de medición virtual de NIST. En los sistemas de IA, las estimaciones de incertidumbre pueden ayudar a los equipos a:

• Rechazar o revisar predicciones cuando la incertidumbre supera un nivel aceptable.
• Comparar predicciones alternativas en lugar de confiar en una única respuesta.
• Identificar entradas desconocidas y posibles cambios en los datos.
• Priorizar muestras inciertas para su etiquetado mediante el aprendizaje activo.
• Propagar la incertidumbre a los cálculos y decisiones posteriores, como se muestra en la visión general del Department of Energy sobre la incertidumbre en los modelos computacionales.

La UQ es especialmente importante cuando los errores de predicción tienen consecuencias distintas. No detectar a un peatón es más grave que detectar incorrectamente una señal de carretera, por lo que el umbral de incertidumbre aceptable depende de la aplicación.

Incertidumbre aleatoria y epistémica#

Dos categorías explican de dónde procede la incertidumbre predictiva:

• La incertidumbre aleatoria, también llamada incertidumbre aleatoria, procede de la aleatoriedad o ambigüedad inherente a los datos. El desenfoque por movimiento, el ruido del sensor, la oclusión parcial y las etiquetas incoherentes pueden dificultar la interpretación de una imagen incluso para un modelo bien entrenado. Disponer de más datos de entrenamiento puede ayudar a estimar esta incertidumbre, pero no puede eliminar por completo la ambigüedad subyacente.
• La incertidumbre epistémica procede del conocimiento incompleto del modelo. Suele aparecer cuando los datos de entrenamiento son insuficientes, poco representativos o no incluyen situaciones importantes. A menudo puede reducirse recopilando ejemplos relevantes, mejorando las anotaciones o modificando el modelo.

La UQ combina información sobre estas fuentes para generar resultados útiles. Las herramientas de modelado probabilístico, como TensorFlow Probability, pueden representar las predicciones como distribuciones, mientras que los métodos de conjunto estiman la incertidumbre comparando varios modelos o ejecuciones de entrenamiento. Un desacuerdo considerable suele indicar una mayor incertidumbre epistémica.

La incertidumbre está relacionada con una puntuación de confianza, pero es un concepto más amplio. La confianza describe la solidez de una predicción, mientras que la UQ evalúa si esa puntuación es fiable y qué fuentes de incertidumbre le afectan. Del mismo modo, la predicción conforme es una técnica específica para generar conjuntos o intervalos de predicción con una cobertura objetivo bajo supuestos definidos.

Métodos y evaluación#

Los enfoques habituales de UQ incluyen salidas probabilísticas, conjuntos de modelos, muestreo repetido, modelado bayesiano e intervalos de predicción. Los intervalos de confianza bootstrap estiman la variabilidad mediante un remuestreo repetido de los datos observados. En clasificación, la calibración comprueba si las predicciones a las que se asigna aproximadamente un 80 % de probabilidad son correctas aproximadamente el 80 % de las veces.

Un modelo puede ser preciso, pero estar mal calibrado, por lo que los equipos deben evaluar tanto el rendimiento de la tarea como la calidad de la incertidumbre. Las herramientas de calibración de probabilidades utilizan diagramas de fiabilidad y técnicas de calibración para comparar las probabilidades predichas con los resultados observados. Las Reglas del aprendizaje automático de Google también destacan la importancia de realizar predicciones probabilísticas interpretables y supervisadas.

Entre los criterios de evaluación útiles se incluyen la cobertura, la amplitud del intervalo, el error de calibración y el rendimiento en segmentos de datos difíciles. En visión por computador, el modo de validación de Ultralytics y la guía de métricas de rendimiento de YOLO ayudan a examinar la precisión, la exhaustividad, las matrices de confusión y el comportamiento de la confianza en las distintas clases y umbrales.

Aplicaciones en el mundo real#

• Análisis de imágenes médicas: Un modelo de diagnóstico puede marcar una exploración para que la revise un especialista cuando varios hallazgos plausibles tienen puntuaciones similares o cuando la imagen difiere de sus datos de entrenamiento. Sin esta escalada, una predicción incorrecta con un exceso de confianza podría retrasar el tratamiento.
• Inspección visual en fabricación: Un detector de defectos puede encontrarse con reflejos, materiales nuevos o daños no observados anteriormente. Un sistema de enrutamiento basado en la incertidumbre puede enviar los productos ambiguos a una inspección manual en lugar de aceptarlos o rechazarlos automáticamente, reduciendo tanto los defectos que pasan inadvertidos como los residuos innecesarios.

Estas políticas conectan la incertidumbre del modelo con el riesgo operativo. El núcleo del Marco de gestión de riesgos de IA de NIST recomienda medir la incertidumbre, documentar los límites de generalización y supervisar los sistemas durante todo el despliegue.

La incertidumbre en los flujos de trabajo de Ultralytics YOLO#

Ultralytics YOLO26 expone puntuaciones de confianza de detección mediante su modo Predict documentado:

from ultralytics import YOLO

# Load an official detection model
model = YOLO("yolo26n.pt")

# Run inference
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]

# Inspect each detection's confidence
for box in result.boxes:
    class_id = int(box.cls.item())
    class_name = result.names[class_id]
    confidence = box.conf.item()
    print(f"{class_name}: {confidence:.3f}")

Este flujo de trabajo expone una señal útil relacionada con la incertidumbre, pero la confianza por sí sola no constituye una UQ completa y no debe interpretarse automáticamente como una probabilidad calibrada. Valida las puntuaciones con datos representativos reservados, elige los umbrales en función de los costes de los errores y supervisa las distribuciones de confianza después del despliegue.

Los equipos pueden utilizar Ultralytics Platform para anotar conjuntos de datos, entrenar y desplegar modelos y supervisar endpoints. Combinadas con la supervisión y el mantenimiento continuos de los modelos, las señales de incertidumbre pueden revelar condiciones desconocidas, orientar la revisión humana e identificar cuándo se necesitan datos nuevos o un nuevo entrenamiento.