Uncertainty Quantification

La cuantificación de incertidumbre (UQ) es el proceso de estimar, evaluar y comunicar cuán incierto es un modelo de IA o de aprendizaje automático acerca de sus predicciones. En lugar de devolver únicamente una etiqueta, un valor o una caja delimitadora, un flujo de trabajo de UQ proporciona información adicional, como una distribución de probabilidad, un intervalo de predicción, una puntuación de confianza o un conjunto de predicción. Esto ayuda a los usuarios a comprender no solo qué predice un modelo, sino también cuánta confianza depositar en esa predicción.

Link to this sectionPor qué importa la cuantificación de incertidumbre#

Los modelos aprenden patrones a partir de datos limitados, por lo que sus salidas nunca son perfectamente ciertas. Las entradas pueden ser ruidosas, las etiquetas pueden ser ambiguas y los datos de producción pueden diferir de la distribución de entrenamiento. La UQ hace que estas limitaciones sean medibles y respalda decisiones más seguras, la revisión humana y una mejor recolección de datos.

Esta idea amplía el objetivo más amplio de caracterizar la calidad del modelo descrito por el programa de medición virtual del NIST. En los sistemas de IA, las estimaciones de incertidumbre pueden ayudar a los equipos a:

• Rechazar o revisar las predicciones cuando la incertidumbre supera un nivel aceptable.
• Comparar predicciones alternativas en lugar de depender de una sola respuesta.
• Identificar entradas desconocidas y posibles problemas de deriva de datos.
• Priorizar muestras inciertas para su etiquetado mediante aprendizaje activo.
• Propagar la incertidumbre en los cálculos y decisiones posteriores, tal como ilustra la descripción general del Departamento de Energía sobre la incertidumbre en modelos computacionales.

La UQ es especialmente importante cuando los errores de predicción tienen consecuencias desiguales. Omitir a un peatón es más grave que detectar incorrectamente una señal de tráfico, por lo que el umbral de incertidumbre aceptable depende de la aplicación.

Link to this sectionIncertidumbre aleatórica y epistémica#

Dos categorías explican de dónde proviene la incertidumbre predictiva:

• La incertidumbre aleatórica, también llamada incertidumbre aleatoria, proviene de la aleatoriedad o ambigüedad inherente en los datos. El desenfoque por movimiento, el ruido del sensor, la oclusión parcial y las etiquetas inconsistentes pueden hacer que una imagen sea difícil de interpretar incluso para un modelo bien entrenado. Más datos de entrenamiento pueden ayudar a estimar esta incertidumbre, pero no pueden eliminar por completo la ambigüedad subyacente.
• La incertidumbre epistémica proviene del conocimiento incompleto del modelo. A menudo aparece cuando los datos de entrenamiento son insuficientes, no representativos o carecen de situaciones importantes. Con frecuencia se puede reducir recolectando ejemplos relevantes, mejorando las anotaciones o cambiando el modelo.

La UQ combina información sobre estas fuentes en resultados útiles. Las herramientas de modelado probabilístico como TensorFlow Probability pueden representar las predicciones como distribuciones, mientras que los métodos de ensamblaje estiman la incertidumbre comparando múltiples modelos o ejecuciones de entrenamiento. Un gran desacuerdo generalmente sugiere una mayor incertidumbre epistémica.

La incertidumbre está relacionada con una puntuación de confianza, pero es más amplia que esta. La confianza describe la fuerza de una predicción, mientras que la UQ evalúa si esa puntuación es confiable y qué fuentes de incertidumbre la afectan. De manera similar, la predicción conformal es una técnica específica para producir conjuntos o intervalos de predicción con cobertura objetivo bajo supuestos definidos.

Link to this sectionMétodos y evaluación#

Los enfoques comunes de UQ incluyen salidas probabilísticas, ensamblajes, muestreo repetido, modelado bayesiano e intervalos de predicción. Los intervalos de confianza bootstrap estiman la variabilidad mediante el remuestreo repetido de los datos observados. Para la clasificación, la calibración comprueba si las predicciones a las que se les asigna una probabilidad aproximada del 80 % son correctas aproximadamente el 80 % de las veces.

Un modelo puede ser preciso pero estar mal calibrado, por lo que los equipos deben evaluar tanto el rendimiento de la tarea como la calidad de la incertidumbre. Las herramientas de calibración de probabilidad utilizan diagramas de confiabilidad y técnicas de calibración para comparar las probabilidades predichas con los resultados observados. Las reglas de aprendizaje automático de Google también enfatizan las predicciones probabilísticas interpretables y monitoreadas.

Los criterios de evaluación útiles incluyen la cobertura, el ancho del intervalo, el error de calibración y el rendimiento en fragmentos de datos difíciles. Para la visión artificial, el modo de validación de Ultralytics y la guía de métricas de rendimiento de YOLO ayudan a examinar la precisión, la recuperación, las matrices de confusión y el comportamiento de la confianza en distintas clases y umbrales.

Link to this sectionAplicaciones en el mundo real#

• Análisis de imágenes médicas: Un modelo de diagnóstico puede marcar una exploración para su revisión por un especialista cuando varios hallazgos plausibles tienen puntuaciones similares o cuando la imagen difiere de sus datos de entrenamiento. Sin esta escalada, una predicción incorrecta demasiado segura podría retrasar el tratamiento.
• Inspección visual de fabricación: Un detector de defectos puede encontrar reflejos, nuevos materiales o daños no vistos anteriormente. El enrutamiento consciente de la incertidumbre puede enviar productos ambiguos a una inspección manual en lugar de aceptarlos o rechazarlos automáticamente, lo que reduce tanto los defectos omitidos como el desperdicio innecesario.

Estas políticas conectan la incertidumbre del modelo con el riesgo operativo. El núcleo del marco de gestión de riesgos de IA del NIST recomienda medir la incertidumbre, documentar los límites de generalización y monitorear los sistemas durante todo el despliegue.

Link to this sectionIncertidumbre en los flujos de trabajo de Ultralytics YOLO#

Ultralytics YOLO26 expone las puntuaciones de confianza de detección a través de su modo Predict documentado:

from ultralytics import YOLO

# Load an official detection model
model = YOLO("yolo26n.pt")

# Run inference
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]

# Inspect each detection's confidence
for box in result.boxes:
    class_id = int(box.cls.item())
    class_name = result.names[class_id]
    confidence = box.conf.item()
    print(f"{class_name}: {confidence:.3f}")

Este flujo de trabajo expone una señal útil relacionada con la incertidumbre, pero la confianza por sí sola no es una UQ completa y no debe interpretarse automáticamente como una probabilidad calibrada. Valide las puntuaciones en datos retenidos representativos, elija umbrales basados en los costos de los errores y monitoree las distribuciones de confianza después del despliegue.

Los equipos pueden usar Ultralytics Platform para anotar conjuntos de datos, entrenar y desplegar modelos, y monitorear puntos de conexión. Combinadas con el monitoreo y mantenimiento continuo de modelos, las señales de incertidumbre pueden revelar condiciones desconocidas, guiar la revisión humana e identificar cuándo se necesitan nuevos datos o un reentrenamiento.