Uncertainty Quantification

La cuantificación de la incertidumbre (UQ) consiste en estimar la incertidumbre de un modelo de aprendizaje automático respecto a cada predicción y comprobar que esas estimaciones son fiables. Además de una etiqueta, un valor o un cuadro delimitador, un modelo con UQ devuelve una distribución de probabilidad, un intervalo de predicción, un conjunto de etiquetas plausibles o una varianza. Los sistemas utilizan estas estimaciones para decidir cuándo actuar automáticamente, cuándo derivar un caso a una persona y qué datos nuevos recopilar. Una puntuación de confianza es una de estas estimaciones; la UQ también pregunta si esa puntuación está calibrada, es decir, si las predicciones realizadas con un 80 % de confianza son correctas aproximadamente el 80 % de las veces.

Incertidumbre aleatoria y epistémica#

La incertidumbre predictiva tiene dos fuentes, una distinción que Alex Kendall y Yarin Gal incorporaron al aprendizaje profundo para visión en su artículo de 2017 What Uncertainties Do We Need in Bayesian Deep Learning for Computer Vision?:

• Incertidumbre aleatoria: Ruido en los propios datos, como desenfoque por movimiento, ruido del sensor, oclusiones o desacuerdos entre anotadores sobre las etiquetas. Más datos de entrenamiento no la eliminan, porque la entrada no contiene la información que falta. Un modelo puede aprender a predecirla como una salida adicional, por ejemplo, una varianza para cada estimación de profundidad.
• Incertidumbre epistémica: Falta de conocimiento del modelo, que es elevada para entradas distintas de todo lo que hay en sus datos de entrenamiento, como una cámara, una estación del año o un tipo de objeto nuevos. Disminuye al añadir datos pertinentes, por lo que señala la deriva de datos y las entradas que están fuera de la distribución.

La distinción determina qué hacer ante una predicción incierta:

Métodos para estimar la incertidumbre#

• Probabilidades predichas: La salida softmax de un clasificador es la estimación más barata, pero un estudio de 2017 de Chuan Guo y sus colegas demostró que las redes profundas modernas tienden sistemáticamente a mostrar un exceso de confianza. La escalación de temperatura con datos reservados corrige buena parte de la diferencia.
• Dropout de Monte Carlo: Mantiene activo el dropout durante la inferencia y ejecuta la entrada varias veces; interpreta la variación entre las salidas como una aproximación a la incertidumbre bayesiana, tal como demostraron Yarin Gal y Zoubin Ghahramani en 2016.
• Ensamblados profundos: Entrenan varias copias de una red con distintas inicializaciones aleatorias y miden su desacuerdo; Balaji Lakshminarayanan y sus colegas de DeepMind introdujeron este método en 2017. En una gran comparación de métodos de UQ realizada por Google en 2019, los ensamblados fueron los que mejor resistieron los cambios de distribución de los conjuntos de datos.
• Predicción conforme: Envuelve cualquier modelo para que genere conjuntos o intervalos de predicción que contengan la respuesta verdadera con una frecuencia elegida, por ejemplo, del 95 %.
• Entropía semántica: Muestrea varias respuestas de un modelo de lenguaje grande (LLM) y mide cuántos significados distintos expresan; sirve para detectar alucinaciones.

Un ensamblado profundo en una tarea de regresión unidimensional muestra directamente la incertidumbre epistémica:

import numpy as np
from sklearn.neural_network import MLPRegressor

# Noisy samples of sin(x), observed only between -3 and 3
rng = np.random.default_rng(0)
x = rng.uniform(-3, 3, (200, 1))
y = np.sin(x).ravel() + rng.normal(0, 0.1, 200)

# Deep ensemble: the same network trained from five random initializations
ensemble = [MLPRegressor(hidden_layer_sizes=(32, 32), max_iter=3000, random_state=seed).fit(x, y) for seed in range(5)]

# Members agree where data exists and diverge where it does not
for x_new in (1.0, 8.0):
    preds = np.array([m.predict([[x_new]])[0] for m in ensemble])
    print(f"x={x_new}: mean {preds.mean():+.2f}, std {preds.std():.2f}")

En x = 1, dentro del intervalo de entrenamiento, las cinco redes predicen una media de 0,86 frente a un valor verdadero de 0,84, con una desviación estándar de 0,01. En x = 8, muy fuera de ese intervalo, predicen -1,17 frente a un valor verdadero de 0,99, y la desviación estándar aumenta hasta 0,59; así, el ensamblado señala precisamente la predicción que es incorrecta.

Evaluación de las estimaciones de incertidumbre#

La calibración se comprueba mediante un diagrama de fiabilidad, que agrupa las predicciones por nivel de confianza y representa la precisión real de cada grupo; se resume mediante el error de calibración esperado o la puntuación de Brier. Los intervalos de predicción se evalúan según su cobertura, es decir, la proporción de valores verdaderos que contienen, y su amplitud, ya que un intervalo lo bastante amplio como para cubrirlo todo no aporta información. La detección de valores fuera de distribución se evalúa con el área bajo la curva ROC, que mide la capacidad de separar las entradas conocidas de las desconocidas; ahora las pruebas de referencia informan de la calibración junto con la precisión: Humanity's Last Exam descubrió que los LLM disponibles en su lanzamiento tenían errores de calibración de entre el 73 % y el 89 %.

Aplicaciones#

• Análisis de imágenes médicas: Los modelos de diagnóstico en sanidad derivan a un radiólogo las exploraciones con mucha incertidumbre, de modo que la automatización se ocupa de los casos claros y las personas revisan los ambiguos.
• Vehículos autónomos: Los sistemas de percepción amplían los márgenes de seguridad o devuelven el control cuando aumenta la incertidumbre sobre la profundidad o la detección, como en situaciones de niebla o deslumbramiento.
• Aprendizaje activo: La incertidumbre determina qué imágenes sin etiquetar merece la pena anotar, porque las muestras sobre las que el modelo tiene menos seguridad son las que más le enseñan.

El aprendizaje activo es donde las canalizaciones de detección utilizan la incertidumbre de forma más directa. La plantilla Collect Uncertain Detections de Ultralytics Platform Agents procesa las imágenes de un conjunto de datos con un modelo YOLO26 implementado y copia en un conjunto de revisión, sin etiquetar y listo para anotarse y utilizarse en el reentrenamiento, todas las imágenes que contengan al menos una detección cuya confianza se encuentre dentro de un intervalo elegido, como de 0,25 a 0,5.