Conformal Prediction

La predicción conformal es un marco de cuantificación de la incertidumbre que convierte las puntuaciones de cualquier modelo entrenado en conjuntos o intervalos de predicción que garantizan incluir la respuesta verdadera con una frecuencia elegida por el usuario, por ejemplo, el 95 %. Un clasificador de imágenes conformal devuelve todas las etiquetas que siguen siendo plausibles —una etiqueta para una imagen clara y varias para una ambigua—, y un regresor conformal devuelve un intervalo. La garantía es válida con cualquier modelo y cualquier distribución de datos, siempre que los datos de calibración y los nuevos datos sean intercambiables, como ocurre con muestras independientes de una misma fuente. Vladimir Vovk, Alexander Gammerman y Glenn Shafer desarrollaron el método desde finales de la década de 1990 y lo presentaron en su libro de 2005 Aprendizaje algorítmico en un mundo aleatorio; el tutorial de 2021 de Anastasios Angelopoulos y Stephen Bates, Una introducción sencilla a la predicción conformal, aborda los métodos modernos utilizados en aprendizaje automático.

Cómo funciona la predicción conformal dividida#

El método conformal completo original vuelve a ajustar el modelo para cada respuesta candidata, lo que resulta demasiado lento para el aprendizaje profundo. La predicción conformal dividida, o inductiva, presentada por Harris Papadopoulos y sus colaboradores en 2002, solo necesita un modelo entrenado y un conjunto de calibración reservado:

1. Entrena el modelo con los datos de entrenamiento como de costumbre.
2. Ejecútalo con n ejemplos de calibración etiquetados que no haya visto y calcula una puntuación de no conformidad para cada uno, un número que aumenta cuanto menos típica le parece al modelo la respuesta verdadera. Para un clasificador, una puntuación habitual es 1 menos la probabilidad asignada a la clase verdadera.
3. Toma el cuantil ceil((n + 1) x (1 - alpha)) / n de esas puntuaciones, denominado qhat. El término (n + 1) es una corrección para muestras finitas que hace que la garantía sea exacta.
4. Para una nueva entrada, incluye todas las etiquetas candidatas cuya puntuación sea como máximo qhat.

El conjunto resultante contiene la etiqueta verdadera con una probabilidad de al menos 1 - alpha. Como la puntuación del nuevo ejemplo es intercambiable con las n puntuaciones de calibración, tiene la misma probabilidad de ocupar cualquier posición entre ellas, así que queda en qhat o por debajo al menos un 1 - alpha de las veces.

Qué cubre la garantía#

La garantía es marginal: se cumple, en promedio, para todas las entradas. Un modelo puede cubrir en exceso las clases fáciles y cubrir por debajo una clase poco frecuente, así que la predicción conformal condicional por clase (Mondrian) calibra un qhat distinto para cada clase. La intercambiabilidad es el único supuesto, y deja de cumplirse con la deriva de datos, cuando las imágenes de producción difieren de las imágenes de calibración; por eso, el conjunto de calibración debe proceder de los datos de despliegue y actualizarse cuando estos cambien. El sesgo del conjunto de datos de calibración se transmite directamente a los conjuntos.

El tamaño del conjunto es la señal útil. Todos los procedimientos válidos alcanzan la cobertura objetivo, así que los métodos compiten por generar conjuntos más pequeños, y un modelo más preciso genera conjuntos más pequeños. Los conjuntos de predicción adaptativos (APS) y los conjuntos de predicción adaptativos regularizados (RAPS), estos últimos evaluados en clasificadores de ImageNet, utilizan probabilidades acumuladas para que el tamaño del conjunto refleje la dificultad, y la regresión cuantílica conformalizada produce intervalos que se amplían cuando los datos son ruidosos.

La predicción conformal se diferencia de tres conceptos relacionados. Una puntuación de confianza es un único número sin ninguna garantía asociada. Los métodos de calibración, como el escalado de temperatura, hacen que las puntuaciones se ajusten mejor a la precisión observada; esto reduce el tamaño de los conjuntos conformales, pero no garantiza por sí solo la cobertura. Un intervalo de confianza estadístico describe la incertidumbre sobre un parámetro poblacional, como una media, mientras que un conjunto conformal describe dónde caerá un único resultado nuevo.

Conjuntos de predicción en la práctica#

Los pasos anteriores en scikit-learn, con un conjunto de entrenamiento deliberadamente pequeño para que el clasificador cometa errores:

import numpy as np
from sklearn.datasets import load_digits
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split

# Split handwritten digits into training, calibration, and test sets
X, y = load_digits(return_X_y=True)
X_train, X_rest, y_train, y_rest = train_test_split(X, y, train_size=100, random_state=0)
X_cal, X_test, y_cal, y_test = train_test_split(X_rest, y_rest, train_size=500, random_state=0)
model = LogisticRegression(max_iter=2000).fit(X_train, y_train)

# Nonconformity score: 1 minus the probability given to the true class
scores = 1 - model.predict_proba(X_cal)[np.arange(len(y_cal)), y_cal]

# Finite-sample corrected quantile for 95% coverage
alpha, n = 0.05, len(y_cal)
qhat = np.quantile(scores, np.ceil((n + 1) * (1 - alpha)) / n, method="higher")

# Prediction set: every class whose score is at most qhat
sets = 1 - model.predict_proba(X_test) <= qhat
coverage = sets[np.arange(len(y_test)), y_test].mean()
print(f"Top-1 accuracy: {model.score(X_test, y_test):.3f}")
print(f"Set coverage: {coverage:.3f}, average set size: {sets.sum(axis=1).mean():.2f}")

La predicción principal por sí sola acierta el 91,6 % de las veces, mientras que los conjuntos conformales contienen el dígito verdadero en el 96,5 % de las 1.197 imágenes de prueba, por encima del objetivo del 95 %, con una media de 1,27 etiquetas. Bibliotecas como MAPIE agrupan estos pasos para clasificación, regresión y series temporales.

Aplicaciones#

• Análisis de imágenes médicas: Un conjunto de hallazgos plausibles con una tasa de error conocida indica al personal clínico de sanidad cuándo una imagen es ambigua, y un conjunto con una sola etiqueta señala los casos que el modelo resuelve de forma fiable.
• Modelos de lenguaje grandes (LLMs): Los métodos conformales calibran cuántas respuestas muestreadas se devuelven o qué afirmaciones se conservan para que el resultado contenga una respuesta correcta con una tasa determinada, como complemento de la entropía semántica como protección frente a las alucinaciones.
• Detección de objetos: Los márgenes conformales alrededor de las cajas delimitadoras predichas definen una región que contiene la caja verdadera con una tasa determinada, algo útil para que los vehículos autónomos planifiquen cómo esquivar a los peatones.

Los clasificadores de imágenes proporcionan la misma entrada que el ejemplo de scikit-learn. Los modelos de clasificación de Ultralytics YOLO26 devuelven el vector softmax completo para cada imagen en results[0].probs.data, así que al calcular las puntuaciones de un conjunto reservado de imágenes etiquetadas se obtiene qhat, y todas las clases cuya probabilidad sea al menos 1 - qhat se incluyen en el conjunto de predicción.