Conformal Prediction

La predicción conformal es un marco estadístico en machine learning (ML) que proporciona medidas de incertidumbre libres de distribución para las predicciones de los modelos. En lugar de generar una única predicción puntual, como una etiqueta de clase específica, un predictor conformal genera un conjunto o intervalo de predicción que contiene el valor real con una probabilidad especificada por el usuario (por ejemplo, 90 % o 95 %). Este marco se integra alrededor de cualquier modelo de inteligencia artificial (AI) para proporcionar garantías estadísticas formales sin necesidad de realizar cambios en la arquitectura del modelo. Para obtener una lista exhaustiva de herramientas e investigaciones actualizadas, puedes explorar el repositorio Awesome Conformal Prediction.

Link to this sectionCómo funciona la Predicción Conformal#

El mecanismo fundamental se basa en evaluar qué tan inusual es una nueva predicción en comparación con ejemplos pasados utilizando una puntuación de no conformidad.

• Entrenamiento del Modelo: Primero, entrena un modelo base utilizando un conjunto de datos de entrenamiento estándar.
• Fase de Calibración: Pasa un conjunto de datos de calibración independiente y reservado a través del modelo entrenado. Calcula una puntuación de no conformidad para cada predicción, como la probabilidad inversa en clasificación de imágenes.
• Cálculo de Cuantiles: Determina el nivel de confianza objetivo (por ejemplo, 95 %) y encuentra el cuantil correspondiente de estas puntuaciones de calibración para construir los conjuntos de predicción.
• Aplicación de Inferencia: Durante la inferencia en tiempo real, evalúa las nuevas entradas e incluye todas las etiquetas posibles cuyas puntuaciones caigan por debajo del cuantil de calibración.

Puedes explorar las pruebas matemáticas de este enfoque en el tutorial A Gentle Introduction to Conformal Prediction o aprender sobre enfoques de pronóstico de series temporales para manejar incertidumbres temporales.

Link to this sectionDiferenciación de la Predicción Conformal de términos relacionados#

Es crucial distinguir este marco de las métricas estándar utilizadas durante el model testing:

• Predicción Conformal vs. Puntuaciones de Confianza: Una puntuación de confianza estándar refleja la certeza interna de un modelo, pero a menudo está mal calibrada y carece de garantías matemáticas. La predicción conformal transforma estas puntuaciones brutas en conjuntos garantizados. Para ajustes tradicionales, consulta la calibración de probabilidad de scikit-learn.
• Predicción Conformal vs. Precisión: La precisión es una métrica histórica global que describe con qué frecuencia un modelo es correcto en todo un conjunto de datos, mientras que la inferencia conformal proporciona un intervalo local específico para cada nueva predicción.

Link to this sectionAplicaciones en el mundo real#

La predicción conformal es indispensable en campos de alto riesgo donde conocer los puntos ciegos del modelo es fundamental.

• Diagnóstico Médico: Al aprovechar la IA en el sector sanitario para analizar escáneres, un modelo podría generar un conjunto de diagnósticos plausibles en lugar de una clase única potencialmente incorrecta. Esto asegura que los médicos investiguen todas las posibilidades viables, respaldando estudios recientes sobre medicina genómica e imagenología fiable.
• Conducción Autónoma: En los sistemas de IA para automoción, aplicar intervalos de predicción a la detección de objetos genera una región de confianza espacial alrededor de un peatón, permitiendo que los sistemas de frenado del vehículo consideren los movimientos del peor de los casos de forma segura.

Link to this sectionImplementación de Conjuntos de Predicción#

Bibliotecas como MAPIE (Model Agnostic Prediction Interval Estimator) proporcionan herramientas integradas para Python, y las tareas de regresión a menudo utilizan regresión cuantílica conformal. También puedes implementar una lógica de predicción conformal básica utilizando probabilidades de modelos avanzados como Ultralytics YOLO26. El siguiente ejemplo construye un conjunto de predicción utilizando probabilidades de clasificación de YOLO26, imitando la lógica de incluir las mejores clases hasta que se alcance un umbral acumulativo.

from ultralytics import YOLO

# Load an Ultralytics YOLO26 classification model
model = YOLO("yolo26n-cls.pt")

# Perform inference on an image
results = model("https://ultralytics.com/images/bus.jpg")

# Simple conformal-style prediction set logic based on cumulative probability
target_coverage = 0.95
prediction_set = []
cumulative_prob = 0.0

# Sort probabilities in descending order using the results object
probs = results[0].probs
sorted_indices = probs.top5

for idx in sorted_indices:
    class_name = results[0].names[idx]
    class_prob = probs.data[idx].item()

    prediction_set.append((class_name, round(class_prob, 3)))
    cumulative_prob += class_prob

    # Stop adding to the set once we reach the 95% coverage threshold
    if cumulative_prob >= target_coverage:
        break

print(f"95% Prediction Set: {prediction_set}")

El desarrollo de sistemas fiables requiere prácticas de datos robustas para evitar que el data drift arruine la calibración. Herramientas como la Ultralytics Platform simplifican el proceso de recopilación de classification datasets frescos, reentrenamiento de modelos y gestión segura del model deployment. Puedes leer más sobre la curación de datos equilibrados en nuestra guía sobre comprensión del sesgo en conjuntos de datos, o seguir los últimos avances presentados en la conferencia anual COPA conference.