Conformal Prediction

La predicción conforme es un marco estadístico del aprendizaje automático (ML) que proporciona medidas de incertidumbre independientes de la distribución para las predicciones de los modelos. En lugar de generar una única predicción puntual —como una etiqueta de clase específica—, un predictor conforme genera un conjunto o intervalo de predicción que contiene el valor verdadero con una probabilidad especificada por el usuario (por ejemplo, del 90 % o el 95 %). Este marco se aplica a cualquier modelo de inteligencia artificial (AI) para proporcionar garantías estadísticas formales sin requerir cambios en la arquitectura del modelo. Para consultar una lista exhaustiva y actualizada de herramientas e investigaciones, puedes explorar el repositorio Awesome Conformal Prediction.

Cómo funciona la predicción conforme#

El mecanismo fundamental se basa en evaluar hasta qué punto una nueva predicción es inusual en comparación con ejemplos anteriores mediante una puntuación de no conformidad.

• Entrenamiento del modelo: Primero, entrena un modelo de referencia utilizando un conjunto de datos de entrenamiento estándar.
• Fase de calibración: Pasa un conjunto de datos de calibración independiente y reservado por el modelo entrenado. Calcula una puntuación de no conformidad para cada predicción, como la probabilidad inversa en la clasificación de imágenes.
• Cálculo del cuantil: Determina el nivel de confianza objetivo (por ejemplo, el 95 %) y encuentra el cuantil correspondiente de estas puntuaciones de calibración para construir los conjuntos de predicción.
• Aplicación durante la inferencia: Durante la inferencia en tiempo real, evalúa las nuevas entradas e incluye todas las etiquetas posibles cuyas puntuaciones estén por debajo del cuantil de calibración.

Puedes consultar las demostraciones matemáticas de este enfoque en el tutorial A Gentle Introduction to Conformal Prediction o informarte sobre los enfoques de predicción de series temporales para gestionar las incertidumbres temporales.

Diferencias entre la predicción conforme y términos relacionados#

Es fundamental distinguir este marco de las métricas estándar utilizadas durante las pruebas del modelo:

• Predicción conforme frente a puntuaciones de confianza: Una puntuación de confianza estándar refleja la certeza interna de un modelo, pero a menudo está mal calibrada y carece de garantías matemáticas. La predicción conforme transforma estas puntuaciones sin procesar en conjuntos con garantías. Para realizar ajustes tradicionales, consulta la calibración de probabilidades de scikit-learn.
• Predicción conforme frente a precisión: La precisión es una métrica histórica global que describe con qué frecuencia acierta un modelo en un conjunto de datos completo, mientras que la inferencia conforme proporciona un intervalo local y específico para cada instancia en cada nueva predicción.

Aplicaciones en el mundo real#

La predicción conforme es indispensable en ámbitos de alto riesgo en los que resulta fundamental conocer los puntos ciegos del modelo.

• Diagnóstico médico: Al utilizar AI en el ámbito sanitario para analizar exploraciones, un modelo puede generar un conjunto de diagnósticos plausibles en lugar de una única clase potencialmente incorrecta. Esto garantiza que los profesionales clínicos investiguen todas las posibilidades viables y respalda estudios recientes sobre medicina genómica y diagnóstico por imagen fiables.
• Conducción autónoma: En los sistemas de automoción basados en AI, aplicar intervalos de predicción a la detección de objetos genera una región espacial de confianza alrededor de un peatón, lo que permite que los sistemas de frenado del vehículo tengan en cuenta de forma segura los movimientos del peor caso.

Implementación de conjuntos de predicción#

Bibliotecas como MAPIE (estimador de intervalos de predicción independiente del modelo) proporcionan herramientas integradas para Python, y las tareas de regresión suelen utilizar la regresión de cuantiles conforme. También puedes implementar una lógica básica de predicción conforme utilizando las probabilidades de modelos avanzados como Ultralytics YOLO26. El siguiente ejemplo construye un conjunto de predicción utilizando las probabilidades de clasificación de YOLO26 e imita la lógica de incluir las clases principales hasta alcanzar un umbral acumulado.

from ultralytics import YOLO

# Load an Ultralytics YOLO26 classification model
model = YOLO("yolo26n-cls.pt")

# Perform inference on an image
results = model("https://ultralytics.com/images/bus.jpg")

# Simple conformal-style prediction set logic based on cumulative probability
target_coverage = 0.95
prediction_set = []
cumulative_prob = 0.0

# Sort probabilities in descending order using the results object
probs = results[0].probs
sorted_indices = probs.top5

for idx in sorted_indices:
    class_name = results[0].names[idx]
    class_prob = probs.data[idx].item()

    prediction_set.append((class_name, round(class_prob, 3)))
    cumulative_prob += class_prob

    # Stop adding to the set once we reach the 95% coverage threshold
    if cumulative_prob >= target_coverage:
        break

print(f"95% Prediction Set: {prediction_set}")

El desarrollo de sistemas fiables requiere prácticas sólidas de gestión de datos para evitar que la deriva de datos arruine la calibración. Herramientas como Ultralytics Platform simplifican el proceso de recopilar nuevos conjuntos de datos de clasificación, volver a entrenar modelos y gestionar de forma segura el despliegue de modelos. Puedes obtener más información sobre cómo seleccionar datos equilibrados en nuestra guía sobre cómo entender el sesgo de los conjuntos de datos o seguir los últimos avances presentados en la conferencia COPA anual.