Conformal Prediction

La predicción conforme es un marco estadístico en machine learning (ML) que proporciona medidas de incertidumbre libres de distribución para las predicciones de modelos. En lugar de emitir una única predicción puntual —como una etiqueta de clase específica—, un predictor conforme genera un conjunto o intervalo de predicción que contiene el valor verdadero con una probabilidad especificada por el usuario (por ejemplo, 90% o 95%). Este marco envuelve cualquier modelo de inteligencia artificial (AI) para ofrecer garantías estadísticas formales sin necesidad de modificar la arquitectura del modelo. Para obtener una lista exhaustiva de herramientas e investigaciones actualizadas, puedes explorar el repositorio Awesome Conformal Prediction.

Cómo funciona la Predicción Conformal#

El mecanismo fundamental se basa en evaluar qué tan inusual es una nueva predicción en comparación con ejemplos pasados utilizando una puntuación de no conformidad.

• Entrenamiento del modelo: Primero, entrena un modelo base utilizando un conjunto de datos de entrenamiento estándar.
• Fase de calibración: Pasa un conjunto de datos de calibración independiente y reservado a través del modelo entrenado. Calcula una puntuación de no conformidad para cada predicción, como la probabilidad inversa en clasificación de imágenes.
• Cálculo de cuantiles: Determina el nivel de confianza objetivo (por ejemplo, 95%) y encuentra el cuantil correspondiente de estas puntuaciones de calibración para construir los conjuntos de predicción.
• Aplicación de inferencia: Durante la inferencia en vivo, evalúa nuevas entradas e incluye todas las etiquetas posibles cuyas puntuaciones se sitúen por debajo del cuantil de calibración.

Puedes explorar las demostraciones matemáticas de este enfoque en el tutorial A Gentle Introduction to Conformal Prediction o aprender sobre los enfoques de previsión de series temporales para gestionar las incertidumbres temporales.

Diferenciación de la Predicción Conformal de términos relacionados#

Es fundamental distinguir este marco de las métricas estándar utilizadas durante las pruebas de modelos:

• Predicción conforme frente a puntuaciones de confianza: Una puntuación de confianza estándar refleja la certeza interna de un modelo, pero a menudo está mal calibrada y carece de garantías matemáticas. La predicción conforme transforma estas puntuaciones brutas en conjuntos garantizados. Para ajustes tradicionales, consulta la calibración de probabilidad de scikit-learn.
• Predicción conforme frente a precisión: La precisión es una métrica histórica global que describe con qué frecuencia un modelo acierta en todo un conjunto de datos, mientras que la inferencia conforme proporciona un intervalo local y específico para cada nueva predicción.

Aplicaciones en el mundo real#

La predicción conformal es indispensable en campos de alto riesgo donde conocer los puntos ciegos del modelo es fundamental.

• Diagnósticos médicos: Al aprovechar la IA en el sector sanitario para analizar exploraciones, un modelo puede generar un conjunto de diagnósticos plausibles en lugar de una sola clase potencialmente incorrecta. Esto garantiza que los médicos investiguen todas las posibilidades viables, respaldando estudios recientes sobre medicina e imagen genómica confiables.
• Conducción autónoma: En la IA aplicada a sistemas de automoción, aplicar intervalos de predicción a la detección de objetos genera una región de confianza espacial alrededor de un peatón, lo que permite que los sistemas de frenado del vehículo tengan en cuenta los movimientos en el peor de los casos de forma segura.

Implementación de Conjuntos de Predicción#

Bibliotecas como MAPIE (Model Agnostic Prediction Interval Estimator) proporcionan herramientas integradas para Python, y las tareas de regresión suelen utilizar la regresión de cuantiles conformes. También puedes implementar una lógica de predicción conforme básica utilizando probabilidades de modelos avanzados como Ultralytics YOLO26. El siguiente ejemplo construye un conjunto de predicción utilizando las probabilidades de clasificación de YOLO26, imitando la lógica de incluir las clases principales hasta alcanzar un umbral acumulativo.

from ultralytics import YOLO

# Load an Ultralytics YOLO26 classification model
model = YOLO("yolo26n-cls.pt")

# Perform inference on an image
results = model("https://ultralytics.com/images/bus.jpg")

# Simple conformal-style prediction set logic based on cumulative probability
target_coverage = 0.95
prediction_set = []
cumulative_prob = 0.0

# Sort probabilities in descending order using the results object
probs = results[0].probs
sorted_indices = probs.top5

for idx in sorted_indices:
    class_name = results[0].names[idx]
    class_prob = probs.data[idx].item()

    prediction_set.append((class_name, round(class_prob, 3)))
    cumulative_prob += class_prob

    # Stop adding to the set once we reach the 95% coverage threshold
    if cumulative_prob >= target_coverage:
        break

print(f"95% Prediction Set: {prediction_set}")

El desarrollo de sistemas fiables requiere prácticas de datos sólidas para evitar que la deriva de datos arruine la calibración. Herramientas como la Ultralytics Platform simplifican el proceso de recopilación de nuevos conjuntos de datos de clasificación, reentrenamiento de modelos y gestión segura de despliegue de modelos. Puedes leer más sobre la selección de datos equilibrados en nuestra guía sobre comprensión del sesgo en conjuntos de datos, o seguir los últimos avances presentados en la conferencia anual COPA conference.