Confidence Interval
Un intervalo de confianza cuantifica la incertidumbre del muestreo en métricas del modelo, como la precisión y mAP. Un intervalo del 95 % describe la cobertura a largo plazo.
Un intervalo de confianza (CI) es un rango calculado a partir de una muestra mediante un método diseñado para abarcar un valor desconocido de la población con una frecuencia determinada. En el aprendizaje automático, la puntuación de una prueba estima el rendimiento de un modelo fijo con los tipos de entradas que representa el conjunto de prueba. El intervalo muestra la precisión con la que se estima ese rendimiento a partir de una muestra finita.
Qué significa un intervalo de confianza del 95 %#
Si extrajeras repetidamente muestras comparables de datos de prueba y calcularas un intervalo del mismo modo cada vez, un procedimiento con una cobertura del 95 % incluiría la métrica verdadera en aproximadamente 95 de cada 100 intervalos a largo plazo. La métrica es fija; los límites del intervalo cambian de una muestra a otra. Jerzy Neyman introdujo este enfoque frecuentista en su artículo de 1934 sobre muestreo.
Un nivel de confianza más alto suele producir un intervalo más amplio a partir de los mismos datos. Por lo general, un mayor número de observaciones independientes estrecha el intervalo si se mantiene fijo el nivel de confianza. La anchura mide la precisión del muestreo: un intervalo puede ser estrecho aunque el sesgo del conjunto de datos haga que la muestra de prueba no represente las condiciones de despliegue.
Cómo calcular un intervalo de confianza#
Para la media de una muestra, una fórmula habitual es estimación ± margen de error, donde el margen de error es el valor crítico multiplicado por el error estándar. El error estándar mide cuánto varía la estimación entre muestras repetidas. Para observaciones independientes de una misma población, el error estándar estimado de la media es la desviación estándar de la muestra dividida por la raíz cuadrada del tamaño de la muestra. Un intervalo normal bilateral del 95 % utiliza un valor crítico de 1,96, con un 2,5 % en cada cola. Un intervalo t para una muestra utiliza un valor crítico de la t de Student con tantos grados de libertad como el tamaño de la muestra menos uno. Su cobertura es exacta para observaciones independientes de una misma población normal.
El método depende de la métrica y de cómo se hayan muestreado los datos de prueba:
- Exactitud de clasificación: Si las imágenes son independientes y tienen la misma probabilidad de clasificarse correctamente, un intervalo de puntuación de Wilson utiliza el número de predicciones correctas y el tamaño del conjunto de prueba para estimar esa probabilidad. Ambos límites se mantienen entre el 0 % y el 100 %.
- Precisión media (mAP): Aplica bootstrap a la métrica completa: vuelve a muestrear las unidades de prueba con reemplazo y calcula de nuevo mAP para cada extracción. Un intervalo percentil del 95 % utiliza los percentiles 2,5 y 97,5 de esas puntuaciones. En un bootstrap a nivel de imagen, cada imagen incluye conjuntamente sus predicciones y anotaciones.
Ejemplo práctico: exactitud en la clasificación de dígitos escritos a mano#
El ejemplo de clasificación de dígitos de scikit-learn ajusta una máquina de vectores de soporte con la primera mitad de las imágenes de dígitos incluidas y la evalúa con la segunda mitad. El código utiliza la misma división y calcula un intervalo de Wilson con la API de proporciones binomiales de SciPy.
from scipy.stats import binomtest
from sklearn.datasets import load_digits
from sklearn.svm import SVC
X, y = load_digits(return_X_y=True)
split = len(y) // 2
model = SVC(gamma=0.001)
model.fit(X[:split], y[:split])
predictions = model.predict(X[split:])
correct = int((predictions == y[split:]).sum())
accuracy = binomtest(correct, len(y[split:]))
interval = accuracy.proportion_ci(confidence_level=0.95, method="wilson")
print(f"Accuracy: {accuracy.statistic:.1%} (95% CI: {interval.low:.1%}–{interval.high:.1%})")El clasificador acierta 871 de 899 imágenes: una exactitud del 96,9 % con un intervalo de Wilson del 95 % del 95,5 % al 97,8 %, según el modelo de imágenes independientes. Las imágenes incluidas proceden del conjunto de prueba de dígitos escritos a mano de UCI, que se obtuvo de 13 escritores. Las imágenes de una misma persona pueden compartir rasgos de escritura, por lo que, para estimar la exactitud con personas nuevas, hay que tener en cuenta esa agrupación.
Intervalos de confianza, puntuaciones y predicciones#
Una puntuación de confianza es la salida de un modelo para una predicción. En el modo de predicción de Ultralytics YOLO, conf establece la puntuación mínima que debe tener una detección para conservarse. Un intervalo de confianza para la exhaustividad con ese umbral cuantifica la incertidumbre de la estimación de exhaustividad obtenida a partir de la muestra de prueba.
Un intervalo de predicción se refiere a una observación futura. Por ejemplo, se ha utilizado la predicción conformal para construir intervalos de predicción por píxel en KITTI para estimar la profundidad de nuevos fotogramas.
Comparación de modelos de visión artificial#
Un intervalo para un modelo fijo mide la incertidumbre del muestreo del conjunto de prueba. La comparación de procesos de entrenamiento también implica variaciones debidas a factores como la inicialización aleatoria y el ajuste de hiperparámetros, que pueden medirse mediante ejecuciones de entrenamiento repetidas.
Cuando dos detectores de objetos se ejecutan con el mismo conjunto de prueba, un bootstrap emparejado extrae las mismas unidades para ambos modelos y calcula la diferencia de mAP en cada extracción. Las imágenes fijas muestreadas de forma independiente pueden extraerse de una en una. Si los vídeos muestreados de forma independiente contienen fotogramas correlacionados, extraer vídeos completos conserva la dependencia entre fotogramas. Tratar los fotogramas contiguos como independientes puede estrechar demasiado el intervalo. Como el emparejamiento conserva la relación entre los resultados de las mismas entradas, el intervalo de la diferencia de mAP puede excluir el cero aunque se solapen los dos intervalos de confianza individuales.










