Licencia YOLO
Volver al glosario de Ultralytics

Confidence Interval

Un intervalo de confianza cuantifica la incertidumbre del muestreo en métricas del modelo, como la precisión y mAP. Un intervalo del 95 % describe la cobertura a largo plazo.

Un intervalo de confianza (CI) es un rango calculado a partir de una muestra mediante un método diseñado para abarcar un valor desconocido de la población con una frecuencia determinada. En el aprendizaje automático, la puntuación de una prueba estima el rendimiento de un modelo fijo con los tipos de entradas que representa el conjunto de prueba. El intervalo muestra la precisión con la que se estima ese rendimiento a partir de una muestra finita.

Qué significa un intervalo de confianza del 95 %#

Si extrajeras repetidamente muestras comparables de datos de prueba y calcularas un intervalo del mismo modo cada vez, un procedimiento con una cobertura del 95 % incluiría la métrica verdadera en aproximadamente 95 de cada 100 intervalos a largo plazo. La métrica es fija; los límites del intervalo cambian de una muestra a otra. Jerzy Neyman introdujo este enfoque frecuentista en su artículo de 1934 sobre muestreo.

Un nivel de confianza más alto suele producir un intervalo más amplio a partir de los mismos datos. Por lo general, un mayor número de observaciones independientes estrecha el intervalo si se mantiene fijo el nivel de confianza. La anchura mide la precisión del muestreo: un intervalo puede ser estrecho aunque el sesgo del conjunto de datos haga que la muestra de prueba no represente las condiciones de despliegue.

Cómo calcular un intervalo de confianza#

Para la media de una muestra, una fórmula habitual es estimación ± margen de error, donde el margen de error es el valor crítico multiplicado por el error estándar. El error estándar mide cuánto varía la estimación entre muestras repetidas. Para observaciones independientes de una misma población, el error estándar estimado de la media es la desviación estándar de la muestra dividida por la raíz cuadrada del tamaño de la muestra. Un intervalo normal bilateral del 95 % utiliza un valor crítico de 1,96, con un 2,5 % en cada cola. Un intervalo t para una muestra utiliza un valor crítico de la t de Student con tantos grados de libertad como el tamaño de la muestra menos uno. Su cobertura es exacta para observaciones independientes de una misma población normal.

El método depende de la métrica y de cómo se hayan muestreado los datos de prueba:

  • Exactitud de clasificación: Si las imágenes son independientes y tienen la misma probabilidad de clasificarse correctamente, un intervalo de puntuación de Wilson utiliza el número de predicciones correctas y el tamaño del conjunto de prueba para estimar esa probabilidad. Ambos límites se mantienen entre el 0 % y el 100 %.
  • Precisión media (mAP): Aplica bootstrap a la métrica completa: vuelve a muestrear las unidades de prueba con reemplazo y calcula de nuevo mAP para cada extracción. Un intervalo percentil del 95 % utiliza los percentiles 2,5 y 97,5 de esas puntuaciones. En un bootstrap a nivel de imagen, cada imagen incluye conjuntamente sus predicciones y anotaciones.

Ejemplo práctico: exactitud en la clasificación de dígitos escritos a mano#

El ejemplo de clasificación de dígitos de scikit-learn ajusta una máquina de vectores de soporte con la primera mitad de las imágenes de dígitos incluidas y la evalúa con la segunda mitad. El código utiliza la misma división y calcula un intervalo de Wilson con la API de proporciones binomiales de SciPy.

from scipy.stats import binomtest
from sklearn.datasets import load_digits
from sklearn.svm import SVC

X, y = load_digits(return_X_y=True)
split = len(y) // 2
model = SVC(gamma=0.001)
model.fit(X[:split], y[:split])
predictions = model.predict(X[split:])

correct = int((predictions == y[split:]).sum())
accuracy = binomtest(correct, len(y[split:]))
interval = accuracy.proportion_ci(confidence_level=0.95, method="wilson")
print(f"Accuracy: {accuracy.statistic:.1%} (95% CI: {interval.low:.1%}–{interval.high:.1%})")

El clasificador acierta 871 de 899 imágenes: una exactitud del 96,9 % con un intervalo de Wilson del 95 % del 95,5 % al 97,8 %, según el modelo de imágenes independientes. Las imágenes incluidas proceden del conjunto de prueba de dígitos escritos a mano de UCI, que se obtuvo de 13 escritores. Las imágenes de una misma persona pueden compartir rasgos de escritura, por lo que, para estimar la exactitud con personas nuevas, hay que tener en cuenta esa agrupación.

Intervalos de confianza, puntuaciones y predicciones#

Una puntuación de confianza es la salida de un modelo para una predicción. En el modo de predicción de Ultralytics YOLO, conf establece la puntuación mínima que debe tener una detección para conservarse. Un intervalo de confianza para la exhaustividad con ese umbral cuantifica la incertidumbre de la estimación de exhaustividad obtenida a partir de la muestra de prueba.

Un intervalo de predicción se refiere a una observación futura. Por ejemplo, se ha utilizado la predicción conformal para construir intervalos de predicción por píxel en KITTI para estimar la profundidad de nuevos fotogramas.

Comparación de modelos de visión artificial#

Un intervalo para un modelo fijo mide la incertidumbre del muestreo del conjunto de prueba. La comparación de procesos de entrenamiento también implica variaciones debidas a factores como la inicialización aleatoria y el ajuste de hiperparámetros, que pueden medirse mediante ejecuciones de entrenamiento repetidas.

Cuando dos detectores de objetos se ejecutan con el mismo conjunto de prueba, un bootstrap emparejado extrae las mismas unidades para ambos modelos y calcula la diferencia de mAP en cada extracción. Las imágenes fijas muestreadas de forma independiente pueden extraerse de una en una. Si los vídeos muestreados de forma independiente contienen fotogramas correlacionados, extraer vídeos completos conserva la dependencia entre fotogramas. Tratar los fotogramas contiguos como independientes puede estrechar demasiado el intervalo. Como el emparejamiento conserva la relación entre los resultados de las mismas entradas, el intervalo de la diferencia de mAP puede excluir el cero aunque se solapen los dos intervalos de confianza individuales.

Explora las soluciones

Visión artificial en el deporte

Visión artificial en el deporte

Descubre cómo Ultralytics YOLO impulsa la visión artificial en el deporte con el seguimiento de jugadores y balones, analíticas de rendimiento, información útil para entrenadores y rehabilitación de deportistas.
Más información
Visión artificial para imágenes aéreas

Visión artificial para imágenes aéreas

Convierte imágenes aéreas y de drones en información útil en tiempo real para la agricultura, la acuicultura, la conservación y el análisis geoespacial con Ultralytics YOLO.
Más información
Visión artificial en el sector aeroespacial

Visión artificial en el sector aeroespacial

Aplica la visión artificial en el sector aeroespacial con Ultralytics YOLO para inspeccionar aeronaves, detectar objetos extraños en pistas, gestionar operaciones en tierra y detectar defectos en materiales compuestos.
Más información
Visión artificial en seguridad

Visión artificial en seguridad

Protege todas tus instalaciones con los modelos Ultralytics YOLO. La IA visual permite supervisar perímetros, detectar amenazas, reconocer matrículas y mejorar la seguridad laboral.
Más información
Visión artificial en robótica

Visión artificial en robótica

Potencia máquinas más inteligentes con los modelos Ultralytics YOLO. La IA visual en robótica impulsa la navegación autónoma, la percepción, el seguimiento de objetos y el control en tiempo real.
Más información
Visión artificial en logística

Visión artificial en logística

Agiliza la logística con modelos Ultralytics YOLO. La IA visual permite inspeccionar paquetes, clasificarlos, realizar el seguimiento de vehículos y supervisar la seguridad del almacén en tiempo real.
Más información
Visión artificial en el comercio minorista

Visión artificial en el comercio minorista

Reinventa el comercio minorista con modelos Ultralytics YOLO. La IA visual permite realizar el seguimiento del inventario, supervisar estanterías, gestionar colas y obtener información más útil sobre los clientes.
Más información
Visión artificial en el sector sanitario

Visión artificial en el sector sanitario

Desarrolla soluciones sanitarias con modelos Ultralytics YOLO. La IA visual en el sector sanitario permite acelerar el diagnóstico por imagen, mejorar los diagnósticos y supervisar a los pacientes.
Más información
Visión artificial en la fabricación

Visión artificial en la fabricación

Optimiza la fabricación con modelos Ultralytics YOLO. La IA visual mejora el control de calidad, la detección de defectos, el cumplimiento de las normas de uso de EPI y la automatización de las líneas de montaje.
Más información
Visión artificial en la automoción

Visión artificial en la automoción

Aplica la visión artificial al sector de la automoción con modelos Ultralytics YOLO. La IA visual mejora la seguridad vial, la asistencia al conductor y la automatización de vehículos para lograr carreteras más inteligentes.
Más información
Visión artificial en la agricultura

Visión artificial en la agricultura

Incorpora la IA de visión a la agricultura inteligente con modelos Ultralytics YOLO. Impulsa la monitorización de cultivos, el seguimiento del ganado y la agricultura de precisión para obtener cosechas más abundantes e inteligentes.
Más información

¡Construyamos juntos el futuro de la IA!

Inicia tu recorrido hacia el futuro del aprendizaje automático