Data Drift

La deriva de datos es un cambio en la distribución estadística de los datos de entrada que recibe un modelo desplegado, en comparación con los datos con los que se entrenó. Los modelos presuponen que las entradas de producción proceden de la misma distribución que sus datos de entrenamiento y, cuando deja de cumplirse ese supuesto, la precisión puede disminuir sin que aparezca ningún mensaje de error ni cambie el código o los pesos del modelo. Entre las causas habituales en los sistemas de visión se incluyen cámaras u objetivos nuevos, cambios en la iluminación y las estaciones, un cambio del ángulo de la cámara, nuevos envases de productos y cambios en etapas anteriores de la canalización, como un ajuste distinto de compresión de imagen. Detectar la deriva y responder a ella es una tarea fundamental de la supervisión de modelos y las operaciones de aprendizaje automático (MLOps).

Tipos de cambios de distribución#

Un clasificador modela la probabilidad de una etiqueta dado un dato de entrada, y el cambio puede producirse en las entradas, las etiquetas o la relación entre ambas:

• Cambio de covariables: La distribución de entrada cambia, pero la etiqueta correcta para cada entrada se mantiene. Un detector entrenado con imágenes diurnas que empieza a recibir grabaciones del atardecer se enfrenta a un cambio de covariables, porque un coche sigue siendo un coche. En sentido estricto, la deriva de datos se refiere a este caso.
• Cambio de etiquetas: También llamado cambio de probabilidades previas, se refiere a un cambio en la frecuencia de las clases. Si el índice de defectos de una línea de producción sube del 1 % al 5 %, también aumenta la proporción de falsas alarmas del detector que en realidad son alarmas reales, por lo que cambia su precisión, aunque el modelo y el aspecto de cada defecto sigan igual.
• Deriva de concepto: Cambia la relación entre las entradas y las etiquetas, de modo que la misma entrada ahora requiere una etiqueta distinta. Los patrones de fraude evolucionan a medida que los estafadores se adaptan, y un estándar de calidad más estricto convierte en rechazadas piezas que antes se aceptaban.

La deriva puede ser repentina, como la sustitución de una cámara; gradual, como la acumulación de suciedad en un objetivo; o recurrente, como el follaje estacional y la nieve.

Detección de la deriva de datos#

La detección de deriva compara una muestra de referencia, normalmente los datos de validación o de entrenamiento, con una ventana reciente de datos de producción. Sin etiquetas, los equipos comprueban si las dos distribuciones de entrada difieren: utilizan la prueba de Kolmogórov-Smirnov para dos muestras (KS) para las características continuas, una prueba chi-cuadrado para las categóricas o el índice de estabilidad poblacional (PSI), habitual en la calificación crediticia. Los píxeles sin procesar tienen demasiadas dimensiones para compararlos directamente, así que la supervisión de imágenes comprueba estadísticas resumidas, como el brillo y la nitidez, o las incrustaciones de una red preentrenada; un estudio de métodos de detección de cambios concluyó que las pruebas de dos muestras sobre representaciones de clasificadores preentrenados eran las más eficaces. Las propias salidas del modelo son una segunda señal: los cambios en la frecuencia de las clases predichas, las cajas por imagen o las puntuaciones de confianza suelen aparecer antes de que alguien mida la precisión.

import numpy as np
from scipy.stats import ks_2samp

rng = np.random.default_rng(0)

# Mean brightness (0-255) of 500 training images and two batches of 200 production images
reference = rng.normal(130, 25, 500)
same_light = rng.normal(130, 25, 200)
dusk = rng.normal(110, 25, 200)

# Two-sample Kolmogorov-Smirnov test: a small p-value means the distributions differ
for name, batch in (("same light", same_light), ("dusk", dusk)):
    result = ks_2samp(reference, batch)
    drifted = result.pvalue < 0.01
    print(f"{name}: KS statistic {result.statistic:.3f}, p-value {result.pvalue:.2g}, drift {drifted}")

El lote extraído de la distribución de entrenamiento obtiene un estadístico KS de 0,046 y un valor p de 0,91, mientras que el lote cuyo brillo medio ha disminuido 20 niveles obtiene un estadístico de 0,346 y un valor p de 1,1e-15, por lo que se marca como alerta. El estadístico KS es la mayor diferencia entre las dos distribuciones acumuladas y, con muestras muy grandes, incluso cambios inofensivos producen valores p minúsculos. Por eso, las alertas de deriva suelen basarse en el propio estadístico KS, que mide la magnitud del cambio, en lugar de basarse únicamente en el valor p.

Cómo responder a la deriva#

Solo las etiquetas recientes permiten saber si un cambio detectado ha reducido la precisión. La respuesta habitual consiste en muestrear datos recientes de producción, etiquetarlos, medir la precisión media promedio (mAP) u otras métricas de la tarea y volver a entrenar o ajustar el modelo con una mezcla de datos nuevos y originales cuando el rendimiento haya disminuido, conservando ejemplos antiguos en la mezcla para evitar el olvido catastrófico. El aumento de datos, con cambios de brillo, desenfoque y color, prepara un modelo para variaciones previsibles, y la adaptación de dominio no supervisada adapta un modelo a un nuevo dominio con datos de destino sin etiquetar. En Ultralytics Platform, la pestaña Monitoring de un endpoint dedicado muestra en gráficos la confianza media de las predicciones a lo largo del tiempo, el recuento de clases y los tamaños y ubicaciones de los cuadros de las imágenes que procesa; además, puedes guardar ejemplos recientes en un conjunto de datos para revisarlos y volver a entrenar.

Deriva de datos y términos relacionados#

• Deriva del modelo: La disminución del rendimiento de un modelo con el tiempo, causada por la deriva de datos y la deriva de concepto. También se llama degradación del modelo.
• Desajuste entre entrenamiento y servicio: Diferencia entre los datos de entrenamiento y los de producción causada por un procesamiento distinto en ambas canalizaciones, como otro método de cambio de tamaño. Está presente desde el primer día del despliegue, en lugar de desarrollarse con el tiempo.
• Detección de anomalías: Señala datos de entrada individuales que difieren de lo normal, como un único fotograma dañado. La detección de deriva compara distribuciones completas y señala una semana de imágenes uniformemente más oscuras.
• Detección de datos fuera de distribución (OOD): Asigna a cada dato de entrada una puntuación según cuánto difiere de los datos de entrenamiento, normalmente para que el modelo pueda abstenerse o derivar ese dato a una persona.