Deriva de Datos

La deriva de datos es un desafío común en el aprendizaje automático (ML) que ocurre cuando las propiedades estadísticas de los datos que un modelo encuentra en producción cambian con el tiempo en comparación con los datos de entrenamiento con los que se construyó. Este cambio significa que el modelo está operando con datos para los que no estaba preparado, lo que puede conducir a una degradación silenciosa pero significativa en su rendimiento predictivo. La gestión eficaz de la deriva de datos es un componente crítico del ciclo de vida de MLOps, lo que garantiza que los sistemas de Inteligencia Artificial (IA) sigan siendo fiables después de la implementación del modelo. Sin una monitorización del modelo proactiva, este problema puede pasar desapercibido, lo que lleva a malas decisiones y resultados empresariales negativos.

Deriva de datos vs. Deriva de concepto

Es importante distinguir la deriva de datos de un problema relacionado, la deriva de concepto. Si bien ambos pueden degradar el rendimiento del modelo, sus causas son diferentes.

• Deriva de datos: También conocida como deriva de características o covariables, esto ocurre cuando la distribución de los datos de entrada cambia, pero la relación subyacente entre las entradas y las salidas permanece constante. Por ejemplo, un modelo de visión artificial entrenado con imágenes de un tipo de cámara puede tener un rendimiento deficiente con imágenes de una nueva cámara con diferentes propiedades de sensor. La definición de los objetos que se detectan es la misma, pero las características de los datos de entrada han cambiado.
• Deriva de concepto: Esto ocurre cuando las propiedades estadísticas de la variable objetivo cambian con el tiempo. La relación fundamental entre las características de entrada y la variable de salida se altera. En un sistema de detección de fraude financiero, por ejemplo, las tácticas utilizadas por los estafadores evolucionan, cambiando lo que constituye una transacción "fraudulenta". Se puede encontrar una exploración detallada de la deriva de conceptos en la literatura académica.

Ejemplos del mundo real

1. Gestión de inventario minorista: Un sistema minorista impulsado por IA utiliza fuentes de cámara y un modelo de detección de objetos como Ultralytics YOLO11 para supervisar el stock de los estantes. El modelo se entrena en un conjunto específico de embalajes de productos. Si un proveedor cambia el diseño del embalaje o la tienda mejora su iluminación, esto introduce una desviación de los datos. Los nuevos datos visuales difieren del conjunto de datos de entrenamiento original, lo que podría provocar que el modelo no reconozca los productos, lo que provocaría recuentos de inventario inexactos.
2. Vehículos autónomos: Los coches autónomos utilizan modelos entrenados con grandes cantidades de datos de sensores de ubicaciones geográficas y condiciones climáticas específicas. Si un coche se despliega en una nueva ciudad o se encuentra por primera vez con un fenómeno meteorológico raro como la nieve, su sistema de percepción se enfrenta a la deriva de datos. La distribución de las entradas (por ejemplo, marcas viales, señales de tráfico, comportamiento de los peatones) difiere significativamente de su experiencia de entrenamiento, lo que puede comprometer la seguridad y requerir atención inmediata. Waymo y otras empresas de conducción autónoma invierten fuertemente en la detección y mitigación de este problema.

Detección y mitigación de la deriva de datos

La detección y el tratamiento de la deriva de datos es un proceso continuo que implica una combinación de estrategias de supervisión y mantenimiento.

Métodos de detección

• Monitorización del rendimiento: El seguimiento de métricas clave del modelo, como la precisión, la exhaustividad (recall) y la puntuación F1 a lo largo del tiempo, puede indicar una degradación del rendimiento causada potencialmente por la deriva. Herramientas como TensorBoard pueden ayudar a visualizar estas métricas.
• Monitorización Estadística: Aplicación de pruebas estadísticas para comparar la distribución de los datos entrantes con los datos de entrenamiento. Los métodos comunes incluyen la prueba de Kolmogorov-Smirnov, el Índice de Estabilidad de la Población (PSI) o las pruebas de chi-cuadrado.
• Herramientas de monitoreo: Utilización de plataformas de observabilidad especializadas diseñadas para monitorear modelos de ML en producción. Las opciones de código abierto incluyen Prometheus y Grafana, mientras que las herramientas de ML dedicadas como Evidently AI y NannyML ofrecen características de detección de deriva más específicas. Los proveedores de la nube también ofrecen soluciones como AWS SageMaker Model Monitor y Vertex AI Model Monitoring de Google Cloud.

Estrategias de mitigación

• Reentrenamiento: La estrategia más sencilla es reentrenar regularmente el modelo con datos recientes y actualizados que reflejen el entorno de producción actual. Plataformas como Ultralytics HUB facilitan flujos de trabajo sencillos de reentrenamiento e implementación.
• Aprendizaje en línea: Esto implica actualizar el modelo de forma incremental a medida que llegan nuevos datos. Debe usarse con precaución, ya que puede ser sensible a los datos ruidosos y puede hacer que el rendimiento del modelo fluctúe de forma impredecible.
• Aumento de datos: El uso proactivo de técnicas de aumento de datos durante la fase de entrenamiento inicial puede hacer que el modelo sea más robusto a ciertos tipos de variaciones, como los cambios en la iluminación, la escala o la orientación.
• Adaptación de dominio: Emplear técnicas avanzadas que intentan explícitamente adaptar un modelo entrenado en una distribución de datos de origen a una distribución de datos de destino diferente pero relacionada. Esta es un área activa de investigación de ML.

Gestionar eficazmente la deriva de datos es vital para garantizar que los sistemas de IA construidos con frameworks como PyTorch o TensorFlow sigan siendo precisos y aporten valor a lo largo de su vida útil. Puedes obtener más información sobre las mejores prácticas de mantenimiento de modelos en nuestro blog.