Supervisión de modelos

¿Por qué es importante la supervisión de modelos?

Los modelos de ML se entrenan con datos históricos, pero el mundo real es dinámico. Los cambios en los patrones de datos, el comportamiento de los usuarios o el entorno pueden hacer que el rendimiento de un modelo disminuya tras su despliegue. Entre las razones clave para la monitorización se incluyen:

• Detectar la degradación del rendimiento: Los modelos pueden perder precisión con el tiempo. La monitorización ayuda a identificar caídas en las métricas de rendimiento, como la precisión, la recuperación o la puntuación F1. Puedes obtener más información sobre las métricas de rendimientoYOLO en nuestra guía.
• Identificar la deriva de los datos: Las propiedades estadísticas de los datos de entrada pueden cambiar, fenómeno conocido como deriva de datos. Esto puede ocurrir cuando los datos que el modelo ve en la producción difieren significativamente de los datos de entrenamiento. Controlar las características de entrada ayuda a detectar esos cambios.
• Detectar la deriva del concepto: La relación entre las características de entrada y la variable objetivo puede cambiar con el tiempo (deriva conceptual). Por ejemplo, las preferencias de los clientes pueden evolucionar, dejando obsoletos los antiguos patrones de predicción. La desviación de conceptos requiere un reentrenamiento o adaptación del modelo.
• Garantizar la salud operativa: La monitorización realiza un seguimiento de las métricas operativas, como la latencia de inferencia, el rendimiento y las tasas de error, para garantizar que la infraestructura de serviciode modelos (model serving) funciona sin problemas.
• Mantener la imparcialidad y la ética: La supervisión puede ayudar a detectar y mitigar el sesgo en la IA mediante el seguimiento del rendimiento en diferentes grupos demográficos o segmentos de datos, promoviendo la ética en la IA.

¿Qué aspectos se controlan?

Una supervisión eficaz del modelo suele implicar el seguimiento de varias categorías de métricas:

• Rendimiento de la predicción: Métricas como la precisión, la Precisión Media (mAP), el AUC y las tasas de error, a menudo comparadas con puntos de referencia establecidos durante la validación.
• Calidad e integridad de los datos: Seguimiento de valores omitidos, desajustes de tipos de datos y violaciones de rangos en los datos de entrada.
• Deriva de los datos de entrada: Medidas estadísticas (por ejemplo, índice de estabilidad de la población, prueba de Kolmogorov-Smirnov) para comparar la distribución de las características de entrada de la producción con la distribución de los datos de entrenamiento.
• Deriva de predicción/salida: Control de la distribución de las predicciones del modelo para detectar cambios significativos.
• Métricas operativas: Métricas a nivel de sistema como CPU/GPU el uso de memoria, la latencia de las peticiones y el rendimiento. Para ello se suelen utilizar plataformas como Prometheus.
• Métricas de imparcialidad y sesgo: Evaluar las disparidades de rendimiento del modelo en función de atributos sensibles (por ejemplo, edad, sexo, etnia) utilizando métricas como la paridad demográfica o las probabilidades igualadas.

Supervisión de modelos frente a conceptos relacionados

Es importante distinguir la supervisión de modelos de términos similares:

• Observabilidad: Mientras que la monitorización se centra en el seguimiento de métricas predefinidas para evaluar modos de fallo conocidos, la observabilidad proporciona las herramientas (registros, métricas, trazas) para explorar y comprender estados y comportamientos desconocidos del sistema. La observabilidad permite una investigación más profunda cuando la monitorización detecta una anomalía.
• MLOps: MLOps es un conjunto más amplio de prácticas que abarcan todo el ciclo de vida del ML, incluida la gestión de datos, la formación de modelos, el despliegue, la gobernanza y la supervisión. La supervisión de los modelos es un componente crítico dentro del marco de MLOps, que se centra específicamente en la salud de los modelos tras su despliegue.
• Evaluación del modelo: La evaluación suele realizarse antes de la implantación, utilizando datos de validación estáticos o datos de prueba para valorar la calidad de un modelo. La supervisión es un proceso continuo que se realiza con datos de producción en vivo después de la implantación. Aquí encontrarás información sobre la evaluación y el ajuste del modelo.

Aplicaciones en el mundo real

1. Sistemas de recomendación de comercio electrónico: Una plataforma de comercio electrónico utiliza un modelo ML para las recomendaciones de productos(sistema de recomendación). La monitorización del modelo realiza un seguimiento de las tasas de clics (CTR) y de conversión de los artículos recomendados. Si la monitorización detecta una caída repentina del CTR (degradación del rendimiento) o un cambio en los tipos de productos que se compran (deriva conceptual debida a una nueva tendencia), se activan alertas. Esto impulsa la investigación y, potencialmente, el reentrenamiento del modelo con datos de interacción más recientes. Amazon Personalize incluye funciones para controlar la eficacia de las recomendaciones.
2. Percepción del vehículo autónomo: Los coches autónomos dependen en gran medida de modelos de visión por ordenador como Ultralytics YOLO para la detección de objetos. La monitorización del modelo realiza un seguimiento continuo de la precisión de la detecciónYOLO métrica de rendimiento deYOLO ) y de las puntuaciones de confianza de objetos como peatones, ciclistas y otros vehículos. También supervisa las características de los datos de entrada (por ejemplo, el brillo de la imagen, las condiciones meteorológicas) para detectar desviaciones. Si el rendimiento del modelo se degrada significativamente en condiciones específicas (por ejemplo, lluvia intensa, poca luz), el sistema podría cambiar a un modo operativo más seguro o señalar la necesidad de actualizaciones del modelo entrenadas con datos más diversos(aumento de datos). Empresas como Waymo invierten mucho en supervisar sus sistemas de percepción.

Herramientas y aplicación

La implementación de la monitorización de modelos suele implicar el uso de herramientas y plataformas especializadas. Las opciones van desde bibliotecas de código abierto como Evidently AI y NannyML hasta servicios gestionados ofrecidos por proveedores en la nube(AWS SageMaker Model Monitor, Google Vertex AI Model Monitoring, Azure Machine Learning data drift detection) y plataformas MLOps dedicadas como Arize AI o WhyLabs. Plataformas como Ultralytics HUB proporcionan una infraestructura que soporta el despliegue y la gestión de modelos, integrándose con soluciones de monitorización para completar el ciclo de MLOps. Las estrategias eficaces de mantenimiento de modelos dependen en gran medida de una supervisión sólida.