Supervisión de modelos

La supervisión de modelos es el proceso continuo de seguimiento y evaluación del rendimiento de los modelos de aprendizaje automático (ML ) una vez desplegados en producción. Implica la observación de métricas clave relacionadas con la precisión del modelo, la salud operativa y las características de los datos para garantizar que el modelo se comporta como se espera a lo largo del tiempo. Esta práctica es una parte crucial del ciclo de vida de las operaciones de aprendizaje automático (MLOps ), ya que garantiza que los sistemas de inteligencia artificial (IA) desplegados sigan siendo fiables, eficaces y dignos de confianza en entornos reales. Sin supervisión, el rendimiento del modelo puede degradarse silenciosamente, lo que lleva a predicciones pobres y resultados empresariales negativos.

¿Por qué es importante la supervisión de modelos?

Los modelos de ML se entrenan con datos históricos, pero el mundo real es dinámico. Los cambios en los patrones de datos, el comportamiento de los usuarios o el entorno pueden hacer que el rendimiento de un modelo disminuya tras su implantación. Entre las razones clave para la supervisión se incluyen:

• Detección de la degradación del rendimiento: Los modelos pueden perder precisión con el tiempo. La supervisión ayuda a identificar las caídas en las métricas de rendimiento, como la precisión, la recuperación o la puntuación F1. Puede obtener más información sobre las métricas de rendimiento YOLO en nuestra guía.
• Identificación de la deriva de datos: Las propiedades estadísticas de los datos de entrada pueden cambiar, fenómeno conocido como deriva de datos. Esto puede ocurrir cuando los datos que el modelo ve en producción difieren significativamente de los datos de entrenamiento.
• Detectar la desviación del concepto: La relación entre las características de entrada y la variable objetivo puede cambiar con el tiempo. Por ejemplo, las preferencias de los clientes pueden evolucionar, haciendo que los antiguos patrones de predicción queden obsoletos. Es lo que se conoce como deriva de conceptos y suele requerir un reentrenamiento del modelo.
• Garantizar la salud operativa: La supervisión realiza un seguimiento de las métricas operativas, como la latencia de inferencia, el rendimiento y las tasas de error, para garantizar que la infraestructura de servicio de modelos funciona correctamente.
• Mantener la equidad y la ética: La supervisión puede ayudar a detectar y mitigar los prejuicios en la IA mediante el seguimiento del rendimiento en diferentes grupos demográficos, promoviendo la ética en la IA.

¿Qué aspectos se controlan?

Una supervisión eficaz de los modelos suele implicar el seguimiento de varias categorías de parámetros:

• Rendimiento de la predicción: Métricas como la exactitud, la precisión media (mAP), el AUC y las tasas de error, a menudo comparadas con puntos de referencia establecidos durante la validación.
• Calidad e integridad de los datos: Seguimiento de valores omitidos, desajustes de tipos de datos y violaciones de rangos en los datos de entrada.
• Deriva de los datos de entrada: Medidas estadísticas (por ejemplo, índice de estabilidad de la población, prueba de Kolmogorov-Smirnov) para comparar la distribución de las características de entrada de producción con la distribución de los datos de entrenamiento.
• Deriva de predicción/salida: Seguimiento de la distribución de las predicciones del modelo para detectar cambios significativos a lo largo del tiempo.
• Métricas operativas: Métricas a nivel de sistema como utilización de CPU/GPU, uso de memoria, latencia de peticiones y rendimiento. Para ello suelen utilizarse plataformas como Prometheus.
• Métricas de imparcialidad y sesgo: Evaluar las disparidades de rendimiento de los modelos en función de atributos sensibles (por ejemplo, edad, sexo) utilizando métricas como la paridad demográfica o las probabilidades igualadas.

Supervisión de modelos frente a conceptos afines

Es importante distinguir la supervisión de modelos de términos similares:

• Observabilidad: Mientras que la supervisión se centra en el seguimiento de métricas predefinidas para evaluar modos de fallo conocidos, la observabilidad proporciona las herramientas (registros, métricas, trazas) para explorar y comprender estados desconocidos del sistema. La observabilidad permite profundizar en la investigación cuando la supervisión detecta una anomalía.
• MLOps: MLOps es un conjunto más amplio de prácticas que abarcan todo el ciclo de vida del ML. La supervisión de modelos es un componente esencial del marco MLOps, que se centra específicamente en el estado del modelo tras su despliegue.
• Evaluación del modelo: La evaluación suele realizarse antes de la implantación utilizando datos de validación estáticos o datos de prueba para valorar la calidad de un modelo. La supervisión es un proceso continuo que se realiza con datos de producción en tiempo real después de la implantación. Aquí encontrará información sobre la evaluación y el ajuste de modelos.

Aplicaciones reales

1. Sistemas de recomendación de comercio electrónico: Una plataforma de comercio electrónico utiliza un modelo ML para su sistema de recomendación. La supervisión del modelo realiza un seguimiento de las tasas de clics (CTR) y de conversión. Si la supervisión detecta una caída repentina del CTR (degradación del rendimiento) o un cambio en los tipos de productos que se compran (deriva conceptual), las alertas pueden desencadenar una investigación y, potencialmente, un reentrenamiento del modelo. Servicios como Amazon Personalize incluyen funciones para supervisar la eficacia de las recomendaciones.
2. Percepción de vehículos autónomos: Los vehículos autónomos se basan en modelos de visión por ordenador como Ultralytics YOLO para la detección de objetos. La supervisión del modelo realiza un seguimiento continuo de la precisión de la detección y las puntuaciones de confianza de objetos como peatones y otros vehículos. También controla la desviación de los datos en las imágenes de entrada (por ejemplo, cambios de brillo o clima). Si el rendimiento disminuye en condiciones específicas, como lluvia intensa, el sistema puede indicar la necesidad de actualizar el modelo entrenado con datos más diversos, posiblemente creados mediante aumento de datos. Empresas como Waymo invierten mucho en supervisar sus sistemas de percepción.

Herramientas y aplicación

La implementación de la monitorización de modelos implica el uso de herramientas y plataformas especializadas. Las opciones van desde bibliotecas de código abierto como Evidently AI y NannyML hasta servicios gestionados de proveedores en la nube como AWS SageMaker Model Monitor, Google Vertex AI Model Monitoring y Azure Machine Learning. Las plataformas MLOps dedicadas como Arize AI o WhyLabs también ofrecen amplias capacidades de supervisión. Plataformas como Ultralytics HUB apoyan el despliegue y la gestión de modelos, integrándose con dichas soluciones de monitorización para completar el ciclo de MLOps. Las estrategias eficaces de mantenimiento de modelos dependen en gran medida de una supervisión sólida.