Operaciones de aprendizaje automático (MLOps)

Principios básicos de los MLOP

MLOps se basa en varios principios clave diseñados para gestionar las complejidades únicas de los sistemas de ML:

• Automatización: Automatización de tareas repetitivas como la preparación de datos, la formación de modelos, la validación y el despliegue mediante canalizaciones de integración continua/despliegue continuo (CI/CD ) adaptadas para ML.
• Colaboración: Fomento de la comunicación y la colaboración entre los equipos de ciencia de datos, ingeniería de software y operaciones a lo largo del ciclo de vida de ML.
• Control de versiones: Control de versiones de datos, código y modelos para garantizar la reproducibilidad y la trazabilidad. A menudo se utilizan herramientas como DVC junto con Git.
• Supervisión de modelos: Seguimiento continuo del rendimiento del modelo, la calidad de los datos y la salud operativa en producción para detectar problemas como la desviación de datos o la degradación del rendimiento.
• Gobernanza y cumplimiento: Garantizar que los modelos cumplen los requisitos normativos, las directrices éticas(AI Ethics) y las políticas organizativas en materia de privacidad y seguridad de los datos.

El ciclo de vida de MLOps

El ciclo de vida de MLOps abarca todo el recorrido de un modelo ML:

1. Gestión de datos: Ingesta, validación, limpieza(Data Cleaning) y versionado de conjuntos de datos (las guías deetiquetado y preparación dedatos se pueden encontrar en Ultralytics Docs).
2. Desarrollo de modelos: Experimentación con diferentes algoritmos, ingeniería de características y arquitecturas, a menudo utilizando marcos como PyTorch o TensorFlow.
3. Entrenamiento de modelos: Entrenamiento de modelos a escala, potencialmente utilizando entrenamiento distribuido y gestionando experimentos con herramientas como Weights & Biases o MLflow. El ajuste de hiperparámetros suele automatizarse.
4. Validación de modelos: Evaluar el rendimiento del modelo utilizando métricas como la precisión o el mAP en los datos de validación.
5. Despliegue de modelos: Empaquetado(Containerización con Docker) y despliegue de modelos en entornos de producción, potencialmente utilizando plataformas de orquestación como Kubernetes.
6. Supervisión y reentrenamiento de modelos: Seguimiento del rendimiento en tiempo real, detección de desviaciones o decaimientos y activación de líneas de reentrenamiento cuando sea necesario. La observabilidad desempeña aquí un papel fundamental.

MLOps frente a conceptos afines

• MLOps frente a AutoML: mientras que MLOps abarca toda la gestión del ciclo de vida de principio a fin, el aprendizaje automático automatizado (AutoML) se centra específicamente en la automatización de los pasos de creación de modelos (preparación de datos, ingeniería de características, selección de modelos, ajuste de hiperparámetros). Las herramientas AutoML pueden ser un componente dentro de un flujo de trabajo MLOps.
• MLOps vs. Observabilidad: La observabilidad es una capacidad crítica dentro de una estrategia de MLOps. Proporciona las herramientas y prácticas (registro, métricas, rastreo) necesarias para comprender el estado interno y el comportamiento de los sistemas de ML desplegados, lo que permite una supervisión y solución de problemas eficaces.

Aplicaciones reales

Las prácticas de MLOps son esenciales para gestionar sistemas complejos de ML en producción:

1. Sistemas de recomendación: Empresas como Netflix o Spotify utilizan MLOps para reentrenar continuamente modelos de recomendación basados en nuevos datos de interacción del usuario, realizar pruebas A/B de diferentes versiones de modelos, supervisar las métricas de participación y revertir rápidamente los modelos de bajo rendimiento. Esto garantiza que las recomendaciones sigan siendo pertinentes y personalizadas.
2. Detección de fraudes: Las instituciones financieras despliegan canalizaciones MLOps para gestionar los modelos de detección de fraudes. Esto implica supervisar los datos de las transacciones para detectar desviaciones, reentrenar automáticamente los modelos con nuevos patrones de fraude, garantizar una baja latencia de inferencia para la detección en tiempo real y mantener registros de auditoría para el cumplimiento de la normativa. Los modelos YOLO de Ultralytics, cuando se utilizan en sistemas de inspección visual que podrían alimentar la detección de fraudes, también se benefician de MLOps para su despliegue y supervisión.

Herramientas y plataformas

Existen diversas herramientas para las distintas fases del ciclo de vida de MLOps:

• Seguimiento de experimentos y control de versiones: MLflow, pesos y sesgos, DVC, ClearML.
• Orquestación de flujos de trabajo: Kubeflow Pipelines, Apache Airflow.
• Servicio de modelos: KFServing, BentoML, NVIDIA Triton Inference Server.
• Monitorización: Grafana, Prometheus, WhyLabs.
• Plataformas End-to-End: Amazon SageMaker, Google Cloud AI Platform, Microsoft Azure Machine Learning, Ultralytics HUB.

La aplicación de los principios de MLOps ayuda a las organizaciones a crear, desplegar y gestionar sistemas de IA de forma más eficaz, salvando la distancia entre la investigación experimental y las aplicaciones de producción fiables.