Machine Learning Operations (MLOps)

Las operaciones de aprendizaje automático (MLOps) son el conjunto de prácticas y herramientas para crear, desplegar y mantener modelos de aprendizaje automático (ML) en producción de forma fiable y repetible. Amplían DevOps, que automatiza las pruebas y la publicación del software, a sistemas cuyo comportamiento depende tanto de los datos como del código: un modelo puede degradarse sin que cambie una sola línea porque ha cambiado el mundo que observa. El propio modelo es una pequeña parte de un sistema de este tipo. La guía de arquitectura de MLOps de Google señala que solo una pequeña fracción de un sistema de ML del mundo real es código de ML; el resto lo conforman la recopilación y verificación de datos, la infraestructura de servicio y la monitorización. Además, el artículo de NeurIPS Deuda técnica oculta en los sistemas de aprendizaje automático describió los costes de mantenimiento a largo plazo que acumula este sistema circundante.

Prácticas principales#

MLOps conecta la ingeniería de datos, el desarrollo de modelos y las operaciones mediante varias prácticas, cada una aplicada tanto al conjunto de datos de entrenamiento como al código:

• Versionado de datos: Cada instantánea de un conjunto de datos recibe una versión inmutable, de modo que se puede rastrear cualquier modelo hasta los datos exactos que lo generaron.
• Seguimiento de experimentos: Cada ejecución de entrenamiento registra su versión del código, versión de los datos, hiperparámetros, métricas y artefactos, para poder comparar y reproducir los resultados.
• Integración continua y entrega: Las canalizaciones automatizadas prueban el código, validan los datos entrantes, vuelven a entrenar los modelos y bloquean cualquier candidato que no supere un control de calidad.
• Registro de modelos: Las versiones de los modelos aprobadas se almacenan con sus metadatos, linaje y fase, como preproducción o producción, para que los despliegues y las reversiones indiquen versiones exactas.
• Servicio de modelos: Los modelos se empaquetan, a menudo en contenedores, y se exponen mediante API o se despliegan en dispositivos periféricos.
• Monitorización de modelos: Se realiza un seguimiento de las entradas, predicciones, latencia y precisión en producción para detectar desviaciones y decidir cuándo volver a entrenar.

La guía de Google describe la madurez en tres niveles. En el nivel 0, los científicos de datos entrenan modelos y los entregan manualmente. El nivel 1 automatiza la propia canalización de entrenamiento y añade el entrenamiento continuo (CT): el reentrenamiento y la publicación automáticos de modelos cuando llegan datos nuevos o se detecta deriva de datos. El nivel 2 también automatiza la compilación, las pruebas y el despliegue del código de la canalización con CI/CD, de modo que las nuevas versiones de la canalización llegan a producción con tanta seguridad como los nuevos modelos. En conjunto, estas prácticas forman un ciclo:

MLOps en la práctica#

• Inspección de fabricación: Cuando una fábrica incorpora una línea de productos, se etiquetan y versionan las nuevas imágenes de defectos, una canalización vuelve a entrenar el modelo de detección y la versión aprobada se despliega en las cámaras periféricas de cada línea sin tiempo de inactividad.
• Supervisión de estanterías en tiendas: Los rediseños de los envases y la iluminación de las tiendas cambian lo que captan las cámaras. La monitorización detecta la caída de las puntuaciones de confianza, las imágenes con baja confianza se envían para su anotación y el modelo reentrenado se distribuye en las tiendas tras superar la evaluación.

Un control de calidad automatiza la decisión de promoción. El siguiente script entrena un modelo candidato de detección de objetos, lo evalúa junto con el modelo actual de producción con los mismos datos de validación y exporta el candidato a ONNX solo si su mAP_50-95 es superior:

from ultralytics import YOLO

# Entrena un candidato; la ejecución guarda sus pesos, args.yaml y results.csv en project/name
candidate = YOLO("yolo26n.pt")
candidate.train(data="coco8.yaml", epochs=10, project="mlops", name="candidate")

# Control de calidad: evalúa el candidato y el modelo de producción con los mismos datos de validación
candidate_map = candidate.val(data="coco8.yaml").box.map
production_map = YOLO("yolo26n.pt").val(data="coco8.yaml").box.map

# Promociona únicamente una mejora, exportada en un formato compatible con la pila de servicio
if candidate_map > production_map:
    candidate.export(format="onnx")

En una canalización de producción, un planificador o una tarea de CI ejecuta un script como este cada vez que llegan datos nuevos etiquetados, y el modelo exportado se registra con su versión de datos y sus métricas. Ultralytics Platform cubre este ciclo de vida de los modelos de visión en un único espacio de trabajo, con versiones inmutables de conjuntos de datos, entrenamiento en la nube con métricas en tiempo real, exportación a formatos como TensorRT, puntos de conexión de inferencia dedicados y monitorización de modelos desplegados.

MLOps frente a términos relacionados#

• DevOps: Automatiza la creación, las pruebas y la publicación del software, donde un cambio en el código activa la canalización. MLOps añade los datos y los modelos como recursos versionados, de modo que también puede activarla la llegada de datos nuevos o una caída de la precisión en producción.
• LLMOps: Rama de MLOps dedicada a las aplicaciones de modelos de lenguaje grandes, centrada en las instrucciones, la recuperación, la evaluación del texto generado y los costes de los tokens.
• Aprendizaje automático automatizado (AutoML): Automatiza la creación de un modelo, por ejemplo, la selección de algoritmos e hiperparámetros. MLOps gestiona el ciclo de vida que lo rodea, desde el versionado de datos hasta la monitorización, y suele utilizar AutoML como una etapa de la canalización.
• MLflow y Weights & Biases: Herramientas que cubren partes del ciclo de vida, como el seguimiento y los registros de modelos. MLOps es la práctica que combina estas herramientas con canalizaciones, servicio y monitorización.