LLMOps

LLMOps (operaciones de modelos de lenguaje grandes) es el conjunto de prácticas y herramientas para crear, publicar y ejecutar aplicaciones de modelos de lenguaje grandes (LLM) en producción. Abarca el control de versiones de prompts y modelos, la evaluación del texto generado antes y después de la publicación, el seguimiento de solicitudes con varios pasos a través de la recuperación y las llamadas a herramientas, el control de la latencia y el coste de los tokens, y la protección frente a fallos como las alucinaciones y la inyección de prompts. LLMOps es la rama de las operaciones de aprendizaje automático (MLOps) dedicada a estas aplicaciones, y el término se generalizó en 2023 cuando las empresas empezaron a convertir prototipos de chatbots en productos. La mayoría de los equipos adaptan un modelo fundacional alojado o de pesos abiertos mediante ingeniería de prompts, generación aumentada por recuperación (RAG) o ajuste fino, en lugar de entrenar uno desde cero, lo que desplaza la mayor parte del trabajo operativo de las canalizaciones de entrenamiento a todo lo que rodea al modelo.

En qué se diferencia LLMOps de MLOps#

La unidad de publicación es más amplia que un conjunto de pesos. Un cambio puede afectar a la plantilla del prompt, el nombre y la versión del modelo, los ajustes de muestreo, el índice de recuperación y las definiciones de herramientas, y cada elemento tiene su propio control de versiones porque cualquiera de ellos puede alterar el comportamiento. Las herramientas de gestión de prompts guardan plantillas con números de versión que una aplicación obtiene en tiempo de ejecución, por lo que es posible publicar y revertir un cambio en un prompt sin publicar código. Los modelos alojados también pueden cambiar sin que la aplicación lo haga, así que los equipos fijan instantáneas de modelos con fecha cuando los proveedores las ofrecen y vuelven a ejecutar sus pruebas antes de cambiar. El trabajo con datos también cambia: una aplicación RAG versiona los documentos, los ajustes de fragmentación y el modelo de embeddings de su índice de búsqueda, y cambiar el modelo de embeddings obliga a volver a generar los embeddings de todo el corpus. Las variantes ajustadas suelen almacenarse como pequeños adaptadores LoRA que un servidor carga sobre un modelo base compartido.

La evaluación es más difícil porque el texto generado rara vez tiene una única respuesta correcta. Los equipos mantienen un conjunto de datos de referencia con entradas representativas y respuestas de referencia o rúbricas de evaluación, y puntúan las salidas mediante comprobaciones exactas, revisión humana o evaluación con un LLM, en la que un modelo potente califica las respuestas. En el artículo de 2023 Judging LLM-as-a-Judge, Lianmin Zheng y sus colaboradores descubrieron que GPT-4 coincidía con las preferencias humanas más del 80 % de las veces, tanto como las personas coinciden entre sí. Cada versión candidata se somete a la misma batería de pruebas, y el tráfico de producción sigue incorporando casos:

El coste y la latencia se gestionan para cada solicitud. Los modelos alojados cobran por token, así que los equipos reducen el gasto con la caché de prompts, la caché semántica y el enrutamiento de modelos, que envía las solicitudes sencillas a modelos más pequeños. Un patrón relacionado coloca un modelo barato delante de uno caro: la plantilla YOLO → VLM Monitor de Ultralytics Platform Agents ejecuta primero YOLO26 y solo llama al modelo de visión y lenguaje para las imágenes en las que YOLO detecta a una persona; el uso del modelo de lenguaje se factura a la clave del proveedor del propio espacio de trabajo. La seguridad se gestiona en paralelo: las barreras de protección de IA filtran las entradas y salidas en cada solicitud, y el equipo rojo busca jailbreaks antes de cada publicación.

Trazas, pasarelas y servicio#

La observabilidad de las aplicaciones LLM se basa en trazas. Cada solicitud se convierte en un árbol de tramos correspondiente al prompt, cada llamada al modelo, cada recuperación de una base de datos vectorial y cada llamada a herramientas de un agente de IA, con el recuento de tokens, la latencia y el coste asociados. Las convenciones semánticas de IA generativa de OpenTelemetry normalizan los nombres de atributos de los modelos y el uso de tokens, y herramientas como LangSmith, Langfuse, Arize Phoenix y MLflow Tracing almacenan y permiten buscar las trazas. Las trazas también alimentan la evaluación online: las respuestas de producción muestreadas se puntúan con los mismos evaluadores y rúbricas que la batería offline, y los votos positivos o negativos de cada usuario se adjuntan a la traza que generó la respuesta.

Una pasarela de IA se sitúa entre las aplicaciones y los proveedores de modelos, almacena las claves de API y aplica en un solo lugar límites de frecuencia, mecanismos alternativos y presupuestos de gasto. Los equipos que alojan modelos de pesos abiertos los ejecutan en servidores de inferencia como vLLM y SGLang, que usan procesamiento continuo por lotes y memoria paginada de caché KV para atender muchas solicitudes simultáneas en cada GPU.