LLMOps

LLMOps (operações com modelos de linguagem grandes) é o conjunto de práticas e ferramentas para criar, lançar e executar aplicações com modelos de linguagem grandes (LLMs) em produção. Abrange o controle de versões de prompts e escolhas de modelos, a avaliação do texto gerado antes e depois do lançamento, o rastreamento de solicitações com várias etapas por processos de recuperação e chamadas de ferramentas, o controle de latência e custos de tokens e a proteção contra falhas como alucinações e injeção de prompts. LLMOps é o ramo de operações de aprendizado de máquina (MLOps) voltado para essas aplicações, e o termo se popularizou em 2023, quando as empresas passaram a transformar protótipos de chatbots em produtos. A maioria das equipes adapta um modelo-base hospedado ou de pesos abertos por meio de engenharia de prompts, geração aumentada por recuperação (RAG) ou ajuste fino, em vez de treiná-lo do zero, transferindo a maior parte do trabalho operacional dos pipelines de treinamento para tudo o que envolve o modelo.

Como LLMOps difere de MLOps#

A unidade de lançamento é maior do que um conjunto de pesos. Uma única alteração pode afetar o modelo do prompt, o nome e a versão do modelo, as configurações de amostragem, o índice de recuperação e as definições das ferramentas, e cada elemento tem controle de versão porque qualquer um deles pode alterar o comportamento. As ferramentas de gerenciamento de prompts armazenam modelos com números de versão que uma aplicação busca durante a execução, para que uma alteração no prompt possa ser lançada e revertida sem um lançamento de código. Os modelos hospedados também podem mudar sem que a aplicação perceba; por isso, as equipes fixam versões datadas dos modelos quando os fornecedores as disponibilizam e repetem os testes antes de mudar. O trabalho com dados também muda: uma aplicação RAG controla as versões dos documentos, das configurações de divisão em trechos e do modelo de embeddings usado pelo índice de busca, e trocar o modelo de embeddings significa recalcular os embeddings de todo o corpus. As variantes ajustadas costumam ser armazenadas como pequenos adaptadores LoRA que um servidor carrega sobre um modelo-base compartilhado.

A avaliação é mais difícil porque o texto gerado raramente tem uma única resposta correta. As equipes mantêm um conjunto de dados de referência com entradas representativas e respostas de referência ou critérios de avaliação, e pontuam as saídas com verificações exatas, análise humana ou avaliação por um LLM, em que um modelo robusto classifica as respostas. No artigo de 2023 Judging LLM-as-a-Judge, Lianmin Zheng e colegas constataram que o GPT-4 concordava com as preferências humanas em mais de 80% dos casos, tanto quanto os próprios humanos concordam entre si. Cada versão candidata passa pelo mesmo conjunto de testes, e o tráfego de produção continua acrescentando casos:

Os custos e a latência são gerenciados por solicitação. Os modelos hospedados cobram por token, portanto as equipes reduzem os gastos com cache de prompts, cache semântico e roteamento de modelos, que envia solicitações simples a modelos menores. Um padrão relacionado coloca um modelo barato diante de um modelo caro: o modelo YOLO → VLM Monitor em Ultralytics Platform Agents executa primeiro o YOLO26 e só chama o modelo de visão e linguagem para imagens nas quais o YOLO detecta uma pessoa; o uso do modelo de linguagem é cobrado à chave do fornecedor da própria equipe. O trabalho de segurança ocorre em paralelo: as proteções de IA filtram entradas e saídas em cada solicitação, e a equipe vermelha procura vulnerabilidades de jailbreak antes de cada lançamento.

Rastreamento, gateways e disponibilização#

A observabilidade das aplicações LLM é baseada em rastros. Cada solicitação se transforma numa árvore de intervalos para o prompt, cada chamada ao modelo, cada recuperação de um banco de dados vetorial e cada chamada de ferramenta por um agente de IA, com contagens de tokens, latência e custos associados. As convenções semânticas de IA generativa do OpenTelemetry padronizam os nomes dos atributos para modelos e uso de tokens; ferramentas como LangSmith, Langfuse, Arize Phoenix e MLflow Tracing armazenam e pesquisam os rastros. Os rastros também alimentam a avaliação online: respostas de produção amostradas são pontuadas com os mesmos avaliadores e critérios do conjunto offline, e o voto positivo ou negativo de cada usuário é associado ao rastro que gerou a resposta.

Um gateway de IA fica entre as aplicações e os fornecedores de modelos, armazenando as chaves de API e aplicando limites de taxa, alternativas de contingência e orçamentos de gastos num só lugar. As equipes que hospedam modelos de pesos abertos executam-nos em servidores de inferência como vLLM e SGLang, que usam agrupamento contínuo e memória KV cache paginada para atender muitas solicitações simultâneas em cada GPU.