Monitorização de modelos

A monitorização de modelos é o processo contínuo de acompanhamento e avaliação do desempenho dos modelos de aprendizagem automática (ML) depois de serem implementados na produção. Envolve a observação das principais métricas relacionadas com a precisão do modelo, a integridade operacional e as caraterísticas dos dados para garantir que o modelo se comporta como esperado ao longo do tempo. Esta prática é uma parte crucial do ciclo de vida das Operações de Aprendizagem Automática (MLOps), garantindo que os sistemas de Inteligência Artificial (IA) implementados permanecem fiáveis, eficazes e dignos de confiança em ambientes reais. Sem monitorização, o desempenho do modelo pode degradar-se silenciosamente, conduzindo a previsões fracas e a resultados comerciais negativos.

Porque é que a monitorização de modelos é importante?

Os modelos de ML são treinados com base em dados históricos, mas o mundo real é dinâmico. As alterações nos padrões de dados, no comportamento do utilizador ou no ambiente podem fazer com que o desempenho de um modelo diminua após a implementação. As principais razões para a monitorização incluem:

• Detetar a degradação do desempenho: Os modelos podem tornar-se menos precisos ao longo do tempo. O monitoramento ajuda a identificar quedas nas métricas de desempenho, como precisão, recall ou F1-score. Pode saber mais sobre as métricas de desempenho YOLO no nosso guia.
• Identificar a deriva de dados: As propriedades estatísticas dos dados de entrada podem mudar, um fenómeno conhecido como desvio de dados. Isto pode acontecer quando os dados que o modelo vê na produção diferem significativamente dos dados de treino.
• Detetar a deriva do conceito: A relação entre as caraterísticas de entrada e a variável-alvo pode mudar ao longo do tempo. Por exemplo, as preferências dos clientes podem evoluir, tornando obsoletos os antigos padrões de previsão. Este fenómeno é conhecido como desvio de conceito e requer frequentemente a reciclagem do modelo.
• Garantir a integridade operacional: O monitoramento rastreia métricas operacionais como latência de inferência, taxa de transferência e taxas de erro para garantir que a infraestrutura de fornecimento de modelos esteja funcionando sem problemas.
• Manter a equidade e a ética: A monitorização pode ajudar a detetar e atenuar os preconceitos na IA, acompanhando o desempenho em diferentes grupos demográficos, promovendo a ética da IA.

Que aspectos são controlados?

A monitorização eficaz do modelo envolve normalmente o acompanhamento de várias categorias de métricas:

• Desempenho da previsão: Métricas como a exatidão, a precisão média (mAP), a AUC e as taxas de erro, muitas vezes comparadas com parâmetros de referência estabelecidos durante a validação.
• Qualidade e integridade dos dados: Controlo de valores em falta, incompatibilidades de tipo de dados e violações de intervalo nos dados de entrada.
• Desvio de dados de entrada: Medidas estatísticas (por exemplo, índice de estabilidade da população, teste de Kolmogorov-Smirnov) para comparar a distribuição das caraterísticas de entrada da produção com a distribuição dos dados de treino.
• Desvio de previsão/resultado: Monitorização da distribuição das previsões do modelo para detetar mudanças significativas ao longo do tempo.
• Métricas operacionais: Métricas no nível do sistema, como utilização de CPU/GPU, uso de memória, latência de solicitação e taxa de transferência. Plataformas como o Prometheus são frequentemente usadas para isso.
• Métricas de equidade e viés: Avaliar as disparidades de desempenho do modelo em atributos sensíveis (por exemplo, idade, género) utilizando métricas como paridade demográfica ou probabilidades igualadas.

Monitorização de modelos vs. conceitos relacionados

É importante distinguir a monitorização de modelos de termos semelhantes:

• Observabilidade: Enquanto a monitorização se concentra no acompanhamento de métricas predefinidas para avaliar os modos de falha conhecidos, a observabilidade fornece as ferramentas (registos, métricas, traços) para explorar e compreender os estados desconhecidos do sistema. A observabilidade permite uma investigação mais profunda quando a monitorização detecta uma anomalia.
• MLOps: O MLOps é um conjunto mais vasto de práticas que abrange todo o ciclo de vida do ML. A monitorização de modelos é um componente crítico no âmbito da estrutura MLOps, centrando-se especificamente na saúde do modelo pós-implementação.
• Avaliação do modelo: A avaliação é normalmente efectuada antes da implementação, utilizando dados de validação estática ou dados de teste para avaliar a qualidade de um modelo. A monitorização é um processo contínuo realizado em dados de produção em tempo real após a implementação. Encontre informações sobre a avaliação e o aperfeiçoamento do modelo aqui.

Aplicações no mundo real

1. Sistemas de recomendação para comércio eletrónico: Uma plataforma de comércio eletrónico utiliza um modelo de ML para o seu sistema de recomendação. A monitorização do modelo acompanha as taxas de cliques (CTR) e as taxas de conversão. Se a monitorização detetar uma queda repentina na CTR (degradação do desempenho) ou uma mudança nos tipos de produtos que estão a ser comprados (desvio de conceito), os alertas podem desencadear uma investigação e, potencialmente, a reciclagem do modelo. Serviços como o Amazon Personalize incluem funcionalidades para monitorizar a eficácia das recomendações.
2. Perceção de veículos autónomos: Os carros autónomos dependem de modelos de visão por computador como o Ultralytics YOLO para a deteção de objectos. A monitorização do modelo acompanha continuamente a precisão da deteção e as pontuações de confiança para objectos como peões e outros veículos. Também monitoriza o desvio de dados nas imagens de entrada (por exemplo, alterações no brilho ou no clima). Se o desempenho se degradar em condições específicas, como chuva forte, o sistema pode assinalar a necessidade de actualizações do modelo treinado em dados mais diversificados, possivelmente criados utilizando o aumento de dados. Empresas como a Waymo investem fortemente na monitorização dos seus sistemas de perceção.

Ferramentas e implementação

A implementação da monitorização de modelos envolve a utilização de ferramentas e plataformas especializadas. As opções vão desde bibliotecas de código aberto, como a Evidently AI e a NannyML, até serviços geridos por fornecedores de nuvem, como o AWS SageMaker Model Monitor, o Google Vertex AI Model Monitoring e o Azure Machine Learning. As plataformas dedicadas de MLOps, como a Arize AI ou a WhyLabs, também fornecem capacidades de monitorização extensivas. Plataformas como o Ultralytics HUB suportam a implantação e o gerenciamento de modelos, integrando-se a essas soluções de monitoramento para concluir o ciclo de MLOps. Estratégias eficazes de manutenção de modelos dependem muito de um monitoramento robusto.