Monitorando modelos de visão computacional implantados na Ultralytics Platform

Testar modelos de visão computacional que analisam imagens e vídeos nem sempre é o mesmo que executá-los em produção. Durante o desenvolvimento, tais modelos ou algoritmos são testados em conjuntos de dados limpos e bem preparados, onde as condições são controladas e previsíveis.

Uma vez implementados, as coisas tornam-se mais dinâmicas. Os modelos são expostos a tráfego do mundo real, onde os volumes de pedidos podem variar, os tempos de resposta podem mudar e falhas ocasionais podem ocorrer.

Nesta fase, o foco muda para saber se o sistema está a funcionar de forma fiável, com pontos de extremidade (endpoints) que permanecem disponíveis, responsivos e estáveis sob condições variáveis.

É por isso que a monitorização é essencial. Ela fornece uma visão clara de como os endpoints implementados se comportam em produção através de métricas como volume de pedidos, latência, taxas de erro e saúde geral do sistema.

Para facilitar isto, ter as ferramentas certas torna-se tão importante quanto o próprio modelo. Recentemente, a Ultralytics introduziu a Ultralytics Platform, o nosso novo ambiente de ponta a ponta que reúne todo o fluxo de trabalho de visão computacional, desde dados e treino até à implementação e monitorização.

Fig 1. Dashboard de implementação da Ultralytics Platform com funcionalidades de monitorização (Fonte)

Com a monitorização integrada diretamente neste fluxo de trabalho, os utilizadores podem acompanhar a saúde dos endpoints, inspecionar o comportamento dos pedidos e manter sistemas fiáveis sem depender de ferramentas separadas. Neste artigo, exploraremos como utilizar a Ultralytics Platform para monitorizar endpoints de modelos implementados e manter os sistemas de produção a funcionar sem problemas. Vamos começar!

Link to this sectionUma visão geral da monitorização de modelos de IA#

No ciclo de vida de um modelo de IA, a monitorização refere-se à observação de como os sistemas implementados se comportam quando um modelo está ativo e a servir pedidos do mundo real. Embora o treino e a validação mostrem como um modelo de machine learning (modelo ML) funciona em conjuntos de dados preparados, a monitorização foca-se em como o endpoint implementado opera num ambiente de produção.

Uma parte crucial da monitorização é o rastreio de métricas ao nível do sistema que refletem a fiabilidade e a capacidade de resposta. Métricas como latência e tempo de atividade (uptime) ajudam a indicar quão bem o sistema está a lidar com os pedidos recebidos. A latência mede quanto tempo demora a processar um pedido e a devolver uma resposta, enquanto o tempo de atividade destaca a consistência com que o endpoint permanece disponível.

Outro aspeto fundamental é a observabilidade, que fornece visibilidade sobre como os pedidos são tratados. Cada vez que uma entrada, como uma imagem ou um frame de vídeo, é enviada para um modelo implementado, é processada como um pedido de inferência.

Os logs capturam estes pedidos juntamente com detalhes como timestamps, tempos de resposta e códigos de estado. Estes logs tornam mais fácil rastrear pedidos, depurar problemas e investigar falhas quando ocorrem. São especialmente úteis para identificar padrões como erros repetidos, respostas lentas ou comportamento inesperado do sistema.

Ao combinar métricas e logs, a monitorização ajuda os utilizadores a compreender como os seus sistemas estão a operar em produção e a responder rapidamente a problemas à medida que surgem.

Link to this sectionUm olhar sobre as métricas de desempenho do modelo vs métricas do sistema#

Antes de mergulhar na monitorização de produção, vamos discutir a diferença entre as métricas de desempenho do modelo e as métricas do sistema.

Tipicamente, a monitorização do modelo está associada a métricas de avaliação, também conhecidas como métricas de modelo, como precisão, recall e mAP (mean average precision). Estas métricas são usadas para descrever o comportamento do modelo e avaliar a qualidade das previsões do modelo, muitas vezes em relação a dados de produção ou dados de entrada. Podem ser particularmente úteis para identificar casos limite (edge cases) ou valores atípicos (outliers) em novos dados.

No entanto, isto é diferente de monitorizar um sistema implementado em produção. Neste contexto, a monitorização foca-se em como o sistema está a correr em vez de avaliar diretamente as previsões do modelo.

Em vez de métricas de modelo, a monitorização da implementação baseia-se em sinais ao nível do sistema, como volume de pedidos, latência, taxas de erro e tempo de atividade. Estas métricas fornecem visibilidade sobre como os endpoints lidam com os dados de entrada, com que consistência respondem e como operam em ambientes de produção.

Link to this sectionO papel da monitorização de modelos em projetos de visão computacional#

A seguir, vamos ver um exemplo do mundo real que destaca a necessidade de um sistema de monitorização em implementações de visão computacional.

Considera uma solução de visão que utiliza pose estimation, uma tarefa de visão computacional usada para identificar e analisar os movimentos do corpo humano, para monitorizar trabalhadores da construção civil quanto ao cumprimento das normas de segurança. Durante a implementação inicial do modelo, tal sistema pode ter um bom desempenho sob condições controladas, com visibilidade clara e cenários padrão.

No entanto, os estaleiros de construção reais introduzem complexidade adicional. Os volumes de pedidos podem variar ao longo do dia, as condições de rede podem ser inconsistentes e múltiplas câmaras ou endpoints podem estar a enviar dados ao mesmo tempo. Estes fatores podem levar a respostas mais lentas ou falhas ocasionais se o sistema não for devidamente monitorizado.

Fig 2. Pose estimation a ser usada para monitorizar trabalhadores num estaleiro de construção (Fonte)

Num ambiente de produção como este, torna-se importante compreender quão fiável é o funcionamento do sistema. A monitorização fornece visibilidade sobre se os endpoints estão disponíveis, quão rapidamente respondem aos pedidos recebidos e quão consistentemente lidam com o tráfego ao longo do tempo.

Por exemplo, um aumento na latência pode apontar para uma carga mais elevada ou restrições de recursos, enquanto um aumento nas taxas de erro pode indicar problemas com o tratamento de pedidos ou a estabilidade do sistema. Os logs adicionam mais contexto ao mostrar como os pedidos individuais são processados e onde ocorrem as falhas.

Ao rastrear estes sinais, entusiastas de IA e cientistas de dados podem identificar problemas precocemente, solucionar falhas de forma mais eficaz e garantir que os seus sistemas continuam a funcionar de forma fiável à medida que as condições do mundo real mudam.

Link to this sectionUtilizar a Ultralytics Platform para monitorizar modelos de visão implementados#

Em muitos fluxos de trabalho de deep learning, a monitorização é muitas vezes gerida usando ferramentas separadas para registo, métricas e saúde do sistema. Esta configuração fragmentada pode tornar difícil obter uma visão clara de como os endpoints implementados estão a operar em produção e aumenta a complexidade da gestão das implementações.

A Ultralytics Platform simplifica isto ao trazer a monitorização diretamente para um ambiente unificado que cobre todo o fluxo de trabalho de visão computacional, desde a ingestão e anotação de dados até ao treino, implementação e monitorização.

Com esta configuração integrada, os utilizadores podem acompanhar a forma como os seus endpoints implementados lidam com o tráfego do mundo real sem configurar sistemas de registo externos ou dashboards adicionais. Tudo está disponível num só lugar, tornando mais fácil observar o comportamento do sistema e manter implementações fiáveis ao longo do tempo.

As funcionalidades de monitorização podem ser acedidas diretamente a partir do separador Deploy. A partir de um único dashboard, os utilizadores podem rastrear métricas chave, analisar o comportamento ao nível do pedido e visualizar tendências. Estas visualizações integradas tornam mais fácil compreender o desempenho das soluções sem alternar entre ferramentas.

Ao reunir a monitorização, implementação e gestão de modelos dentro do fluxo de trabalho mais amplo, a plataforma reduz a complexidade. Isto torna mais simples focar na gestão das implementações, na otimização do desempenho do sistema e na manutenção da fiabilidade.

Link to this sectionFuncionalidades de monitorização integradas da Ultralytics Platform#

Em implementações do mundo real, a monitorização depende de ter uma visibilidade clara de como os sistemas estão a funcionar à medida que as condições mudam ao longo do tempo. Vai além de rastrear algumas métricas e envolve compreender como os endpoints implementados se comportam em vários ambientes e gerir múltiplas implementações de forma eficaz.

Inspirada pelo feedback da comunidade de visão IA sobre desafios comuns de visão computacional, a Ultralytics Platform inclui várias capacidades que tornam a monitorização mais prática e escalável.

Aqui está uma visão geral de algumas destas funcionalidades chave:

• Visibilidade global da implementação: A página Deploy inclui um mapa mundial interativo que exibe as regiões de implementação com indicadores visuais para endpoints ativos e em progresso, permitindo aos utilizadores monitorizar a distribuição geográfica e a atividade regional.
• Vistas de dashboard flexíveis: O dashboard de implementações fornece múltiplos modos de visualização, incluindo vista de cartões, grelha compacta e vista de tabela com colunas ordenáveis como nome, região, estado e pedidos, apoiando a monitorização estruturada e a comparação.
• Monitorização de múltiplos endpoints: O dashboard agrega dados de monitorização em todas as implementações usando cartões de visão geral e listas de implementações.
• Políticas de retenção de dados: Os dados de monitorização são retidos por um período definido, com métricas disponíveis por 30 dias e logs por 7 dias, apoiando a análise de desempenho recente e fluxos de trabalho de depuração.
• Suporte de monitorização externa: Os endpoints de implementação podem ser monitorizados usando ferramentas externas como Datadog, New Relic e serviços de monitorização de tempo de atividade, ou acedidos via endpoints da API para monitorização personalizada e verificações de saúde.

A seguir, percorreremos algumas destas funcionalidades com mais detalhe e veremos como podem ser usadas para monitorizar endpoints implementados em produção.

Link to this sectionComo rastrear métricas de desempenho chave usando a Ultralytics Platform#

Uma vez que um modelo é implementado, a monitorização começa com o rastreio das métricas chave do sistema. Embora métricas como precisão e recall sejam úteis durante o desenvolvimento, a monitorização de produção foca-se em sinais ao nível do sistema, como tempo de resposta e taxas de erro, que fornecem insights mensuráveis sobre quão fiável é a forma como os endpoints lidam com o tráfego do mundo real.

A Ultralytics Platform fornece um dashboard centralizado que oferece uma visão clara da atividade do endpoint e do comportamento do sistema. Em particular, o dashboard de implementação inclui quatro métricas chave que mostram como os endpoints estão a ser usados e como respondem aos pedidos recebidos.

Aqui está um olhar mais atento sobre estas métricas:

• Total de pedidos: O número total de pedidos feitos em todos os endpoints durante um período de 24 horas. Isto ajuda a identificar padrões de uso e a procura geral.
• Implementações ativas: O número de endpoints atualmente em execução e a servir pedidos.
• Latência P95: O tempo de resposta dentro do qual 95% dos pedidos são concluídos. Isto dá uma visão mais realista do desempenho ao contabilizar respostas mais lentas.
• Taxa de erro: É a percentagem de pedidos falhados em relação ao número total de pedidos. Esta métrica ajuda a identificar problemas e pode ser usada para detetar anomalias.

Simplificando, estas métricas fornecem uma visão clara de como os endpoints implementados operam em produção. Ao analisar padrões de uso, equipas e indivíduos podem compreender a distribuição do tráfego, identificar períodos de carga de pico e garantir que os sistemas permanecem responsivos e fiáveis à medida que o uso cresce.

Link to this sectionCompreender o comportamento de implementação do modelo através de logs#

Embora as métricas forneçam uma visão de alto nível do desempenho do sistema, os logs oferecem um olhar mais detalhado sobre como os endpoints implementados lidam com pedidos individuais. Os logs registam cada pedido enviado para um endpoint juntamente com a resposta correspondente.

São úteis para rastrear problemas, inspecionar falhas e compreender como os pedidos são processados. Dentro da Ultralytics Platform, podes selecionar qualquer implementação para ver os seus detalhes, incluindo logs.

Fig 3. Um exemplo de logs dentro da Ultralytics Platform (Fonte)

Uma entrada de log na plataforma é exibida num formato estruturado, tornando mais fácil entender o que aconteceu durante cada pedido. Cada entrada inclui um nível de severidade, que indica quão importante é o evento, juntamente com um timestamp mostrando quando ocorreu.

Também contém uma mensagem a descrever o evento e detalhes relacionados com HTTP, tais como códigos de estado e latência. Esta informação ajuda a rastrear pedidos, apoiar a resolução de problemas e depurar questões de forma mais eficaz. Além disso, os logs são agrupados por severidade, pelo que os utilizadores podem priorizar as implementações que precisam de atenção.

Link to this sectionAnalisar a saúde e fiabilidade do endpoint na Ultralytics Platform#

A monitorização também envolve a compreensão da saúde geral dos endpoints implementados, incluindo se estão a funcionar corretamente, a responder a tempo e a tratar pedidos consistentemente sem erros. A Ultralytics Platform fornece uma visão clara do estado de saúde de cada implementação, tornando direto verificar se os endpoints estão a operar conforme esperado.

A plataforma inclui indicadores visuais de saúde para cada implementação, exibidos em cartões de implementação individuais.

Por exemplo, um indicador verde mostra que o endpoint está saudável e a responder normalmente, enquanto um indicador vermelho sinaliza problemas ou tempo de inatividade. Um ícone a girar indica que o sistema está a verificar ativamente o estado da implementação.

Ao rastrear a saúde do endpoint ao longo do tempo, torna-se possível detetar problemas precocemente, manter um desempenho consistente e garantir uma experiência estável para as aplicações que correm em produção.

Link to this sectionA ligação entre dados de monitorização e melhoria de desempenho#

A monitorização de modelos não é apenas sobre o rastreio de métricas. Cria um ciclo de feedback que apoia a melhoria contínua ao longo do tempo. À medida que os endpoints lidam com tráfego do mundo real, surgem padrões nas métricas e nos logs que podem revelar problemas como aumento da latência, taxas de erro mais elevadas ou comportamento inconsistente do sistema.

A monitorização destaca áreas que precisam de atenção. Por exemplo, uma latência consistentemente alta pode indicar a necessidade de uma melhor alocação de recursos ou escalonamento, enquanto uma taxa de erro crescente pode apontar para problemas com o tratamento de pedidos ou a estabilidade do sistema.

Uma vez identificados estes problemas, podem ser tomadas medidas para melhorar a fiabilidade. Isto pode envolver o ajuste da infraestrutura, o escalonamento de recursos ou a correção de problemas na forma como os pedidos são processados. Após estas alterações, os sistemas podem continuar a ser monitorizados para confirmar que o desempenho melhorou.

Ao ligar a monitorização com melhorias contínuas, os utilizadores podem manter sistemas robustos à medida que o uso cresce e as condições mudam.

Link to this sectionExplorar um exemplo do mundo real: Monitorizar o manuseamento de bagagem na aviação#

Para obter uma melhor compreensão do impacto da monitorização num cenário do mundo real, vamos explorar como se aplica à automatização de operações de solo na aviação.

Pensa num sistema de visão concebido para monitorizar o carregamento e descarregamento de bagagem durante as operações de solo das aeronaves. Nesta configuração, um modelo de deteção de objetos como o Ultralytics YOLO26 pode ser usado para detetar se a bagagem cai das passadeiras transportadoras ou do equipamento de manuseamento.

Durante os testes e a implementação inicial, o sistema em tempo real pode ter um bom desempenho, identificando a bagagem com precisão e respondendo rapidamente.

Num ambiente de aeroporto real, contudo, as condições são muito menos previsíveis. A iluminação muda ao longo do dia, múltiplas câmaras transmitem dados ao mesmo tempo e os volumes de pedidos disparam durante os períodos de maior movimento. Estes fatores podem fazer com que a latência aumente ou que erros apareçam, e sem visibilidade sobre o sistema, tais problemas podem facilmente passar despercebidos.

É aqui que a monitorização se torna valiosa. Ao rastrear métricas como volume de pedidos, latência e taxas de erro juntamente com logs detalhados, as equipas podem ver rapidamente quando um endpoint está a ficar lento ou a falhar. Se a latência subir durante as horas de ponta, pode sinalizar a necessidade de escalar recursos, enquanto um aumento repentino de erros pode apontar para problemas com câmaras específicas ou com o tratamento de pedidos. Agir sobre estes sinais ajuda a manter o sistema fiável, para que o manuseamento de bagagem possa continuar a ser monitorizado com precisão, mesmo à medida que as condições mudam.

Link to this sectionPrincipais pontos#

A monitorização é o que mantém os modelos de visão computacional implementados fiáveis quando deixam as condições controladas do desenvolvimento e começam a lidar com tráfego do mundo real. Ao focar-se em sinais ao nível do sistema como volume de pedidos, latência, taxas de erro e tempo de atividade, juntamente com logs detalhados, a monitorização fornece a visibilidade necessária para detetar problemas precocemente e manter os sistemas de produção a funcionar sem problemas.

Com a monitorização integrada diretamente no fluxo de trabalho de implementação, a Ultralytics Platform torna mais fácil rastrear a saúde do endpoint, inspecionar o comportamento dos pedidos e manter sistemas fiáveis sem depender de ferramentas separadas. Ao reunir dados, treino, implementação e monitorização num só lugar, a plataforma ajuda as equipas a passar da experimentação para implementações do mundo real de confiança.

Junta-te à nossa comunidade em crescimento e explora o nosso repositório do GitHub para saberes mais sobre visão computacional com IA. Para começares a construir com IA de visão hoje mesmo, consulta as nossas opções de licenciamento. Descobre como a IA na indústria e a IA na saúde estão a moldar o futuro visitando as nossas páginas de soluções.