Monitorando modelos de visão computacional implantados na Ultralytics Platform

Testar modelos de visão computacional que analisam imagens e vídeos nem sempre é o mesmo que executá-los em produção. Durante o desenvolvimento, tais modelos ou algoritmos são testados em conjuntos de dados limpos e bem preparados, onde as condições são controladas e previsíveis.

Uma vez implantados, as coisas tornam-se mais dinâmicas. Os modelos são expostos ao tráfego do mundo real, onde os volumes de solicitações podem variar, os tempos de resposta podem mudar e falhas ocasionais podem ocorrer.

Nesta fase, o foco muda para saber se o sistema está funcionando de forma confiável, com endpoints que permanecem disponíveis, responsivos e estáveis sob condições variáveis.

É por isso que o monitoramento é essencial. Ele oferece uma visão clara de como os endpoints implantados se comportam em produção através de métricas como volume de solicitações, latência, taxas de erro e a integridade geral do sistema.

Para facilitar isso, ter as ferramentas certas torna-se tão importante quanto o próprio modelo. Recentemente, a Ultralytics introduziu a Ultralytics Platform, nosso novo ambiente de ponta a ponta que reúne todo o fluxo de trabalho de visão computacional, desde dados e treinamento até implantação e monitoramento.

Fig 1. Painel de implantação da Ultralytics Platform com recursos de monitoramento (Fonte)

Com o monitoramento integrado diretamente neste fluxo de trabalho, podes acompanhar a integridade dos endpoints, inspecionar o comportamento das solicitações e manter sistemas confiáveis sem depender de ferramentas separadas. Neste artigo, vamos explorar como usar a Ultralytics Platform para monitorar endpoints de modelos implantados e manter os sistemas de produção funcionando sem problemas. Vamos começar!

Link to this sectionUma visão geral do monitoramento de modelos de IA#

No ciclo de vida de um modelo de IA, o monitoramento refere-se a observar como os sistemas implantados se comportam uma vez que o modelo está ativo e atendendo a solicitações do mundo real. Enquanto o treinamento e a validação mostram como um modelo de aprendizado de máquina (ML model) funciona em conjuntos de dados preparados, o monitoramento foca em como o endpoint implantado opera em um ambiente de produção.

Uma parte crucial do monitoramento é acompanhar métricas de nível de sistema que refletem a confiabilidade e a capacidade de resposta. Métricas como latência e tempo de atividade (uptime) ajudam a indicar quão bem o sistema está lidando com as solicitações recebidas. A latência mede quanto tempo leva para processar uma solicitação e retornar uma resposta, enquanto o tempo de atividade destaca a consistência com que o endpoint permanece disponível.

Outro aspecto fundamental é a observabilidade, que fornece visibilidade sobre como as solicitações são processadas. Cada vez que uma entrada, como uma imagem ou quadro de vídeo, é enviada para um modelo implantado, ela é processada como uma solicitação de inferência.

Os logs capturam essas solicitações juntamente com detalhes como registros de data e hora, tempos de resposta e códigos de status. Esses logs facilitam o rastreamento de solicitações, a depuração de problemas e a investigação de falhas quando elas ocorrem. Eles são especialmente úteis para identificar padrões como erros repetidos, respostas lentas ou comportamento inesperado do sistema.

Ao combinar métricas e logs, o monitoramento ajuda a entender como os sistemas estão operando em produção e a responder rapidamente aos problemas à medida que surgem.

Link to this sectionUma olhada nas métricas de desempenho do modelo vs métricas do sistema#

Antes de mergulhar no monitoramento de produção, vamos discutir a diferença entre métricas de desempenho do modelo e métricas do sistema.

Tipicamente, o monitoramento de modelos está associado a métricas de avaliação, também conhecidas como métricas do modelo, como acurácia, precisão, recall e mAP (mean average precision). Essas métricas são usadas para descrever o comportamento do modelo e avaliar a qualidade das previsões do modelo, muitas vezes em relação aos dados de produção ou dados de entrada. Elas podem ser particularmente úteis para identificar casos de borda ou outliers em novos dados.

No entanto, isso é diferente de monitorar um sistema implantado em produção. Nesse contexto, o monitoramento foca em como o sistema está funcionando em vez de avaliar diretamente as previsões do modelo.

Em vez de métricas de modelo, o monitoramento de implantação baseia-se em sinais de nível de sistema como volume de solicitações, latência, taxas de erro e tempo de atividade. Essas métricas fornecem visibilidade sobre como os endpoints lidam com dados de entrada, com que consistência eles respondem e como operam em ambientes de produção.

Link to this sectionO papel do monitoramento de modelos em projetos de visão computacional#

A seguir, vamos analisar um exemplo do mundo real que destaca a necessidade de um sistema de monitoramento em implantações de visão computacional.

Considera uma solução de visão que utiliza estimativa de pose, uma tarefa de visão computacional usada para identificar e analisar movimentos do corpo humano, para monitorar trabalhadores da construção civil quanto à conformidade de segurança. Durante a implantação inicial do modelo, tal sistema pode funcionar bem sob condições controladas com visibilidade clara e cenários padrão.

No entanto, canteiros de obras reais introduzem complexidade adicional. Os volumes de solicitações podem variar ao longo do dia, as condições da rede podem ser inconsistentes e várias câmeras ou endpoints podem enviar dados ao mesmo tempo. Esses fatores podem levar a respostas mais lentas ou falhas ocasionais se o sistema não for monitorado corretamente.

Fig 2. Estimativa de pose sendo usada para monitorar trabalhadores em um canteiro de obras (Fonte)

Em um ambiente de produção como este, torna-se importante entender quão confiavelmente o sistema está operando. O monitoramento oferece visibilidade sobre se os endpoints estão disponíveis, quão rapidamente eles respondem às solicitações recebidas e com que consistência eles lidam com o tráfego ao longo do tempo.

Por exemplo, um aumento na latência pode apontar para uma carga mais alta ou restrições de recursos, enquanto um aumento nas taxas de erro pode indicar problemas com o processamento de solicitações ou estabilidade do sistema. Os logs adicionam mais contexto ao mostrar como as solicitações individuais são processadas e onde as falhas ocorrem.

Ao acompanhar esses sinais, entusiastas de IA e cientistas de dados podem identificar problemas precocemente, solucionar problemas de forma mais eficaz e garantir que seus sistemas continuem a funcionar de forma confiável à medida que as condições do mundo real mudam.

Link to this sectionUsando a Ultralytics Platform para monitorar modelos de visão implantados#

Em muitos fluxos de trabalho de aprendizado profundo, o monitoramento é frequentemente feito usando ferramentas separadas para logs, métricas e integridade do sistema. Essa configuração fragmentada pode dificultar a obtenção de uma visão clara de como os endpoints implantados estão operando em produção e adiciona complexidade ao gerenciamento das implantações.

A Ultralytics Platform simplifica isso trazendo o monitoramento diretamente para um ambiente unificado que cobre todo o fluxo de trabalho de visão computacional, desde a ingestão e anotação de dados até o treinamento, implantação e monitoramento.

Com essa configuração integrada, podes acompanhar como teus endpoints implantados lidam com o tráfego do mundo real sem configurar sistemas de log externos ou painéis adicionais. Tudo está disponível em um só lugar, tornando mais fácil observar o comportamento do sistema e manter implantações confiáveis ao longo do tempo.

Os recursos de monitoramento podem ser acessados diretamente na aba Deploy. A partir de um único painel, podes acompanhar métricas chave, analisar o comportamento no nível da solicitação e visualizar tendências. Essas visualizações integradas tornam mais fácil entender como as soluções estão funcionando sem alternar entre várias ferramentas.

Ao reunir o monitoramento, a implantação e o gerenciamento de modelos dentro do fluxo de trabalho mais amplo, a plataforma reduz a complexidade. Isso torna mais fácil focar no gerenciamento de implantações, na otimização do desempenho do sistema e na manutenção da confiabilidade.

Link to this sectionRecursos de monitoramento integrados da Ultralytics Platform#

Em implantações no mundo real, o monitoramento depende de ter uma visibilidade clara de como os sistemas estão funcionando à medida que as condições mudam ao longo do tempo. Isso vai além de acompanhar algumas métricas e envolve entender como os endpoints implantados se comportam em vários ambientes e gerenciar várias implantações de forma eficaz.

Inspirada pelo feedback da comunidade de visão computacional sobre desafios comuns, a Ultralytics Platform inclui vários recursos que tornam o monitoramento mais prático e escalável.

Aqui está uma visão geral de alguns desses principais recursos:

• Visibilidade global de implantação: A página Deploy inclui um mapa-múndi interativo que exibe regiões de implantação com indicadores visuais para endpoints ativos e em andamento, permitindo que monitores a distribuição geográfica e a atividade regional.
• Visualizações de painel flexíveis: O painel de implantações oferece vários modos de visualização, incluindo visualização em cartão, grade compacta e visualização em tabela com colunas classificáveis como nome, região, status e solicitações, suportando monitoramento estruturado e comparação.
• Monitoramento de vários endpoints: O painel agrega dados de monitoramento em todas as implantações usando cartões de visão geral e listas de implantação.
• Políticas de retenção de dados: Os dados de monitoramento são retidos por um período definido, com métricas disponíveis por 30 dias e logs por 7 dias, suportando fluxos de trabalho de análise de desempenho recente e depuração.
• Suporte a monitoramento externo: Os endpoints de implantação podem ser monitorados usando ferramentas externas como Datadog, New Relic e serviços de monitoramento de tempo de atividade, ou acessados via endpoints de API para monitoramento personalizado e verificações de saúde.

A seguir, percorreremos alguns desses recursos com mais detalhes e veremos como eles podem ser usados para monitorar endpoints implantados em produção.

Link to this sectionComo rastrear métricas de desempenho chave usando a Ultralytics Platform#

Uma vez que um modelo é implantado, o monitoramento começa com o rastreamento das métricas principais do sistema. Enquanto métricas como acurácia e recall são úteis durante o desenvolvimento, o monitoramento de produção foca em sinais de nível de sistema como tempo de resposta e taxas de erro, que fornecem insights mensuráveis sobre quão confiavelmente os endpoints estão lidando com o tráfego do mundo real.

A Ultralytics Platform oferece um painel centralizado que dá uma visão clara da atividade do endpoint e do comportamento do sistema. Em particular, o painel de Implantação inclui quatro métricas principais que mostram como os endpoints estão sendo usados e como eles respondem às solicitações recebidas.

Aqui está uma olhada mais de perto nessas métricas:

• Total de solicitações: O número total de solicitações feitas em todos os endpoints durante um período de 24 horas. Isso ajuda a identificar padrões de uso e a demanda geral.
• Implantações ativas: O número de endpoints atualmente em execução e atendendo a solicitações.
• Latência P95: O tempo de resposta dentro do qual 95% das solicitações são concluídas. Isso dá uma visão mais realista do desempenho ao contabilizar respostas mais lentas.
• Taxa de erro: É a porcentagem de solicitações com falha em relação ao número total de solicitações. Essa métrica ajuda a identificar problemas e pode ser usada para detectar anomalias.

Simplificando, essas métricas oferecem uma visão clara de como os endpoints implantados operam em produção. Ao analisar padrões de uso, equipas e indivíduos podem entender a distribuição de tráfego, identificar períodos de pico de carga e garantir que os sistemas permaneçam responsivos e confiáveis à medida que o uso cresce.

Link to this sectionEntendendo o comportamento da implantação do modelo através de logs#

Enquanto as métricas oferecem uma visão de alto nível do desempenho do sistema, os logs oferecem uma análise mais detalhada de como os endpoints implantados lidam com solicitações individuais. Os logs registram cada solicitação enviada a um endpoint junto com a resposta correspondente.

Eles são úteis para rastrear problemas, inspecionar falhas e entender como as solicitações são processadas. Dentro da Ultralytics Platform, podes selecionar qualquer implantação para visualizar seus detalhes, incluindo logs.

Fig 3. Um exemplo de logs dentro da Ultralytics Platform (Fonte)

Uma entrada de log na plataforma é exibida em um formato estruturado, tornando mais fácil entender o que aconteceu durante cada solicitação. Cada entrada inclui um nível de gravidade, que indica quão importante é o evento, juntamente com um registro de data e hora mostrando quando ele ocorreu.

Ele também contém uma mensagem descrevendo o evento e detalhes relacionados a HTTP, como códigos de status e latência. Essas informações ajudam a rastrear solicitações, apoiar a solução de problemas e depurar problemas de forma mais eficaz. Além disso, os logs são agrupados por gravidade, para que possas priorizar implantações que precisam de atenção.

Link to this sectionAnalisando a integridade e confiabilidade do endpoint na Ultralytics Platform#

O monitoramento também envolve entender a integridade geral dos endpoints implantados, incluindo se eles estão funcionando corretamente, respondendo a tempo e lidando consistentemente com solicitações sem erros. A Ultralytics Platform oferece uma visão clara do status de integridade de cada implantação, tornando simples verificar se os endpoints estão operando conforme o esperado.

A plataforma inclui indicadores visuais de integridade para cada implantação, exibidos nos cartões de implantação individuais.

Por exemplo, um indicador verde mostra que o endpoint está saudável e respondendo normalmente, enquanto um indicador vermelho sinaliza problemas ou tempo de inatividade. Um ícone giratório indica que o sistema está verificando ativamente o status da implantação.

Ao acompanhar a integridade do endpoint ao longo do tempo, torna-se possível detectar problemas precocemente, manter um desempenho consistente e garantir uma experiência estável para aplicações em execução em produção.

Link to this sectionA conexão entre dados de monitoramento e melhoria de desempenho#

O monitoramento de modelos não é apenas sobre acompanhar métricas. Ele cria um ciclo de feedback que suporta a melhoria contínua ao longo do tempo. À medida que os endpoints lidam com o tráfego do mundo real, padrões começam a surgir nas métricas e logs que podem revelar problemas como latência aumentada, taxas de erro mais altas ou comportamento inconsistente do sistema.

O monitoramento destaca áreas que precisam de atenção. Por exemplo, latência consistentemente alta pode indicar a necessidade de melhor alocação de recursos ou escalonamento, enquanto uma taxa de erro crescente pode apontar para problemas com o processamento de solicitações ou estabilidade do sistema.

Uma vez que esses problemas são identificados, medidas podem ser tomadas para melhorar a confiabilidade. Isso pode envolver o ajuste da infraestrutura, o escalonamento de recursos ou a correção de problemas na forma como as solicitações são processadas. Após essas mudanças, os sistemas podem continuar a ser monitorados para confirmar se o desempenho melhorou.

Ao vincular o monitoramento com melhorias contínuas, podes manter sistemas robustos à medida que o uso cresce e as condições mudam.

Link to this sectionExplorando um exemplo do mundo real: Monitorando o manuseio de bagagem na aviação#

Para obter uma compreensão melhor do impacto do monitoramento em um cenário real, vamos explorar como ele se aplica à automação de operações terrestres de aviação.

Pega um sistema de visão projetado para monitorar o carregamento e descarregamento de bagagem durante as operações terrestres das aeronaves. Nesta configuração, um modelo de detecção de objetos como o Ultralytics YOLO26 pode ser usado para detectar se a bagagem cai das esteiras transportadoras ou equipamentos de manuseio.

Durante os testes e a implantação inicial, o sistema em tempo real pode ter um bom desempenho, identificando bagagens com precisão e respondendo rapidamente.

Em um ambiente de aeroporto real, no entanto, as condições são muito menos previsíveis. A iluminação muda ao longo do dia, várias câmeras transmitem dados ao mesmo tempo e os volumes de solicitações aumentam durante períodos de pico. Esses fatores podem causar o aumento da latência ou o surgimento de erros e, sem visibilidade do sistema, tais problemas podem passar facilmente despercebidos.

É aqui que o monitoramento se torna valioso. Ao acompanhar métricas como volume de solicitações, latência e taxas de erro, juntamente com logs detalhados, as equipas podem ver rapidamente quando um endpoint está ficando lento ou falhando. Se a latência subir durante os horários de pico, pode sinalizar a necessidade de escalar recursos, enquanto um aumento repentino de erros pode apontar para problemas com câmeras específicas ou processamento de solicitações. Agir sobre esses sinais ajuda a manter o sistema confiável, para que o manuseio de bagagem possa continuar a ser monitorado com precisão, mesmo quando as condições mudam.

Link to this sectionPrincipais conclusões#

O monitoramento é o que mantém os modelos de visão computacional implantados confiáveis uma vez que eles deixam as condições controladas de desenvolvimento e começam a lidar com o tráfego do mundo real. Ao focar em sinais de nível de sistema como volume de solicitações, latência, taxas de erro e tempo de atividade, juntamente com logs detalhados, o monitoramento fornece a visibilidade necessária para detectar problemas precocemente e manter os sistemas de produção funcionando sem problemas.

Com o monitoramento integrado diretamente no fluxo de trabalho de implantação, a Ultralytics Platform torna mais fácil acompanhar a integridade do endpoint, inspecionar o comportamento da solicitação e manter sistemas confiáveis sem depender de ferramentas separadas. Ao reunir dados, treinamento, implantação e monitoramento em um só lugar, a plataforma ajuda as equipas a passar da experimentação para implantações reais e confiáveis.

Junta-te à nossa comunidade crescente e explora o nosso repositório GitHub para saber mais sobre visão computacional com IA. Para desenvolver com visão computacional com IA hoje mesmo, confere as nossas opções de licenciamento. Descobre como a IA na manufatura e a IA na saúde estão moldando o futuro visitando as nossas páginas de soluções.