Ultralytics Platform: Implementando modelos de visão computacional em qualquer região

No início desta semana, a Ultralytics lançou a Ultralytics Platform, um novo ambiente completo projetado para tornar a entrega de sistemas de visão computacional (CV) mais rápida, simplificando todas as etapas do fluxo de trabalho de IA de visão, desde a preparação de dados e desenvolvimento de modelos até a implantação.

Uma das principais motivações por trás do desenvolvimento da Ultralytics Platform é que transformar uma solução de visão computacional que permite às máquinas analisar imagens e vídeos, desde a ideia até o impacto, envolve mais do que apenas construir um modelo robusto. Uma vez que um modelo tenha sido treinado e validado, ele precisa ser implantado para que as aplicações possam enviar imagens, receber predições e executar inferências de forma confiável em ambientes reais.

Esta etapa do ciclo de vida de aprendizado de máquina é onde os modelos de visão computacional superam a experimentação e começam a impulsionar sistemas práticos. Mesmo que etapas anteriores, como preparação de conjunto de dados, anotação, treinamento de modelo e testes ocorram sem problemas, sem uma maneira confiável de implantar modelos, esses resultados não conseguem fazer a diferença.

A realidade em muitos projetos de visão computacional é que a implantação pode ser uma das etapas mais complexas do fluxo de trabalho.

As equipes geralmente precisam configurar APIs de inferência, gerenciar recursos computacionais, implantar modelos próximos aos usuários para reduzir a latência e monitorar o desempenho assim que os sistemas estiverem em produção.

A Ultralytics Platform simplifica e automatiza esse processo fornecendo várias opções de implantação, incluindo formatos de exportação de modelos, serviços de inferência compartilhados e endpoints dedicados em regiões globais. Com infraestrutura gerenciada e monitoramento integrado, as equipes podem facilmente passar de modelos treinados para sistemas de visão computacional prontos para produção.

Fig 1. Uma visão sobre a implantação de modelos usando a Ultralytics Platform (Fonte)

Neste artigo, exploraremos como implantar modelos de visão computacional em qualquer região usando endpoints dedicados na Ultralytics Platform. Vamos começar!

Link to this sectionO que é implantação de modelo de CV?#

Antes de mergulharmos em como implantar modelos de aprendizado profundo usando a Ultralytics Platform, vamos entender melhor o que a implantação de modelos de visão computacional realmente significa.

A implantação de modelo de visão computacional é o processo de pegar um modelo treinado e disponibilizá-lo para uso no mundo real. Em vez de rodar apenas em um ambiente de treinamento, o modelo é configurado para que as aplicações possam enviar imagens ou vídeos para ele e receber predições em troca.

Por exemplo, um modelo pode detectar objetos em uma imagem, realizar segmentação de imagem, identificar itens em um armazém ou reconhecer padrões em filmagens de vídeo. Na maioria dos sistemas reais, isso acontece através de uma API ou endpoint de inferência.

Uma aplicação envia uma imagem para o modelo, o modelo a processa e retorna uma predição em milissegundos. É isso que permite que modelos de visão computacional como o Ultralytics YOLO possibilitem aplicações em tempo real.

Os modelos podem ser implantados em diferentes ambientes, dependendo do caso de uso. Alguns rodam na nuvem (através de plataformas de nuvem) e muitas aplicações podem acessá-los, enquanto outros rodam em dispositivos de borda, como câmeras locais, robôs ou sistemas embarcados que precisam de predições locais rápidas.

Link to this sectionOpções de implantação de modelo de IA na Ultralytics Platform#

Embora a Ultralytics Platform resolva muitos desafios que a comunidade de visão computacional enfrenta, particularmente quando se trata de implantar modelos, ela oferece maneiras flexíveis de executar inferência dependendo das necessidades da sua aplicação.

Aqui está uma visão rápida das opções de implantação de modelo disponíveis na plataforma:

• Exportação de modelo: Você pode exportar modelos para 17 formatos diferentes, incluindo ONNX, TensorRT, CoreML e TFLite, tornando possível executar modelos em uma ampla gama de ambientes, como dispositivos de borda como Raspberry Pi e NVIDIA Jetson, aplicativos móveis, contêineres Docker e infraestrutura personalizada.
• Inferência compartilhada: A plataforma permite que você execute predições através de um serviço de inferência compartilhada gerenciado, o que é ideal para testar modelos rapidamente.
• Endpoints dedicados: Implante modelos facilmente como serviços independentes com URLs de API exclusivas que podem rodar em 43 regiões globais, com auto-scaling, monitoramento e verificações de integridade integrados para implantações de produção.

Link to this sectionImplantando usando endpoints dedicados#

Uma das maneiras mais escaláveis de executar modelos pré-treinados ou modelos de visão computacional treinados sob medida em produção na Ultralytics Platform é através de endpoints dedicados. Um endpoint dedicado permite que você implante um modelo treinado como seu próprio serviço, para que as aplicações possam enviar imagens para ele e receber predições via API.

Em vez de executar um modelo apenas em um ambiente de treinamento ou em um notebook local, implantá-lo como um endpoint o torna acessível a aplicações reais. Por exemplo, um sistema de armazém pode enviar imagens de pacotes para detecção de objetos, uma câmera inteligente pode analisar quadros de vídeo ou um sistema robótico pode usar predições para orientar ações.

Cada endpoint dedicado roda como um serviço de locatário único, o que significa que a infraestrutura que executa seu modelo não é compartilhada com outros usuários. Isso proporciona um desempenho mais previsível e facilita o monitoramento de como o modelo se comporta em produção.

Link to this sectionEntendendo a funcionalidade de endpoints de inferência dedicados#

Você pode pensar em um endpoint dedicado como um serviço hospedado para seu modelo. A Ultralytics Platform fornece uma URL de endpoint exclusiva que atua como o ponto de entrada para aplicações.

Quando uma aplicação envia uma solicitação para essa URL, ela inclui uma imagem e parâmetros opcionais, como limiares de confiança ou tamanho da imagem, juntamente com uma chave de API para autenticação.

O serviço executa a inferência na imagem usando seu modelo e retorna as predições em uma resposta estruturada. Essa configuração permite que os desenvolvedores integrem modelos de visão computacional em sistemas reais usando ferramentas web padrão.

As aplicações podem enviar solicitações usando Python, JavaScript, cURL ou outros clientes HTTP, facilitando a conexão de modelos a painéis, sistemas robóticos ou aplicações em nuvem. Como o endpoint roda independentemente, ele também pode suportar escalonamento, monitoramento e implantação global, ajudando as equipes a construir sistemas de visão computacional de produção confiáveis.

Link to this sectionA implantação em várias regiões melhora a inferência em tempo real#

Uma vantagem fundamental dos endpoints dedicados na Ultralytics Platform é a capacidade de implantar modelos em 43 regiões globais. Essas regiões abrangem várias partes do mundo, incluindo América do Norte, América do Sul, Europa, Ásia-Pacífico e Oriente Médio e África.

Fig 2. A Ultralytics Platform suporta 43 regiões globais (Fonte)

Implantar modelos em regiões mais próximas de onde as aplicações estão sendo executadas ajuda a reduzir a latência, que é o tempo que uma aplicação leva para enviar uma imagem e receber uma predição. Isso também pode ajudar as organizações a cumprir os requisitos de privacidade e residência de dados, mantendo o processamento de dados mais próximo de onde ele se origina.

A baixa latência é importante para muitas aplicações de visão computacional que dependem de inferência em tempo real, como sistemas robóticos, dispositivos da Internet das Coisas (IoT), linhas de inspeção industrial e infraestrutura de cidades inteligentes.

Por exemplo, se uma aplicação está sendo usada principalmente na Europa, implantar o modelo em uma região europeia pode melhorar significativamente os tempos de resposta em comparação com a execução do modelo em uma região distante.

Link to this sectionComo implantar em qualquer região com a Ultralytics Platform#

Implantar um modelo em uma região específica é simples e geralmente leva apenas alguns minutos. A plataforma cuida da configuração da infraestrutura para que os desenvolvedores possam se concentrar na integração do modelo em suas aplicações. Vamos percorrer as etapas envolvidas.

Link to this sectionEtapa 1: Treine ou carregue um modelo#

Antes de implantar, você precisa de um modelo treinado disponível em seu projeto. Pode ser um modelo treinado diretamente na Ultralytics Platform, um modelo carregado após treinamento em outro lugar ou um modelo clonado de um projeto da comunidade encontrado na aba “Explorar”, onde projetos públicos compartilhados por outros usuários podem ser copiados para sua própria conta com um clique.

Assim que o modelo estiver pronto, abra a página do modelo dentro do seu projeto para prosseguir.

Link to this sectionEtapa 2: Abra a aba Implantação (Deploy)#

Navegue até a aba Implantação para o modelo. Esta seção da plataforma permite configurar e iniciar implantações.

Nessa página, você verá uma tabela de regiões e um mapa interativo mostrando locais de implantação disponíveis ao redor do mundo. A plataforma mede a latência a partir da sua localização e classifica as regiões adequadamente para ajudar você a escolher a região mais adequada.

Fig 3. Regiões classificadas por latência na Ultralytics Platform (Fonte)

Link to this sectionEtapa 3: Escolha uma região de implantação#

Selecione uma região com base em onde seus usuários ou aplicações estão localizados. Implantar o modelo mais próximo da origem das solicitações pode reduzir significativamente os tempos de resposta.

Link to this sectionEtapa 4: Implante o endpoint#

Após selecionar a região e confirmar a configuração, você pode clicar em Implantar.

A plataforma então prepara o ambiente de implantação, extrai a imagem do modelo, inicia o serviço e realiza uma verificação de integridade para garantir que o endpoint esteja pronto. Esse processo geralmente leva cerca de um a dois minutos.

Assim que a implantação estiver concluída, a plataforma gera uma URL de endpoint exclusiva que as aplicações podem usar para enviar solicitações de inferência.

Fig 4. Um exemplo de um endpoint implantado (Fonte)

Link to this sectionEtapa 5: Comece a enviar solicitações de inferência#

Com o endpoint em execução, as aplicações podem começar a enviar imagens para o modelo usando o endpoint da REST API fornecido e uma chave de API passada no cabeçalho de autorização. O endpoint processa cada solicitação e retorna predições como objetos detectados, caixas delimitadoras ou outras saídas específicas da tarefa.

Para mais detalhes relacionados à implantação de modelos, confira a documentação oficial da Ultralytics Platform.

Link to this sectionMonitorando o desempenho do modelo e métricas para endpoints implantados#

Uma vez que um modelo de visão computacional é implantado, monitorar seu desempenho torna-se uma parte importante para manter a confiabilidade e a robustez do sistema. Mesmo um modelo bem treinado precisa ser observado em produção para garantir que continue respondendo rapidamente, manipulando solicitações de entrada corretamente e entregando predições precisas.

A Ultralytics Platform fornece ferramentas de monitoramento integrado que dão às equipes visibilidade sobre como os endpoints implantados estão se saindo. A página de implantação da plataforma atua como um painel de monitoramento, oferecendo uma visão centralizada de todos os endpoints em execução, juntamente com métricas-chave que ajudam a rastrear a saúde e o uso do sistema.

Aqui estão algumas das métricas que você pode monitorar usando a plataforma:

• Latência P95: Esta métrica mede o tempo de resposta do lado do servidor no percentil 95 para solicitações de inferência. Ela fornece uma visão sobre quanto tempo a maioria das solicitações de inferência leva e identifica lentidões no desempenho.
• Taxa de erro: Representa a porcentagem de solicitações que falharam ou retornaram erros dentro da janela de monitoramento selecionada. Monitorar taxas de erro permite que as equipes detectem rapidamente problemas com implantações ou solicitações de entrada.
• Total de solicitações: Esta métrica mostra o número total de solicitações de inferência processadas nos endpoints implantados durante o período selecionado (por exemplo, nas últimas 24 horas). Ela ajuda as equipes a entender os níveis de tráfego e com que frequência seus modelos estão sendo usados.

Além dessas métricas, a plataforma também fornece verificações de integridade de endpoint e registros de implantação. As verificações de integridade indicam se um endpoint está respondendo corretamente, enquanto os registros fornecem informações detalhadas sobre solicitações recentes e atividade do sistema.

Link to this sectionPrincipais pontos#

Implantar modelos de visão computacional é um passo crucial para transformar modelos treinados em sistemas que impulsionam aplicações no mundo real. Com a Ultralytics Platform, as equipes podem implantar modelos facilmente através de endpoints dedicados em 43 regiões globais, executar inferência em tempo real via APIs e monitorar o desempenho a partir de um único ambiente. Ao combinar opções de implantação flexíveis, monitoramento integrado e infraestrutura escalável, a plataforma ajuda os desenvolvedores a passar de modelos de aprendizado de máquina treinados para aplicações de visão computacional confiáveis mais rapidamente.

Faça parte da nossa crescente comunidade! Mergulhe em nosso repositório no GitHub para saber mais sobre IA. Se você está procurando construir soluções de visão computacional, confira nossas opções de licenciamento. Explore os benefícios da visão computacional na saúde e veja como a IA na logística está fazendo a diferença!