Ultralytics Platform: implantação de modelos de visão computacional em qualquer região

No início desta semana, a Ultralytics lançou a Ultralytics Platform, um novo ambiente de ponta a ponta projetado para acelerar a entrega de sistemas de visão computacional (CV), simplificando cada etapa do fluxo de trabalho de IA para visão, desde a preparação de dados e o desenvolvimento de modelos até a implantação.

Uma das principais motivações para desenvolver a Ultralytics Platform é que transformar uma solução de visão computacional de uma ideia em impacto no mundo real envolve mais do que criar um modelo robusto. Depois de treinado e aprovado na validação, o modelo precisa ser implantado para que as aplicações possam enviar imagens, receber previsões e executar inferências de forma confiável em ambientes reais.

Essa etapa do ciclo de vida do aprendizado de máquina é quando os modelos de visão computacional vão além da experimentação e começam a dar suporte a sistemas práticos. Mesmo que as etapas anteriores, como preparação de conjuntos de dados, anotação, treinamento de modelos e testes, avancem sem problemas, os resultados não terão impacto sem uma maneira confiável de implantar os modelos.

A realidade em muitos projetos de visão computacional é que a implantação pode ser uma das etapas mais complexas do fluxo de trabalho.

As equipes muitas vezes precisam configurar APIs de inferência, gerenciar recursos computacionais, implantar modelos perto dos usuários para reduzir a latência e monitorar o desempenho quando os sistemas entram em produção.

A Ultralytics Platform simplifica e automatiza esse processo oferecendo várias opções de implantação, incluindo formatos de exportação de modelos, serviços de inferência compartilhados e endpoints dedicados em regiões do mundo todo. Com infraestrutura gerenciada e monitoramento integrado, as equipes podem passar facilmente de modelos treinados para sistemas de visão computacional prontos para produção.

Fig. 1. Uma visão da implantação de modelos usando a Ultralytics Platform (Fonte)

Neste artigo, vamos explorar como implantar modelos de visão computacional em qualquer região usando endpoints dedicados na Ultralytics Platform.

O que é a implantação de modelos de CV?#

Antes de vermos como implantar modelos de aprendizado profundo usando a Ultralytics Platform, vamos entender melhor o que realmente significa implantar um modelo de visão computacional.

A implantação de modelos de visão computacional é o processo de disponibilizar um modelo treinado para uso no mundo real. Em vez de ser executado apenas em um ambiente de treinamento, o modelo é configurado para que os aplicativos enviem imagens ou vídeos e recebam previsões em resposta.

Por exemplo, um modelo pode detectar objetos em uma imagem, executar segmentação de imagens, identificar itens em um armazém ou reconhecer padrões em vídeos. Na maioria dos sistemas do mundo real, isso acontece por meio de uma API ou endpoint de inferência.

Um aplicativo envia uma imagem ao modelo, o modelo a processa e retorna uma previsão em milissegundos. É isso que permite que modelos de visão computacional como o Ultralytics YOLO possibilitem aplicativos em tempo real.

Os modelos podem ser implantados em diferentes ambientes, dependendo do caso de uso. Alguns são executados na nuvem (por meio de plataformas de nuvem) e podem ser acessados por muitos aplicativos; outros são executados em dispositivos de borda, como câmeras locais, robôs ou sistemas embarcados que precisam de previsões locais rápidas.

Opções de implantação de modelos de IA na Ultralytics Platform#

A Ultralytics Platform aborda muitos dos desafios enfrentados pela comunidade de visão computacional ao implantar modelos e oferece formas flexíveis de executar inferências de acordo com as necessidades da sua aplicação.

Veja rapidamente as opções de implantação de modelos disponíveis na plataforma:

• Exportação de modelos: você pode exportar modelos para 22 formatos diferentes, incluindo ONNX, TensorRT, CoreML e TFLite, permitindo executá-los em uma ampla variedade de ambientes, como dispositivos de borda, incluindo Raspberry Pi e NVIDIA Jetson, aplicativos móveis, contêineres Docker e infraestrutura personalizada.
• Inferência compartilhada: A plataforma permite executar previsões por meio de um serviço gerenciado de inferência compartilhada, ideal para testar modelos rapidamente.
• Endpoints dedicados: implante facilmente modelos como serviços independentes com URLs de API exclusivos, que podem ser executados em 42 regiões globais, com redução da escala a zero, monitoramento e verificações de integridade para implantações em produção.

Implantação usando endpoints dedicados#

Uma das maneiras mais escaláveis de executar modelos pré-treinados ou modelos personalizados de visão computacional em produção na Ultralytics Platform é por meio de endpoints dedicados. Um endpoint dedicado permite implantar um modelo treinado como um serviço próprio, para que os aplicativos enviem imagens e recebam previsões por meio de uma API.

Em vez de executar um modelo apenas em um ambiente de treinamento ou notebook local, implantá-lo como endpoint o torna acessível a aplicativos reais. Por exemplo, um sistema de armazém poderia enviar imagens de pacotes para detecção de objetos, uma câmera inteligente poderia analisar quadros de vídeo ou um sistema robótico poderia usar previsões para orientar ações.

Cada endpoint dedicado funciona como um serviço de locatário único, ou seja, a infraestrutura que executa seu modelo não é compartilhada com outros usuários. Isso oferece um desempenho mais previsível e facilita o monitoramento do comportamento do modelo em produção.

Entenda como funcionam os endpoints de inferência dedicados#

Você pode pensar em um endpoint dedicado como um serviço hospedado para seu modelo. A Ultralytics Platform fornece um URL de endpoint exclusivo que serve como ponto de entrada para os aplicativos.

Quando um aplicativo envia uma solicitação para esse URL, ela inclui uma imagem e parâmetros opcionais, como limites de confiança ou tamanho da imagem, além de uma chave de API para autenticação.

O serviço executa a inferência na imagem usando seu modelo e retorna as previsões em uma resposta estruturada. Essa configuração permite que os desenvolvedores integrem modelos de visão computacional a sistemas reais usando ferramentas web padrão.

Os aplicativos podem enviar solicitações usando Python, JavaScript, cURL ou outros clientes HTTP, facilitando a conexão dos modelos a painéis, sistemas robóticos ou aplicativos de nuvem. Como o endpoint é executado de forma independente, ele também pode oferecer escalabilidade, monitoramento e implantação global, ajudando as equipes a criar sistemas de visão computacional confiáveis para produção.

A implantação em várias regiões melhora a inferência em tempo real#

Uma das principais vantagens dos endpoints dedicados na Ultralytics Platform é a possibilidade de implantar modelos em 42 regiões globais. Essas regiões abrangem várias partes do mundo, incluindo América do Norte, América do Sul, Europa, Ásia-Pacífico, Oriente Médio e África.

Fig. 2. A Ultralytics Platform oferece suporte a 42 regiões globais (Fonte)

Implantar modelos em regiões próximas de onde as aplicações são executadas ajuda a reduzir a latência, ou seja, o tempo que uma aplicação leva para enviar uma imagem e receber uma previsão. Isso também pode ajudar as organizações a atender aos requisitos de privacidade e residência de dados, mantendo o processamento dos dados mais próximo de sua origem.

A baixa latência é importante para muitos aplicativos de visão computacional que dependem de inferência em tempo real, como sistemas robóticos, dispositivos da Internet das Coisas (IoT), fluxos de trabalho de inspeção industrial e infraestrutura de cidades inteligentes.

Por exemplo, se um aplicativo for usado principalmente na Europa, implantar o modelo em uma região europeia pode melhorar significativamente os tempos de resposta em comparação com a execução do modelo em uma região distante.

Como implantar em qualquer região com a Ultralytics Platform#

Implantar um modelo em uma região específica é simples e geralmente leva apenas alguns minutos. A plataforma cuida da configuração da infraestrutura para que os desenvolvedores possam se concentrar na integração do modelo aos aplicativos. Vamos percorrer as etapas envolvidas.

Etapa 1: Treinar ou enviar um modelo#

Antes de implantar, você precisa ter um modelo treinado disponível no seu projeto. Esse modelo pode ter sido treinado diretamente na Ultralytics Platform, enviado após o treinamento em outro local ou clonado de um projeto da comunidade encontrado na “aba Explorar”, onde projetos públicos compartilhados por outros usuários podem ser copiados para sua própria conta com um clique.

Quando o modelo estiver pronto, abra a página do modelo no seu projeto para continuar.

Etapa 2: Abrir a aba Deploy#

Acesse a aba Deploy do modelo. Esta seção da plataforma permite configurar e iniciar implantações.

Nessa página, você verá uma tabela de regiões e um mapa interativo que mostra os locais de implantação disponíveis em todo o mundo. A plataforma mede a latência a partir da sua localização e ordena as regiões de acordo com esse valor para ajudar você a escolher a região mais adequada.

Fig. 3. Regiões ordenadas por latência na Ultralytics Platform (Fonte)

Etapa 3: Escolher uma região de implantação#

Selecione uma região com base na localização dos seus usuários ou aplicativos. Implantar o modelo mais perto da origem das solicitações pode reduzir significativamente os tempos de resposta.

Etapa 4: Implantar o endpoint#

Depois de selecionar a região e confirmar a configuração, você pode clicar em Deploy.

Em seguida, a plataforma prepara o ambiente de implantação, obtém a imagem do modelo, inicia o serviço e realiza uma verificação de integridade para garantir que o endpoint esteja pronto. Esse processo geralmente leva de um a dois minutos.

Quando a implantação for concluída, a plataforma gera um URL exclusivo do endpoint que os aplicativos podem usar para enviar solicitações de inferência.

Fig. 4. Exemplo de endpoint implantado (Fonte)

Etapa 5: Começar a enviar solicitações de inferência#

Com o endpoint em execução, as aplicações podem começar a enviar imagens ao modelo usando o endpoint REST API fornecido e uma chave de API incluída no cabeçalho Authorization. O endpoint processa cada solicitação e retorna previsões, como objetos detectados, caixas delimitadoras ou outros resultados específicos da tarefa.

Para saber mais sobre a implantação de modelos, confira a documentação oficial da Ultralytics Platform.

Monitoramento do desempenho e das métricas dos modelos em endpoints implantados#

Depois que um modelo de visão computacional é implantado, monitorar seu desempenho torna-se uma parte importante da manutenção da confiabilidade e da robustez do sistema. Mesmo um modelo bem treinado precisa ser observado em produção para garantir que continue respondendo rapidamente, processando corretamente as solicitações recebidas e fornecendo previsões precisas.

A Ultralytics Platform oferece ferramentas de monitoramento integradas que permitem às equipes acompanhar o desempenho dos endpoints implantados. A página Deploy da plataforma funciona como um painel de monitoramento, oferecendo uma visão centralizada de todos os endpoints em execução e das principais métricas para acompanhar a integridade e o uso do sistema.

Estas são algumas das métricas que você pode monitorar usando a Platform:

• Latência P95: Essa métrica mede o tempo de resposta no servidor correspondente ao percentil 95 das solicitações de inferência. Ela mostra quanto tempo a maioria das solicitações de inferência leva e ajuda a identificar lentidão no desempenho.
• Taxa de erros: Representa a porcentagem de solicitações que falharam ou retornaram erros durante o período de monitoramento selecionado. Monitorar as taxas de erro permite que as equipes detectem rapidamente problemas nas implantações ou nas solicitações recebidas.
• Total de solicitações: Essa métrica mostra o número total de solicitações de inferência processadas nos endpoints implantados durante o período selecionado (por exemplo, nas últimas 24 horas). Ela ajuda as equipes a entender os níveis de tráfego e a frequência de uso dos modelos.

Além dessas métricas, a plataforma também oferece verificações de integridade dos endpoints e registros de implantação. As verificações de integridade indicam se um endpoint está respondendo corretamente, enquanto os registros fornecem informações detalhadas sobre solicitações recentes e a atividade do sistema.

Principais conclusões#

A implantação de modelos de visão computacional é uma etapa crucial para transformar modelos treinados em sistemas que impulsionam aplicações no mundo real. Com a Ultralytics Platform, as equipes podem implantar modelos facilmente por meio de endpoints dedicados em 42 regiões globais, executar inferência em tempo real por meio de APIs e monitorar o desempenho em um único ambiente. Ao combinar opções flexíveis de implantação, monitoramento integrado e infraestrutura escalável, a plataforma ajuda os desenvolvedores a passar mais rapidamente de modelos de aprendizado de máquina treinados para aplicações confiáveis de visão computacional.

Faça parte da nossa comunidade em expansão! Explore nosso repositório no GitHub para saber mais sobre IA. Se você quer criar soluções de visão computacional, confira nossas opções de licenciamento. Descubra os benefícios da visão computacional na área da saúde e veja como a IA na logística está fazendo a diferença!