Como transformar deteções do YOLO em alertas sem código usando o Ultralytics Agents
Transforme deteções do Ultralytics YOLO em alertas do Slack, webhooks e capturas de conjuntos de dados sem código, usando uma condição Gate no Ultralytics Agents.
Miles Deans12 min de leitura
Você pode transformar deteções do Ultralytics YOLO em alertas sem escrever código, criando um fluxo de trabalho visual no Ultralytics Agents, parte da Ultralytics Platform. Conecte uma imagem a um modelo YOLO, adicione um Gate que verifica o que o modelo encontrou e encaminhe o resultado para uma mensagem do Slack, um webhook ou um conjunto de dados. Este guia cria esse fluxo de trabalho passo a passo a partir do modelo Capture and Alert e, em seguida, amplia-o para encadear um segundo modelo, salvá-lo, executá-lo novamente em novas imagens e exportá-lo como Python.
O que você vai criar#
O fluxo de trabalho concluído verifica uma imagem com um modelo YOLO26 e, somente quando uma pessoa é detetada, executa três ações com a mesma condição:
- Envia uma mensagem do Slack para o canal conectado, incluindo o resultado da deteção.
- Envia um webhook JSON para um endpoint HTTPS público configurado para aceitar o corpo JSON escolhido por você, como uma ferramenta de gestão de tickets ou um serviço interno.
- Salva a imagem em um conjunto de dados para que você possa anotá-la mais tarde e retreinar o modelo.
O Agents conecta imagens, modelos, condições e ações como blocos em uma tela, e está disponível para todos os usuários autenticados da Ultralytics Platform em espaços de trabalho pessoais e de equipe (documentação do Agents). Os fluxos de trabalho são executados quando você clica em Run em uma imagem, vídeo ou conjunto de dados selecionado; não são um serviço de monitoramento contínuo de câmeras. Para ter uma visão geral do que é o Agents e por que o criamos, leia Apresentamos o Ultralytics Agents.
Este guia usa Image → YOLO → Gate, com o Gate ramificando para Slack, Webhook e um Dataset de destino. Para consultar a referência completa dos blocos e outros padrões de fluxo de trabalho, veja a documentação do Agents.
Etapa 1: Carregue o modelo Capture and Alert#
Abra Agents na barra lateral da Platform, clique em Add block, acesse Templates e escolha Capture and Alert. Carregar um modelo substitui os blocos na tela atual, e a Platform pede sua confirmação antes de prosseguir.
Capture and Alert já conecta a condição de deteção de pessoas à captura em um conjunto de dados e ao Slack; você vai configurar esses destinos e adicionar abaixo uma ramificação para webhook. Os outros modelos, YOLO → VLM Monitor e Collect Uncertain Detections, são pontos de partida editáveis para descrever cenas e criar conjuntos de dados para revisão.
Etapa 2: Escolha a imagem de entrada#
Selecione o bloco Input image e escolha uma imagem que contenha uma pessoa, carregando-a ou selecionando-a em um conjunto de dados carregado. Para esta primeira execução de teste compartilhado, use uma imagem de até 4 megapixels. Os arquivos carregados permanecem no navegador até você executar o fluxo de trabalho e são apagados ao atualizar a página. Para processar várias imagens, substitua o bloco Image por um bloco Dataset, selecione o conjunto de dados de origem e a divisão, defina o limite de entradas e conecte-o ao bloco YOLO.
Etapa 3: Escolha o modelo YOLO e a confiança#
Selecione o bloco Detect people. O modelo usa YOLO26 nano (yolo26n), que é o modelo executado no teste compartilhado. Para usar outro modelo oficial YOLO ou um modelo treinado no seu espaço de trabalho, como um detetor personalizado de defeitos ou EPI, selecione-o em Model neste bloco e escolha uma implantação dedicada para executar o fluxo de trabalho na Etapa 7. A configuração Minimum detection confidence descarta as deteções menos confiáveis antes da execução de qualquer condição; diminua o valor se quiser que o fluxo de trabalho reaja a deteções menos certas.
Etapa 4: Defina a condição no bloco Gate#
O bloco Gate decide se alguma ação posterior será executada. Em Capture and Alert, selecione o bloco Person detected e confirme as configurações:
- Mode: Condition
- Detection model: Detect people
- Measure: Detection count
- Class name: person
- Condition: Greater than or equal
- Compare with: 1
Altere o nome da classe para corresponder às classes do seu modelo ou use * para qualquer classe. Você também pode medir a confiança da deteção em vez da contagem; defina a confiança mínima do bloco YOLO em um valor suficientemente baixo para manter as deteções que deseja avaliar. As condições de confiança são satisfeitas quando pelo menos uma deteção corresponde; assim, uma imagem com pontuações de 0.3 e 0.9 passa em um intervalo de 0.25 a 0.5, enquanto imagens sem deteções nunca satisfazem uma condição de confiança. Quando uma condição não corresponde, as ações conectadas a ela não são executadas para essa imagem.
Etapa 5: Configure o Slack e o webhook#
Slack. Conecte o Slack uma vez em Settings > Integrations (em espaços de trabalho de equipe, essa ação é feita por um administrador ou proprietário do espaço de trabalho) e edite a mensagem do bloco Notify Slack. Use {output} para incluir o resultado anterior, como no Person detected: {output} do modelo. Essas mensagens do fluxo de trabalho são diferentes das notificações de treinamento e implantação da Platform (documentação da integração do Slack).
Webhook. Clique em Add block, escolha Webhook na aba Blocks e conecte a saída de Person detected a ele, mantendo as conexões existentes com Slack e com o conjunto de dados. Insira um URL de destino HTTPS público configurado para aceitar seu corpo JSON, como {"text": "{output}"}. A Platform envia um POST por resultado com Content-Type: application/json. O corpo pode ter até 10.000 caracteres; os redirecionamentos não são seguidos, a conexão expira após 5 segundos e uma resposta diferente de 2xx faz o bloco falhar. O bloco Webhook é terminal, portanto não encaminha resultados para outras etapas do fluxo de trabalho.
Uma única saída do Gate pode se conectar a vários blocos ao mesmo tempo; assim, o Slack, o webhook e o conjunto de dados usam todos a mesma condição avaliada. Um bloco que falha é exibido com contorno vermelho.
Etapa 6: Guarde as imagens correspondentes para retreinamento#
Selecione o bloco Captured images e escolha um conjunto de dados existente que você possa editar ou crie um primeiro, se necessário, usando o guia de criação de conjuntos de dados. Conjuntos de dados conectados ao armazenamento na nuvem e no local não podem ser usados como destinos, e aplicam-se as quotas normais de armazenamento de conjuntos de dados. As imagens correspondentes são adicionadas à divisão de treinamento do conjunto de dados sem rótulos, e as imagens que já estão no conjunto de dados são ignoradas. Abra o conjunto de dados no editor de anotações para revisar e anotar as imagens coletadas; em seguida, use-as na próxima execução de treinamento da Platform.
Etapa 7: Execute, salve e execute novamente em novas imagens#
Escolha onde executar ao lado do botão Run:
| Opção | Use para | Limitações |
|---|---|---|
| Teste compartilhado · 60 segundos | Testar um fluxo de trabalho pequeno | Até 60 segundos, 20 imagens de entrada de até 4 megapixels cada, 20 chamadas de modelo ou provedor e três execuções por minuto; um modelo YOLO local, usando o modelo oficial YOLO26 nano |
| Implantação dedicada existente | Conjuntos de dados maiores e execuções mais longas | Usa o hardware e os preços dessa implantação, sem limite geral de duração do fluxo de trabalho nem de quantidade de imagens; continuam aplicáveis os limites existentes da implantação e do provedor |
| Nova implantação | Criar hardware dedicado a partir do construtor | Abre a caixa de diálogo de criação e preços da implantação; aguarde até que a implantação esteja pronta antes de executar |
Um fluxo de trabalho pode ter até 20 blocos. As ações de Slack e webhook contam como chamadas de modelo ou provedor, e as ramificações podem aumentar o número de chamadas por imagem. Enquanto uma execução está ativa, os blocos mostram o progresso, e você pode clicar em Stop para cancelá-la.
Com a entrada e os destinos configurados, clique em Run. Inspecione os resultados dos blocos e, em seguida, confira o canal do Slack conectado, o receptor do webhook e o conjunto de dados de destino. Se nenhuma ação for executada, verifique se o YOLO detetou uma pessoa e se a condição do Gate foi satisfeita; quando uma condição não corresponde, as ações conectadas a ela não são executadas.
Clique em Save workflow para dar um nome ao fluxo de trabalho e reabri-lo mais tarde em Open workflow. Para executá-lo novamente com novos dados, abra o fluxo de trabalho salvo, selecione novas imagens ou outro conjunto de dados e clique novamente em Run. Salvar não agenda execuções.
Etapa 8: Encadeie um segundo modelo#
Para responder a «o que está a acontecer?» além de «há uma pessoa?», adicione um bloco LLM, conecte o Gate a ele e conecte o LLM a um novo bloco Output, seguindo o padrão do modelo YOLO → VLM Monitor. O Gate avalia as deteções do YOLO, e o modelo de visão e linguagem descreve apenas as imagens que satisfazem a condição. No bloco LLM, escolha um modelo de visão e linguagem e insira um prompt; em seguida, adicione a chave do provedor correspondente em Settings > API Keys (em um espaço de trabalho de equipe, o proprietário do espaço de trabalho adiciona a chave). O uso do modelo de linguagem é cobrado pelo provedor. Para encaminhar uma etapa de previsão por um modelo que você já implantou, use um bloco Deployment, que chama uma implantação existente e pronta da Platform.
Etapa 9: Exporte o fluxo de trabalho como Python ou gerencie-o com a API#
Clique em Python para ver o código gerado para o fluxo de trabalho. Para executá-lo localmente, instale os pacotes ultralytics e ultralytics-platform, defina as chaves dos provedores no ambiente e escolha a entrada de origem. As equipes que gerenciam fluxos de trabalho por código podem usar a API do Agents, disponibilizada no SDK Python como client.agents (ultralytics-platform>=0.1.74), para listar, salvar e excluir agentes. Para iniciar uma execução na Platform, abra o fluxo de trabalho salvo na tela e clique em Run.
Quando usar outra opção#
O Agents é adequado para verificações orientadas a eventos em imagens, clipes de vídeo e conjuntos de dados que você executa sob demanda. Outras abordagens atendem a outras necessidades:
- Escreva em Python. Para o processamento contínuo de uma transmissão de câmera ao vivo, crie o pipeline em código com o pacote Python da Ultralytics; nosso guia de sistema de alarme de segurança mostra um projeto de alerta baseado em código, criado com o Ultralytics YOLO26.
- Pipelines de vídeo com múltiplas transmissões. A NVIDIA descreve o DeepStream como um conjunto de ferramentas de análise de transmissão com uma estrutura baseada no GStreamer para criar pipelines de inferência com múltiplas transmissões e modelos em GPUs NVIDIA.
- Ferramentas de automação geral. O Node-RED descreve-se como uma ferramenta de programação baseada em fluxos com um editor de fluxos no navegador, destinada a equipes que criam automações mais amplas para além da visão computacional.
Perguntas frequentes
O Ultralytics Agents na Ultralytics Platform permite encadear modelos YOLO, implantações da Platform e modelos de visão e linguagem como blocos em uma tela visual. Um padrão comum é YOLO → Gate → LLM, em que o YOLO filtra as imagens e o modelo de visão e linguagem descreve apenas as que satisfazem a condição.
O Ultralytics Agents combina um modelo de deteção YOLO com um bloco Gate, que aplica regras à contagem e à confiança das deteções e às classes, e com ações de Slack, webhook e conjunto de dados. As equipes criam o fluxo de trabalho a partir de modelos sem escrever código e podem exportá-lo como Python mais tarde.
No Ultralytics Agents, conecte um bloco Gate a um bloco Webhook. O webhook é acionado somente quando a condição corresponde, enviando um POST JSON por resultado para um endpoint HTTPS público, com
{output}substituído pelo resultado da deteção.O Ultralytics Agents envia mensagens do Slack por meio de um bloco Slack conectado a uma condição, como «contagem de pessoas ≥ 1». Conecte o Slack uma vez em Settings > Integrations e, em seguida, use o modelo Capture and Alert.
O Ultralytics Agents salva fluxos de trabalho por nome. Abra um fluxo de trabalho salvo, escolha uma nova imagem ou um novo conjunto de dados como entrada e clique em Run. As execuções em uma implantação dedicada não têm limite geral de duração do fluxo de trabalho nem de quantidade de imagens, embora continuem aplicáveis os limites existentes da implantação e do provedor.
O Ultralytics Agents é um construtor de fluxos de trabalho de visão computacional sem código na Ultralytics Platform, com modelos editáveis que conectam as deteções do Ultralytics YOLO a condições, alertas do Slack, webhooks e captura em conjuntos de dados. O teste compartilhado executa um fluxo de trabalho pequeno sem criar uma implantação. As ações do Slack exigem um canal Slack conectado, e as etapas de modelos de visão e linguagem exigem uma chave do provedor correspondente.
Não. Os fluxos de trabalho são executados quando você clica em Run com imagens, vídeo ou um conjunto de dados selecionado, e salvar um fluxo de trabalho não agenda a sua execução. O monitoramento contínuo de câmeras exige uma implementação separada, baseada em código ou em transmissão.
Escrito por
Comentários
Faça uma pergunta, compartilhe seus resultados ou ajude alguém.
