Apresentando os Ultralytics Agents: constrói fluxos de trabalho de IA visual mais rápido

Treinar um modelo de visão computacional robusto é apenas parte da jornada. O próximo desafio é decidir o que deve acontecer quando esse modelo faz uma previsão: salvar uma imagem, solicitar mais contexto, alertar uma equipe ou coletar um exemplo incerto para revisão.

Historicamente, as equipes construíam essa orquestração usando scripts e integrações separados. Os Ultralytics Agents trazem isso para uma tela visual, ajudando as equipes a transformar previsões em ações práticas com menos desenvolvimento personalizado.

Disponíveis na Ultralytics Platform, os Ultralytics Agents conectam imagens, modelos YOLO da Ultralytics, implantações, condições, modelos de linguagem, conjuntos de dados e ações em fluxos de trabalho visuais reutilizáveis.

O que são os Ultralytics Agents?#

Os Ultralytics Agents fornecem uma maneira visual de projetar e executar fluxos de trabalho de visão computacional. Adiciona blocos à tela, conecta cada etapa e define o que deve acontecer quando uma imagem atende a uma condição específica.

Um fluxo de trabalho pode usar um modelo YOLO26 oficial, um modelo treinado no seu espaço de trabalho ou uma implantação existente da plataforma. Ele pode então filtrar previsões por contagem de classes ou confiança, enviar imagens selecionadas para um modelo de visão e linguagem, coletá-las em um conjunto de dados, notificar um canal do Slack ou exibir o resultado.

Com os Ultralytics Agents, podes:

• Construir visualmente: Conecta modelos, condições e ações sem criar manualmente o fluxo de trabalho completo do zero.
• Focar a atenção: Processa apenas as imagens que atendem aos critérios que defines.
• Combinar inteligência visual e de linguagem: Usa o YOLO para identificar o que importa antes de pedir contexto adicional a um modelo de visão e linguagem.
• Transformar previsões em ação: Salva imagens relevantes, envia alertas condicionais do Slack ou passa resultados para a próxima etapa do fluxo de trabalho.
• Conectar insights de produção aos dados: Coleta imagens incertas ou importantes para revisão e desenvolvimento futuro do modelo.
• Inspecionar a implementação: Visualiza o Python gerado a partir do teu fluxo de trabalho visual.

Em vez de parar em "O que o modelo detectou?", as equipes podem responder à pergunta mais valiosa: "O que deve acontecer a seguir?"

Passa da deteção para a decisão#

Muitos sistemas de IA visual exigem várias ferramentas e conexões personalizadas. Um modelo gera previsões, a lógica do aplicativo as avalia, outro sistema armazena entradas relevantes e uma integração separada envia notificações.

Os Ultralytics Agents reúnem estas etapas em um único fluxo de trabalho visual.

Por exemplo, uma equipe de manufatura pode executar um modelo de inspeção treinado, verificar se um defeito atende a um limite escolhido, salvar a imagem para revisão e alertar um canal de operações. Uma equipe de logística pode coletar detecções de baixa confiança para identificar lacunas em seus dados de treinamento. Uma equipe de segurança pode usar o YOLO para detectar uma pessoa em uma área restrita antes de pedir a um modelo de visão e linguagem que descreva a cena mais ampla.

O fluxo de trabalho segue as condições definidas pelo utilizador, tornando claro por que cada etapa subsequente é executada ou não.

Usa o YOLO da Ultralytics e modelos de visão e linguagem juntos#

Os modelos YOLO são eficazes na localização, classificação e contagem de objetos dentro de imagens. Os modelos de visão e linguagem podem adicionar uma interpretação em linguagem natural do contexto visual mais amplo.

Os Ultralytics Agents tornam possível combinar esses recursos com eficiência. O YOLO pode atuar como o primeiro filtro, permitindo que o fluxo de trabalho chame um modelo de visão e linguagem apenas quando uma imagem atender à condição necessária.

Por exemplo, um fluxo de trabalho pode:

1. Executar o YOLO26 em uma imagem.
2. Verificar se pelo menos uma pessoa foi detectada.
3. Enviar imagens correspondentes para um modelo de visão e linguagem selecionado.
4. Pedir que o modelo de visão e linguagem descreva a cena.
5. Exibir a descrição resultante.

Se a condição não for atendida, a etapa de descrição não é executada. Isso dá às equipes maior controle sobre quais imagens prosseguem pelo fluxo de trabalho e quando as chamadas de modelos externos são usadas.

Começa com um modelo de fluxo de trabalho editável#

Os Ultralytics Agents incluem modelos que ajudam as equipes a passar rapidamente de uma ideia para um fluxo de trabalho de IA visual funcional.

• YOLO → Monitor VLM: Usa o YOLO para identificar imagens relevantes antes de pedir a um modelo de visão e linguagem que as descreva.
• Coletar detecções incertas: Filtra previsões por confiança e coleta imagens incertas em um conjunto de dados para revisão.
• Capturar e alertar: Salva uma imagem e envia uma notificação do Slack quando uma condição de detecção é atendida.

Os modelos fornecem um ponto de partida prático em vez de uma solução fixa. As equipes podem selecionar suas próprias imagens, modelos, implantações, condições, prompts, conjuntos de dados de destino e integrações.

Os utilizadores também podem inspecionar o Python gerado por um fluxo de trabalho, combinando a velocidade do desenvolvimento visual com a transparência que as equipes técnicas precisam para entender a implementação.

Fecha o ciclo entre a implantação e a melhoria do modelo#

Imagens do mundo real podem revelar condições que estavam ausentes ou subrepresentadas durante o treinamento. Novos ambientes, aparências de objetos em mudança e detecções incertas podem indicar oportunidades para melhorar um modelo.

Os Ultralytics Agents ajudam as equipes a transformar essas observações em um loop de dados acionável:

1. Executar imagens através de um modelo YOLO da Ultralytics ou de uma implantação da plataforma.
2. Filtrar os resultados usando condições de classe ou confiança.
3. Coletar imagens originais selecionadas em um conjunto de dados de destino.
4. Revisar e anotar as imagens na Ultralytics Platform.
5. Retreinar e reimplantar usando dados informados por entradas do mundo real.

As imagens coletadas por meio dos Ultralytics Agents chegam sem rótulo na divisão de treinamento do conjunto de dados de destino, prontas para revisão no editor de anotações. As equipes podem rotular esses exemplos direcionados e usá-los para orientar a próxima iteração do modelo.

Isso cria um caminho mais direto desde a identificação de um exemplo difícil até a preparação de melhores dados de treinamento.

Constrói fluxos de trabalho em torno de resultados do mundo real#

Os Ultralytics Agents podem dar suporte a fluxos de trabalho em vários setores e casos de uso:

• Manufatura: Captura possíveis defeitos para revisão e notifica as equipes de qualidade quando as condições definidas são atendidas.
• Logística: Coleta detecções incertas envolvendo contêineres, veículos ou equipamentos para melhorar a cobertura do conjunto de dados.
• Varejo: Filtra imagens com base em classes ou contagens detectadas e envia resultados relevantes para ações a jusante.
• Segurança e proteção: Detecta pessoas ou objetos em cenários especificados antes de solicitar contexto adicional de cena.
• Desenvolvimento de conjuntos de dados: Encontra exemplos de baixa confiança e os reúne em um conjunto de revisão focado.

Cada fluxo de trabalho pode ramificar de uma condição para várias ações. Por exemplo, a mesma imagem correspondente pode ser salva em um conjunto de dados e acionar uma mensagem no Slack, ajudando as equipes a preservar evidências enquanto notificam as pessoas responsáveis por revisá-las.

Do protótipo visual ao Python transparente#

Os criadores de fluxos de trabalho visuais podem acelerar a experimentação, mas as equipes técnicas também precisam de visibilidade sobre o que está em execução.

Os Ultralytics Agents permitem que os utilizadores inspecionem o Python gerado a partir de um fluxo de trabalho. Isso conecta a acessibilidade de uma tela visual com a transparência que os desenvolvedores precisam para entender a implementação subjacente.

As equipes podem testar um pequeno fluxo de trabalho com a avaliação compartilhada ou selecionar recursos dedicados de implantação da plataforma para conjuntos de dados maiores, execuções mais longas e modelos de espaço de trabalho treinados.

Começa a construir com os Ultralytics Agents#

Os Ultralytics Agents ajudam as equipes a ir além de previsões isoladas e a construir fluxos de trabalho de IA visual conectados. Ao reunir o YOLO, modelos de visão e linguagem, condições configuráveis, conjuntos de dados e ações em uma única tela, os Ultralytics Agents criam um caminho mais rápido da previsão ao resultado prático.

Os Ultralytics Agents estão atualmente disponíveis por meio do Early access. Mude para o teu espaço de trabalho pessoal e ative o Early access em Settings > Profile. Esta é uma preferência pessoal, inclusive quando estás a trabalhar em um espaço de trabalho de equipe.

Em seguida, abre os Ultralytics Agents a partir da barra lateral, começa com um modelo ou constrói o teu próprio fluxo de trabalho na Agents canvas. Explora os blocos suportados, condições, opções de execução e orientações de configuração na documentação dos Ultralytics Agents.