Conheça o Ultralytics Agents: crie fluxos de trabalho de IA visual com mais rapidez

Treinar um modelo robusto de visão computacional é apenas parte do percurso. O próximo desafio é decidir o que deve acontecer quando esse modelo faz uma predição: salvar uma imagem, solicitar mais contexto, alertar uma equipe ou coletar um exemplo incerto para revisão.

Historicamente, as equipes criavam essa orquestração usando scripts e integrações separados. O Ultralytics Agents traz tudo para uma tela visual, ajudando as equipes a transformar predições em ações práticas com menos desenvolvimento personalizado.

Disponível na Ultralytics Platform, o Agents conecta imagens, modelos Ultralytics YOLO, implantações, condições, modelos de linguagem, conjuntos de dados e ações em fluxos de trabalho visuais reutilizáveis.

O que são os Ultralytics Agents?#

Os Agents oferecem uma maneira visual de projetar e executar fluxos de trabalho de visão computacional. Adicione blocos à tela, conecte cada etapa e defina o que deve acontecer quando uma imagem atender a uma condição específica.

Um fluxo de trabalho pode usar um modelo oficial YOLO26, um modelo treinado no seu espaço de trabalho ou uma implantação existente da Platform. Em seguida, ele pode filtrar previsões por quantidade de classes ou confiança, enviar imagens selecionadas a um modelo de visão e linguagem, reuni-las em um conjunto de dados, notificar um canal do Slack ou exibir o resultado.

Com os Agents, você pode:

• Crie visualmente: conecte modelos, condições e ações sem precisar criar manualmente o fluxo de trabalho completo do zero.
• Direcione a atenção: processe apenas as imagens que atendem aos critérios definidos por você.
• Combine inteligência visual e linguística: use o YOLO para identificar o que importa antes de pedir mais contexto a um modelo de visão e linguagem.
• Transforme previsões em ações: salve imagens relevantes, envie alertas condicionais pelo Slack ou passe os resultados à próxima etapa do fluxo de trabalho.
• Conecte insights da produção aos dados: reúna imagens incertas ou importantes para revisão e desenvolvimento futuro de modelos.
• Inspecione a implementação: veja o Python gerado pelo seu fluxo de trabalho visual.

Em vez de parar em “O que o modelo detectou?”, as equipes podem responder à pergunta mais valiosa: “O que deve acontecer em seguida?”

Passe da detecção à decisão#

Muitos sistemas de IA visual exigem várias ferramentas e conexões personalizadas. Um modelo gera previsões, a lógica da aplicação as avalia, outro sistema armazena as entradas relevantes e uma integração separada envia notificações.

Os Agents reúnem essas etapas em um único fluxo de trabalho visual.

Por exemplo, uma equipe de manufatura poderia executar um modelo de inspeção treinado, verificar se um defeito atinge um limite definido, salvar a imagem para revisão e alertar um canal de operações. Uma equipe de logística poderia reunir detecções com baixa confiança para identificar lacunas nos dados de treinamento. Uma equipe de segurança poderia usar o YOLO para detectar uma pessoa em uma área restrita antes de pedir a um modelo de visão e linguagem que descreva a cena mais ampla.

O fluxo de trabalho segue as condições definidas pelo usuário, deixando claro por que cada etapa subsequente é executada ou não.

Use os modelos Ultralytics YOLO e de visão e linguagem em conjunto#

Os modelos YOLO são eficazes para localizar, classificar e contar objetos em imagens. Os modelos de visão e linguagem podem acrescentar uma interpretação em linguagem natural do contexto visual mais amplo.

Os Agents permitem combinar essas capacidades com eficiência. O YOLO pode atuar como primeiro filtro, permitindo que o fluxo de trabalho chame um modelo de visão e linguagem apenas quando uma imagem atender à condição exigida.

Por exemplo, um fluxo de trabalho poderia:

1. Executar o YOLO26 em uma imagem.
2. Verificar se pelo menos uma pessoa foi detectada.
3. Enviar as imagens correspondentes a um modelo de visão e linguagem selecionado.
4. Pedir ao modelo que descreva a cena.
5. Exibir a descrição resultante.

Se a condição não for atendida, a etapa de descrição não será executada. Isso dá às equipes mais controle sobre quais imagens avançam no fluxo de trabalho e quando são feitas chamadas a modelos externos.

Comece com um modelo de fluxo de trabalho editável#

Os Agents incluem modelos que ajudam as equipes a passar rapidamente de uma ideia a um fluxo de trabalho de IA visual funcional.

• YOLO → Monitoramento com VLM: use o YOLO para identificar imagens relevantes antes de pedir a um modelo de visão e linguagem que as descreva.
• Reunir detecções incertas: filtre previsões por confiança e reúna imagens incertas em um conjunto de dados para revisão.
• Capturar e alertar: salve uma imagem e envie uma notificação pelo Slack quando uma condição de detecção for atendida.

Os modelos oferecem um ponto de partida prático, não uma solução fixa. As equipes podem escolher suas próprias imagens, modelos, implantações, condições, prompts, conjuntos de dados de destino e integrações.

Os usuários também podem inspecionar o Python gerado por um fluxo de trabalho, combinando a rapidez do desenvolvimento visual com a transparência necessária para que as equipes técnicas entendam a implementação.

Feche o ciclo entre a implantação e a melhoria do modelo#

Imagens do mundo real podem revelar condições ausentes ou sub-representadas durante o treinamento. Novos ambientes, mudanças na aparência dos objetos e detecções incertas podem indicar oportunidades para aprimorar um modelo.

Os Agents ajudam as equipes a transformar essas observações em um ciclo de dados prático:

1. Execute imagens em um modelo Ultralytics YOLO ou em uma implantação da Platform.
2. Filtre os resultados usando condições de classe ou confiança.
3. Reúna as imagens originais selecionadas em um conjunto de dados de destino.
4. Revise e anote as imagens na Ultralytics Platform.
5. Treine novamente e reimplante usando dados informados por entradas do mundo real.

As imagens reunidas pelos Agents chegam sem rótulos à divisão de treinamento do conjunto de dados de destino, prontas para revisão no editor de anotações. As equipes podem rotular esses exemplos específicos e usá-los para orientar a próxima iteração do modelo.

Isso cria um caminho mais direto entre identificar um exemplo difícil e preparar dados de treinamento melhores.

Crie fluxos de trabalho voltados a resultados do mundo real#

Os Agents podem dar suporte a fluxos de trabalho em diversos setores e casos de uso:

• Manufatura: capture possíveis defeitos para revisão e notifique as equipes de qualidade quando as condições definidas forem atendidas.
• Logística: reúna detecções incertas de contêineres, veículos ou equipamentos para melhorar a cobertura do conjunto de dados.
• Varejo: filtre imagens com base nas classes ou quantidades detectadas e envie resultados relevantes às ações subsequentes.
• Segurança e proteção: detecte pessoas ou objetos em cenários especificados antes de solicitar contexto adicional da cena.
• Desenvolvimento de conjuntos de dados: encontre exemplos com baixa confiança e reúna-os em um conjunto específico para revisão.

Cada fluxo de trabalho pode se ramificar de uma condição para várias ações. Por exemplo, a mesma imagem correspondente pode ser salva em um conjunto de dados e acionar uma mensagem no Slack, ajudando as equipes a preservar evidências e notificar as pessoas responsáveis pela revisão.

Do protótipo visual ao Python transparente#

Os construtores visuais de fluxos de trabalho podem acelerar a experimentação, mas as equipes técnicas também precisam saber o que está sendo executado.

Os Agents permitem que os usuários inspecionem o Python gerado por um fluxo de trabalho. Isso combina a acessibilidade de uma tela visual com a transparência necessária para que os desenvolvedores entendam a implementação subjacente.

As equipes podem testar um fluxo de trabalho pequeno com o período de avaliação compartilhado ou selecionar recursos dedicados de implantação da Platform para conjuntos de dados maiores, execuções mais longas e modelos treinados no espaço de trabalho.

Comece a criar com os Agents#

Ultralytics Agents ajudam as equipes a ir além de previsões isoladas e criar fluxos de trabalho de IA visual conectados. Ao reunir YOLO, modelos de visão e linguagem, condições configuráveis, conjuntos de dados e ações em uma única tela, os Agents aceleram o caminho entre a previsão e um resultado prático.

Os Agents estão disponíveis no momento por meio do Acesso antecipado. Mude para seu espaço de trabalho pessoal e ative o Acesso antecipado em Configurações > Perfil. Essa é uma preferência pessoal, inclusive quando você está trabalhando em um espaço de trabalho de equipe.

Em seguida, abra Agents na barra lateral, comece com um modelo ou crie seu próprio fluxo de trabalho na tela do Agents. Explore os blocos compatíveis, as condições, as opções de execução e as orientações de configuração na documentação do Ultralytics Agents.