A visão computacional impulsiona a forma como agentes de IA visual tomam decisões

Cada setor, da manufatura ao varejo, enfrenta seus próprios desafios de processo, e encontrar formas inovadoras de resolver essas questões sempre foi a chave para administrar negócios de sucesso. Recentemente, os agentes de IA tornaram-se uma solução popular em muitos campos. Esses sistemas vão além da análise de dados. Eles também podem agir.

Por exemplo, agentes de IA na manufatura podem detectar defeitos em tempo real e iniciar automaticamente medidas de controle de qualidade para manter a produção funcionando sem problemas. Da mesma forma, em logística e varejo, eles podem monitorar vários locais usando vigilância inteligente e alertar instantaneamente as equipes sobre atividades incomuns.

À medida que essa tendência cresce, os agentes de IA estão transformando ativamente as indústrias em todo o mundo. O mercado global de agentes de IA atingiu US$ 5,1 bilhões em 2024 e a previsão é que cresça para US$ 47,1 bilhões até 2030.

Fig 1. Uma visão sobre o tamanho do mercado global de agentes de IA.

Uma das tecnologias-chave impulsionando esses avanços é a visão computacional. Ao permitir que máquinas processem e interpretem dados visuais, a IA de visão torna possível que os agentes de IA realizem tarefas de visão computacional, como detecção de objetos em tempo real, segmentação de instâncias e rastreamento de objetos com precisão incrível. Ela preenche a lacuna entre o que as máquinas veem e como tomam decisões, tornando-se uma parte crítica de muitas soluções baseadas em IA.

Neste artigo, exploraremos os agentes de IA e sua relação com a visão computacional. Também discutiremos os diferentes tipos de agentes de IA e como eles são usados em aplicações baseadas em visão. Vamos começar!

Link to this sectionO que são agentes de IA?#

Antes de mergulhar nos agentes de IA baseados em visão, vamos reservar um momento para entender os agentes de IA em geral e ver o quão versáteis esses sistemas podem ser.

Um agente de IA é um sistema inteligente capaz de entender e responder a tarefas ou perguntas sem precisar de ajuda humana. Muitos agentes de IA usam aprendizado de máquina e processamento de linguagem natural (NLP) para lidar com uma ampla gama de tarefas, desde responder a perguntas básicas até gerenciar processos complexos.

Alguns agentes de IA têm até a capacidade de aprender e melhorar com o tempo, ao contrário dos sistemas de IA tradicionais que dependem de entrada humana para cada atualização. É por isso que os agentes de IA estão se tornando rapidamente uma parte essencial da IA. Eles podem automatizar tarefas, tomar decisões e interagir com seu ambiente sem precisar de supervisão constante. Eles são especialmente úteis para gerenciar tarefas repetitivas e demoradas.

Por exemplo, você pode encontrar agentes de IA em setores como atendimento ao cliente e hospitalidade. Os agentes de IA estão sendo usados para processar reembolsos e oferecer recomendações personalizadas de produtos no atendimento ao cliente. Enquanto isso, na indústria hoteleira, eles podem ajudar a equipe do hotel a gerenciar solicitações de hóspedes, agilizar o serviço de quarto e sugerir atrações próximas aos hóspedes. Esses exemplos mostram como os agentes de IA estão tornando os processos do dia a dia mais rápidos e eficientes.

Link to this sectionEntendendo como funcionam os agentes de IA de visão#

A seguir, vamos dar uma olhada rápida em como os agentes de IA funcionam. Embora cada agente de IA seja único e projetado para tarefas específicas, todos eles compartilham as mesmas três etapas principais: percepção, tomada de decisão e ação.

Primeiro, na etapa de percepção, os agentes de IA reúnem informações de diferentes fontes para entender o que está acontecendo. A seguir, vem a tomada de decisão. Com base nas informações coletadas, eles usam seus algoritmos para analisar a situação e decidir o melhor curso de ação. Finalmente, há a ação. Uma vez tomada uma decisão, eles a executam — seja respondendo a uma pergunta, concluindo uma tarefa ou sinalizando um problema para um humano resolver.

Pode parecer simples, mas, dependendo do tipo de agente de IA, muitas vezes há muito acontecendo nos bastidores para fazer essas etapas funcionarem. Da análise de dados complexos ao uso de modelos avançados de aprendizado de máquina, cada agente de IA é construído para lidar com tarefas específicas à sua própria maneira.

Por exemplo, embora muitos agentes de IA se concentrem no processamento de linguagem através de NLP, outros — conhecidos como agentes de IA de visão — integram visão computacional para lidar com dados visuais. Usando modelos avançados de visão computacional como o Ultralytics YOLO11, os agentes de IA de visão podem realizar análises de imagem mais precisas.

Fig 2. Um exemplo de contagem de maçãs em uma imagem usando YOLO11.

Link to this sectionAgentes de IA de visão em carros autônomos#

Vamos usar carros autônomos como exemplo para ver como os agentes de IA de visão funcionam através das três etapas principais descritas acima:

• Percepção: Agentes de IA de visão em carros autônomos coletam dados visuais de câmeras e sensores instalados no veículo. Esses dados incluem imagens e vídeos do ambiente circundante, como outros veículos, pedestres, sinais de trânsito e placas de estrada.
• Tomada de decisão: O agente de IA processa esses dados visuais usando modelos como o YOLO11. Ele identifica objetos como carros e pedestres, detecta obstáculos ou mudanças repentinas de faixa e reconhece padrões como fluxo de tráfego e estados dos sinais. Isso ajuda o carro a entender as condições da estrada em tempo real.
• Ação: Com base em sua análise, o agente de IA toma uma ação, como esterçar para evitar um obstáculo, ajustar a velocidade ou parar em um sinal vermelho. Essas decisões são tomadas rapidamente para garantir uma condução segura e eficiente.

Os carros autônomos da Waymo são um ótimo exemplo dessa tecnologia. Eles usam agentes de IA de visão para entender seus arredores, tomar decisões em tempo real e navegar pelas estradas com segurança e eficiência sem intervenção humana.

Fig 3. Táxi autônomo baseado em agente de IA da Waymo.

Link to this sectionTipos de agentes de IA de visão#

Agora que vimos como os agentes de IA funcionam e como usam visão computacional, vamos analisar os diferentes tipos de agentes de IA. Cada tipo é projetado para tarefas específicas, desde ações simples até tomadas de decisão e aprendizado mais complexos.

Link to this sectionAgentes reflexivos simples#

Agentes reflexivos simples são o tipo mais básico de agente de IA. Eles respondem a entradas específicas com ações pré-definidas, com base puramente na situação atual, sem considerar nenhum histórico ou resultados futuros. Esses agentes geralmente usam regras simples de "se-então" para orientar seu comportamento.

Com relação à análise de imagem, um agente reflexivo simples pode ser programado para detectar uma cor específica (como vermelho) e acionar uma ação imediata (como destacar ou contar objetos vermelhos). Embora isso funcione para tarefas diretas, é insuficiente em ambientes mais complexos, pois o agente não aprende nem se adapta de experiências anteriores.

Link to this sectionAgentes reflexivos baseados em modelo#

Agentes reflexivos baseados em modelo são mais avançados do que os agentes reflexivos simples porque usam um modelo interno de seu ambiente para entender melhor a situação. Esse modelo permite que lidem com informações ausentes ou incompletas e tomem decisões mais informadas.

Veja, por exemplo, os sistemas de câmera de segurança com IA. Os agentes de IA de visão integrados neles podem usar visão computacional para analisar o que está acontecendo em tempo real. Eles podem comparar movimentos e ações com um modelo de comportamento normal, ajudando-os a detectar atividades incomuns, como furto em lojas, e sinalizar ameaças potenciais à segurança com mais precisão.

Fig 4. Um exemplo de uso de visão computacional para detectar roubo.

Link to this sectionAgentes baseados em utilidade#

Pense em um drone baseado em utilidade usado para monitoramento de colheitas. Ele ajusta sua trajetória de voo para cobrir mais terreno enquanto evita obstáculos e seleciona a melhor rota para o trabalho. Isso significa que o drone avalia múltiplas ações potenciais, como qual área priorizar ou como navegar de forma eficiente, e escolhe aquela que maximiza sua eficácia.

Da mesma forma, os agentes baseados em utilidade são projetados para escolher a melhor ação entre várias opções para alcançar o maior benefício ou resultado. Agentes de IA de visão projetados para isso podem processar e analisar diferentes entradas visuais, como imagens ou dados de sensores, e selecionar o resultado mais útil com base em critérios predefinidos.

Fig 5. Drones baseados em utilidade podem ser usados para monitoramento de colheitas.

Link to this sectionAgentes baseados em objetivos#

Agentes baseados em objetivos são semelhantes aos agentes baseados em utilidade porque ambos visam alcançar objetivos específicos. No entanto, os agentes baseados em objetivos concentram-se puramente em ações que os aproximam de seu objetivo definido. Eles avaliam cada ação com base em como ela ajuda a alcançar seu alvo, sem pesar outros fatores como valor geral ou compensações.

Por exemplo, um carro autônomo opera como um agente baseado em objetivo quando seu objetivo é chegar a um destino. Ele processa dados de câmeras com IA e sensores para tomar decisões como evitar obstáculos, obedecer aos sinais de trânsito e escolher as curvas certas para manter o curso. Essas decisões são guiadas inteiramente pelo quanto elas se alinham com o objetivo de chegar ao destino com segurança e eficiência. Ao contrário dos agentes baseados em utilidade, os agentes baseados em objetivos concentram-se apenas na realização do objetivo sem considerar critérios adicionais como eficiência ou otimização.

Fig 6. Um carro autônomo usando visão computacional para identificar objetos em seu entorno.

Link to this sectionAgentes de aprendizado#

Se você está familiarizado com visão computacional, talvez já tenha ouvido falar de fine-tuning — um processo onde modelos melhoram aprendendo com novos dados. Os agentes de aprendizado funcionam de maneira semelhante, adaptando-se e melhorando ao longo do tempo conforme ganham experiência. Em aplicações como controle de qualidade baseado em visão, esses agentes se tornam melhores na detecção de defeitos a cada inspeção. Essa capacidade de refinar seu desempenho é particularmente vital em campos como a aviação, onde a segurança e a precisão são essenciais.

Link to this sectionAgentes hierárquicos#

Agentes hierárquicos simplificam tarefas complexas dividindo-as em etapas menores e mais gerenciáveis. Um agente de nível superior supervisiona o processo geral, tomando decisões estratégicas, enquanto agentes de nível inferior lidam com tarefas específicas. É mais eficiente quando se trata de operações que envolvem várias etapas e execução detalhada.

Por exemplo, em um armazém automatizado, um robô de nível superior pode planejar o processo de triagem, decidindo quais itens devem ir para quais áreas. Ao mesmo tempo, robôs de nível inferior concentram-se em identificar itens usando visão computacional, analisando características como tamanho, forma ou rótulos, e organizando-os nas caixas corretas. Uma clara divisão de responsabilidades ajuda o sistema a funcionar perfeitamente.

Fig 7. Um exemplo de um agente de IA robótico organizando pacotes.

Link to this sectionComo começar a construir um agente de IA de visão#

O núcleo de um agente de IA com habilidades de visão é um modelo de visão computacional. Um dos modelos de visão computacional mais recentes e confiáveis disponíveis hoje é o Ultralytics YOLO11. O YOLO11 é conhecido por sua eficiência e precisão em tempo real, tornando-o perfeito para tarefas de visão computacional.

Aqui estão os diferentes processos envolvidos na construção do seu próprio agente de IA com as capacidades do YOLO11:

• Prepare um dataset: Colete e pré-processe imagens rotuladas relevantes para a tarefa que seu agente de IA executará.

• Treine de forma personalizada o modelo: Treine o YOLO11 especificamente em seu dataset para melhorar sua precisão e desempenho para sua aplicação única.

• Integre com uma estrutura de tomada de decisão: Conecte o modelo treinado a um sistema que permite que o agente de IA tome decisões com base em entradas visuais.

• Teste e refine: Implante o agente de IA, teste seu desempenho, reúna feedback e ajuste o modelo para melhorar a precisão e a confiabilidade.

Link to this sectionPrincipais pontos#

Agentes de IA integrados com visão computacional — agentes de IA de visão — estão mudando as indústrias ao automatizar tarefas, tornar os processos mais rápidos e melhorar a tomada de decisão. Desde cidades inteligentes controlando o tráfego até sistemas de segurança usando reconhecimento facial, esses agentes estão trazendo novas soluções para problemas comuns.

Eles também podem continuar aprendendo e melhorando com o tempo, tornando-os úteis em ambientes em constante mudança. Com ferramentas como o YOLO11, criar e usar esses agentes de IA torna-se mais fácil, levando a soluções mais inteligentes e eficientes.

Junte-se à nossa comunidade e confira nosso repositório no GitHub para aprender sobre IA. Explore várias aplicações de visão computacional na área da saúde e IA na agricultura em nossas páginas de soluções. Dê uma olhada nas opções de licenciamento disponíveis para começar!