A visão computacional impulsiona a forma como agentes de IA visual tomam decisões

Cada setor, da manufatura ao varejo, enfrenta seus próprios desafios de processo, e encontrar formas inovadoras de resolver essas questões sempre foi a chave para administrar negócios de sucesso. Recentemente, os agentes de IA tornaram-se uma solução popular em muitos campos. Esses sistemas vão além da análise de dados. Eles também podem agir.

Por exemplo, os AI agents in manufacturing conseguem detetar defeitos em tempo real e iniciar automaticamente medidas de controlo de qualidade para manter a produção a funcionar sem interrupções. Da mesma forma, na logistics e no retalho, podem monitorizar vários locais através de vigilância inteligente e alertar instantaneamente as equipas para atividades atípicas.

À medida que esta tendência cresce, os agentes de IA estão a transformar ativamente indústrias em todo o mundo. O global AI agents market atingiu 5,1 mil milhões de dólares em 2024 e prevê-se que cresça para 47,1 mil milhões de dólares até 2030.

Fig 1. Uma vista sobre a dimensão do mercado global de agentes de IA.

Uma das tecnologias-chave que impulsionam estes avanços é a computer vision. Ao permitir que as máquinas processem e interpretem dados visuais, a IA de visão possibilita que os agentes de IA realizem tarefas de visão computacional, como deteção de objetos em tempo real, segmentação de instâncias e rastreio de objetos, com uma precisão incrível. Faz a ponte entre o que as máquinas veem e a forma como tomam decisões, tornando-se uma parte crucial de muitas soluções alimentadas por IA.

Neste artigo, exploraremos os agentes de IA e sua relação com a visão computacional. Também discutiremos os diferentes tipos de agentes de IA e como eles são usados em aplicações baseadas em visão. Vamos começar!

O que são agentes de IA?#

Antes de mergulhar nos agentes de IA baseados em visão, vamos reservar um momento para entender os agentes de IA em geral e ver o quão versáteis esses sistemas podem ser.

Um agente de IA é um sistema inteligente capaz de entender e responder a tarefas ou perguntas sem precisar de ajuda humana. Muitos agentes de IA usam aprendizado de máquina e processamento de linguagem natural (NLP) para lidar com uma ampla gama de tarefas, desde responder a perguntas básicas até gerenciar processos complexos.

Alguns agentes de IA têm até a capacidade de aprender e melhorar com o tempo, ao contrário dos sistemas de IA tradicionais que dependem de entrada humana para cada atualização. É por isso que os agentes de IA estão se tornando rapidamente uma parte essencial da IA. Eles podem automatizar tarefas, tomar decisões e interagir com seu ambiente sem precisar de supervisão constante. Eles são especialmente úteis para gerenciar tarefas repetitivas e demoradas.

Por exemplo, você pode encontrar agentes de IA em setores como atendimento ao cliente e hospitalidade. Os agentes de IA estão sendo usados para processar reembolsos e oferecer recomendações personalizadas de produtos no atendimento ao cliente. Enquanto isso, na indústria hoteleira, eles podem ajudar a equipe do hotel a gerenciar solicitações de hóspedes, agilizar o serviço de quarto e sugerir atrações próximas aos hóspedes. Esses exemplos mostram como os agentes de IA estão tornando os processos do dia a dia mais rápidos e eficientes.

Entendendo como funcionam os agentes de IA de visão#

A seguir, vamos dar uma olhada rápida em como os agentes de IA funcionam. Embora cada agente de IA seja único e projetado para tarefas específicas, todos eles compartilham as mesmas três etapas principais: percepção, tomada de decisão e ação.

Primeiro, na etapa de percepção, os agentes de IA reúnem informações de diferentes fontes para entender o que está acontecendo. A seguir, vem a tomada de decisão. Com base nas informações coletadas, eles usam seus algoritmos para analisar a situação e decidir o melhor curso de ação. Finalmente, há a ação. Uma vez tomada uma decisão, eles a executam — seja respondendo a uma pergunta, concluindo uma tarefa ou sinalizando um problema para um humano resolver.

Pode parecer simples, mas, dependendo do tipo de agente de IA, muitas vezes há muito acontecendo nos bastidores para fazer essas etapas funcionarem. Da análise de dados complexos ao uso de modelos avançados de aprendizado de máquina, cada agente de IA é construído para lidar com tarefas específicas à sua própria maneira.

Por exemplo, enquanto muitos agentes de IA se concentram no processamento de linguagem através de NLP, outros — conhecidos como agentes de IA de visão — integram a visão computacional para lidar com dados visuais. Utilizando modelos avançados de visão computacional como o Ultralytics YOLO11, os agentes de IA de visão podem realizar análises de imagem mais precisas.

Fig 2. Um exemplo de contagem de maçãs numa imagem utilizando o YOLO11.

Agentes de IA de visão em carros autônomos#

Vamos usar carros autônomos como exemplo para ver como os agentes de IA de visão funcionam através das três etapas principais descritas acima:

• Perceção: Os Vision AI agents in self-driving carros autónomos recolhem dados visuais de câmaras e sensores instalados no veículo. Estes dados incluem imagens e vídeos do ambiente circundante, tais como outros veículos, peões, semáforos e sinais de trânsito.
• Tomada de decisão: O agente de IA processa esses dados visuais usando modelos como Ultralytics YOLO11. Ele identifica objetos como carros e pedestres, detecta obstáculos ou mudanças repentinas de faixa e reconhece padrões como fluxo de tráfego e estados de sinalização. Isso ajuda o carro a entender as condições da estrada em tempo real.
• Ação: Com base em sua análise, o agente de IA toma uma ação, como esterçar para evitar um obstáculo, ajustar a velocidade ou parar em um sinal vermelho. Essas decisões são tomadas rapidamente para garantir uma condução segura e eficiente.

Os carros autônomos da Waymo são um ótimo exemplo dessa tecnologia. Eles usam agentes de IA de visão para entender seus arredores, tomar decisões em tempo real e navegar pelas estradas com segurança e eficiência sem intervenção humana.

Fig 3. Táxi autónomo baseado em agentes de IA da Waymo.

Tipos de agentes de IA de visão#

Agora que vimos como os agentes de IA funcionam e como usam visão computacional, vamos analisar os diferentes tipos de agentes de IA. Cada tipo é projetado para tarefas específicas, desde ações simples até tomadas de decisão e aprendizado mais complexos.

Agentes reflexivos simples#

Agentes reflexivos simples são o tipo mais básico de agente de IA. Eles respondem a entradas específicas com ações pré-definidas, com base puramente na situação atual, sem considerar nenhum histórico ou resultados futuros. Esses agentes geralmente usam regras simples de "se-então" para orientar seu comportamento.

Com relação à análise de imagem, um agente reflexivo simples pode ser programado para detectar uma cor específica (como vermelho) e acionar uma ação imediata (como destacar ou contar objetos vermelhos). Embora isso funcione para tarefas diretas, é insuficiente em ambientes mais complexos, pois o agente não aprende nem se adapta de experiências anteriores.

Agentes reflexivos baseados em modelo#

Agentes reflexivos baseados em modelo são mais avançados do que os agentes reflexivos simples porque usam um modelo interno de seu ambiente para entender melhor a situação. Esse modelo permite que lidem com informações ausentes ou incompletas e tomem decisões mais informadas.

Pensa nos AI security camera systems, por exemplo. Os agentes de IA de visão integrados nestes sistemas podem utilizar a visão computacional para analisar o que está a acontecer em tempo real. Podem comparar movimentos e ações com um modelo de comportamento normal, ajudando a detetar atividades atípicas, como furto em lojas, e a sinalizar potenciais ameaças de segurança com maior precisão.

Fig 4. Um exemplo de utilização de visão computacional para detetar furtos.

Agentes baseados em utilidade#

Pensa num utility-based drone utilizado para monitorização de culturas. Este ajusta a sua trajetória de voo para cobrir mais terreno enquanto evita obstáculos e seleciona a melhor rota para a tarefa. Isto significa que o drone avalia múltiplas ações potenciais, tais como qual a área a priorizar ou como navegar eficientemente, e escolhe aquela que maximiza a sua eficácia.

Da mesma forma, os agentes baseados em utilidade são projetados para escolher a melhor ação entre várias opções para alcançar o maior benefício ou resultado. Agentes de IA de visão projetados para isso podem processar e analisar diferentes entradas visuais, como imagens ou dados de sensores, e selecionar o resultado mais útil com base em critérios predefinidos.

Fig 5. Os drones baseados em utilidade podem ser utilizados para monitorização de culturas.

Agentes baseados em objetivos#

Agentes baseados em objetivos são semelhantes aos agentes baseados em utilidade porque ambos visam alcançar objetivos específicos. No entanto, os agentes baseados em objetivos concentram-se puramente em ações que os aproximam de seu objetivo definido. Eles avaliam cada ação com base em como ela ajuda a alcançar seu alvo, sem pesar outros fatores como valor geral ou compensações.

Por exemplo, um carro autónomo opera como um agente baseado em objetivos quando o seu objetivo é alcançar um destino. Processa dados de AI cameras e sensores para tomar decisões, tais como evitar obstáculos, obedecer aos semáforos e escolher as curvas certas para se manter no rumo. Estas decisões são guiadas inteiramente pelo grau de alinhamento com o objetivo de chegar ao destino de forma segura e eficiente. Ao contrário dos agentes baseados em utilidade, os agentes baseados em objetivos concentram-se apenas na concretização do objetivo, sem considerar critérios adicionais como a eficiência ou a otimização.

Fig 6. Um carro autónomo a utilizar visão computacional para identificar objetos na sua envolvente.

Agentes de aprendizado#

Se estás familiarizado com a visão computacional, podes já ter ouvido falar de fine-tuning — um processo em que os modelos melhoram ao aprenderem com novos dados. Os agentes de aprendizagem funcionam de forma semelhante, adaptando-se e melhorando ao longo do tempo à medida que ganham experiência. Em aplicações como o vision-based quality control, estes agentes tornam-se melhores a detetar defeitos a cada inspeção. Esta capacidade de aperfeiçoar o seu desempenho é particularmente vital em áreas como a aviação, onde a segurança e a precisão são essenciais.

Agentes hierárquicos#

Agentes hierárquicos simplificam tarefas complexas dividindo-as em etapas menores e mais gerenciáveis. Um agente de nível superior supervisiona o processo geral, tomando decisões estratégicas, enquanto agentes de nível inferior lidam com tarefas específicas. É mais eficiente quando se trata de operações que envolvem várias etapas e execução detalhada.

Por exemplo, em um armazém automatizado, um robô de nível superior pode planejar o processo de triagem, decidindo quais itens devem ir para quais áreas. Ao mesmo tempo, robôs de nível inferior concentram-se em identificar itens usando visão computacional, analisando características como tamanho, forma ou rótulos, e organizando-os nas caixas corretas. Uma clara divisão de responsabilidades ajuda o sistema a funcionar perfeitamente.

Fig 7. Um exemplo de um agente de IA robótico a ordenar pacotes.

Como começar a construir um agente de IA de visão#

O núcleo de um agente de IA com capacidades de visão é um modelo de visão computacional. Um dos modelos de visão computacional mais recentes e fiáveis disponíveis atualmente é o Ultralytics YOLO11. O YOLO11 é conhecido pela sua eficiência e precisão em tempo real, tornando-se perfeito para computer vision tasks.

Aqui estão os diferentes processos envolvidos na construção do teu próprio agente de IA com as capacidades do Ultralytics YOLO11:

• Prepare a dataset: Recolhe e pré-processa imagens rotuladas relevantes para a tarefa que o teu agente de IA irá executar.

• Treina de forma personalizada o modelo: Treina o Ultralytics YOLO11 especificamente no teu conjunto de dados para melhorar a precisão e o desempenho para a tua aplicação exclusiva.

• Integre com uma estrutura de tomada de decisão: Conecte o modelo treinado a um sistema que permite que o agente de IA tome decisões com base em entradas visuais.

• Teste e refine: Implante o agente de IA, teste seu desempenho, reúna feedback e ajuste o modelo para melhorar a precisão e a confiabilidade.

Principais pontos#

Agentes de IA integrados com visão computacional — agentes de IA de visão — estão mudando as indústrias ao automatizar tarefas, tornar os processos mais rápidos e melhorar a tomada de decisão. Desde cidades inteligentes controlando o tráfego até sistemas de segurança usando reconhecimento facial, esses agentes estão trazendo novas soluções para problemas comuns.

Eles também podem continuar a aprender e a melhorar ao longo do tempo, tornando-se úteis em ambientes em mudança. Com ferramentas como o Ultralytics YOLO11, criar e usar estes agentes de IA é mais fácil, conduzindo a soluções mais inteligentes e eficientes.

Junta-te à nossa community e consulta o nosso GitHub repository para aprenderes sobre IA. Explora várias aplicações de computer vision in healthcare e AI in agriculture nas nossas páginas de soluções. Dá uma vista de olhos às licensing options disponíveis para começares!