A visão computacional orienta as decisões dos agentes de IA visual

Todos os setores, da indústria ao comércio a retalho, enfrentam desafios específicos nos seus processos, e encontrar formas inovadoras de resolver estes problemas sempre foi essencial para gerir empresas bem-sucedidas. Recentemente, os agentes de IA tornaram-se uma solução popular em muitos setores. Estes sistemas vão além da análise de dados. Também podem agir.

Por exemplo, os agentes de IA na indústria podem detetar defeitos em tempo real e iniciar automaticamente medidas de controlo de qualidade para manter a produção a funcionar sem interrupções. Do mesmo modo, na logística e no comércio a retalho, podem monitorizar vários locais através de vigilância inteligente e alertar imediatamente as equipas para atividades invulgares.

À medida que esta tendência cresce, os agentes de IA estão a transformar ativamente setores em todo o mundo. O mercado global de agentes de IA atingiu 5,1 mil milhões de dólares em 2024 e prevê-se que cresça para 47,1 mil milhões de dólares até 2030.

Fig. 1. Panorama da dimensão do mercado global de agentes de IA.

Uma das principais tecnologias que impulsionam estes avanços é a visão computacional. Ao permitir que as máquinas processem e interpretem dados visuais, a IA de visão permite que os agentes de IA realizem tarefas de visão computacional, como a deteção de objetos em tempo real, a segmentação de instâncias e o seguimento de objetos, com uma precisão incrível. Esta tecnologia liga aquilo que as máquinas veem à forma como tomam decisões, tornando-se uma componente essencial de muitas soluções baseadas em IA.

Neste artigo, vamos explorar os agentes de IA e a sua relação com a visão computacional. Também vamos abordar os diferentes tipos de agentes de IA e a forma como são utilizados em aplicações baseadas em visão. Vamos começar!

O que são agentes de IA?#

Antes de nos aprofundarmos nos agentes de IA baseados em visão, vamos dedicar um momento a entender os agentes de IA em geral e ver o quão versáteis esses sistemas podem ser.

Um agente de IA é um sistema inteligente que consegue entender e responder a tarefas ou perguntas sem precisar da ajuda de uma pessoa. Muitos agentes de IA usam aprendizado de máquina e processamento de linguagem natural (NLP) para lidar com uma ampla variedade de tarefas, desde responder a perguntas básicas até gerenciar processos complexos.

Alguns agentes de IA conseguem até aprender e melhorar com o tempo, ao contrário dos sistemas tradicionais de IA, que dependem da intervenção humana para cada atualização. Por isso, os agentes de IA estão rapidamente se tornando uma parte essencial da IA. Eles podem automatizar tarefas, tomar decisões e interagir com o ambiente sem precisar de supervisão constante. São especialmente úteis para gerenciar tarefas repetitivas e demoradas.

Por exemplo, você pode encontrar agentes de IA em setores como atendimento ao cliente e hotelaria. No atendimento ao cliente, os agentes de IA são usados para processar reembolsos e oferecer recomendações personalizadas de produtos. Já na hotelaria, eles podem ajudar a equipe do hotel a gerenciar solicitações dos hóspedes, agilizar o serviço de quarto e sugerir atrações próximas. Esses exemplos mostram como os agentes de IA estão tornando os processos do dia a dia mais rápidos e eficientes.

Entenda como funcionam os agentes de IA com visão#

Agora, vamos dar uma rápida olhada em como os agentes de IA funcionam. Embora cada agente de IA seja único e desenvolvido para tarefas específicas, todos compartilham as mesmas três etapas principais: percepção, tomada de decisão e ação.

Primeiro, na etapa de percepção, os agentes de IA coletam informações de diferentes fontes para entender o que está acontecendo. Em seguida, vem a tomada de decisão. Com base nas informações coletadas, eles usam seus algoritmos para analisar a situação e decidir qual é a melhor ação. Por fim, vem a ação. Depois de tomar uma decisão, eles a executam — seja respondendo a uma pergunta, concluindo uma tarefa ou sinalizando um problema para que uma pessoa cuide dele.

Pode parecer simples, mas, dependendo do tipo de agente de IA, muita coisa costuma acontecer nos bastidores para que essas etapas funcionem. Desde analisar dados complexos até usar modelos avançados de aprendizado de máquina, cada agente de IA é desenvolvido para lidar com tarefas específicas à sua maneira.

Por exemplo, enquanto muitos agentes de IA se concentram no processamento de linguagem por meio de NLP, outros — conhecidos como agentes de IA com visão — integram visão computacional para lidar com dados visuais. Com modelos avançados de visão computacional, como o Ultralytics YOLO11, os agentes de IA com visão podem realizar análises de imagem mais precisas.

Fig. 2 Um exemplo de contagem de maçãs em uma imagem usando YOLO11.

Agentes de IA com visão em carros autônomos#

Vamos usar carros autônomos como exemplo para ver como os agentes de IA com visão funcionam nas três etapas principais descritas acima:

• Percepção: Os agentes de IA com visão em carros autônomos coletam dados visuais de câmeras e sensores instalados no veículo. Esses dados incluem imagens e vídeos do ambiente ao redor, como outros veículos, pedestres, semáforos e placas de trânsito.
• Tomada de decisão: O agente de IA processa esses dados visuais usando modelos como Ultralytics YOLO11. Ele identifica objetos como carros e pedestres, detecta obstáculos ou mudanças repentinas de faixa e reconhece padrões como o fluxo do trânsito e o estado dos semáforos. Isso ajuda o carro a entender as condições da estrada em tempo real.
• Ação: Com base em sua análise, o agente de IA toma uma ação, como desviar para evitar um obstáculo, ajustar a velocidade ou parar em um sinal vermelho. Essas decisões são tomadas rapidamente para garantir uma condução segura e eficiente.

Os carros autônomos da Waymo são um ótimo exemplo dessa tecnologia. Eles usam agentes de IA com visão para entender o ambiente ao redor, tomar decisões em tempo real e percorrer as ruas com segurança e eficiência, sem intervenção humana.

Fig. 3 Táxi autônomo da Waymo baseado em agente de IA.

Tipos de agentes de IA com visão#

Agora que vimos como os agentes de IA funcionam e como usam a visão computacional, vamos conhecer os diferentes tipos de agentes de IA. Cada tipo é desenvolvido para tarefas específicas, desde ações simples até tomadas de decisão e aprendizado mais complexos.

Agentes de reflexo simples#

Os agentes de reflexo simples são o tipo mais básico de agente de IA. Eles respondem a entradas específicas com ações predefinidas, baseando-se apenas na situação atual, sem considerar o histórico ou os resultados futuros. Esses agentes normalmente usam regras simples de "se-então" para orientar seu comportamento.

Na análise de imagens, um agente de reflexo simples pode ser programado para detectar uma determinada cor (como vermelho) e acionar uma ação imediata (como destacar ou contar objetos vermelhos). Embora isso possa funcionar em tarefas simples, não é suficiente em ambientes mais complexos, pois o agente não aprende nem se adapta com base em experiências anteriores.

Agentes de reflexo baseados em modelo#

Os agentes de reflexo baseados em modelo são mais avançados que os agentes de reflexo simples porque usam um modelo interno do ambiente para entender melhor a situação. Esse modelo permite que eles lidem com informações ausentes ou incompletas e tomem decisões mais embasadas.

Veja, por exemplo, os sistemas de câmeras de segurança com IA. Os agentes de IA com visão integrados a esses sistemas podem usar visão computacional para analisar o que está acontecendo em tempo real. Eles podem comparar movimentos e ações com um modelo de comportamento normal, ajudando a identificar atividades incomuns, como furtos em lojas, e sinalizar possíveis ameaças à segurança com mais precisão.

Fig. 4 Um exemplo do uso da visão computacional para detectar furtos.

Agentes baseados em utilidade#

Imagine um drone baseado em utilidade usado para monitorar plantações. Ele ajusta sua rota de voo para cobrir uma área maior e evitar obstáculos, além de selecionar a melhor rota para a tarefa. Isso significa que o drone avalia várias ações possíveis, como qual área priorizar ou como navegar com eficiência, e escolhe aquela que maximiza sua eficácia.

Da mesma forma, os agentes baseados em utilidade são desenvolvidos para escolher a melhor ação entre várias opções e alcançar o maior benefício ou resultado possível. Os agentes de IA com visão desenvolvidos para esse fim podem processar e analisar diferentes entradas visuais, como imagens ou dados de sensores, e selecionar o resultado mais útil com base em critérios predefinidos.

Fig. 5. Drones baseados em utilidade podem ser usados para monitorar plantações.

Agentes baseados em objetivos#

Os agentes baseados em objetivos são semelhantes aos agentes baseados em utilidade, pois ambos buscam alcançar objetivos específicos. No entanto, os agentes baseados em objetivos se concentram exclusivamente em ações que os aproximam do objetivo definido. Eles avaliam cada ação de acordo com o quanto ela ajuda a atingir a meta, sem considerar outros fatores, como valor geral ou compensações.

Por exemplo, um carro autônomo funciona como um agente baseado em objetivos quando sua meta é chegar a um destino. Ele processa dados de câmeras com IA e sensores para tomar decisões, como evitar obstáculos, obedecer aos semáforos e fazer as conversões certas para permanecer no trajeto. Essas decisões são orientadas inteiramente pelo quanto contribuem para chegar ao destino com segurança e eficiência. Ao contrário dos agentes baseados em utilidade, os agentes baseados em objetivos se concentram apenas em alcançar a meta, sem considerar critérios adicionais como eficiência ou otimização.

Fig. 6 Um carro autônomo usando visão computacional para identificar objetos ao redor.

Agentes de aprendizado#

Se você conhece visão computacional, talvez já tenha ouvido falar em ajuste fino — um processo em que os modelos melhoram ao aprender com novos dados. Os agentes de aprendizado funcionam de maneira semelhante, adaptando-se e melhorando com o tempo à medida que ganham experiência. Em aplicações como o controle de qualidade baseado em visão, esses agentes ficam melhores em detectar defeitos a cada inspeção. Essa capacidade de aprimorar seu desempenho é particularmente importante em áreas como a aviação, onde segurança e precisão são fundamentais.

Agentes hierárquicos#

Os agentes hierárquicos simplificam tarefas complexas, dividindo-as em etapas menores e mais fáceis de gerenciar. Um agente de nível superior supervisiona o processo geral e toma decisões estratégicas, enquanto agentes de nível inferior cuidam de tarefas específicas. Essa abordagem é mais eficiente em operações que envolvem várias etapas e execução detalhada.

Por exemplo, em um armazém automatizado, um robô de nível superior pode planejar o processo de classificação e decidir quais itens devem ir para cada área. Ao mesmo tempo, robôs de nível inferior se concentram em identificar os itens com visão computacional, analisar características como tamanho, forma ou etiquetas e organizá-los nos compartimentos corretos. Uma divisão clara de responsabilidades ajuda o sistema a funcionar sem problemas.

Fig. 7 Um exemplo de agente de IA robótico classificando pacotes.

Como começar a criar um agente de IA com visão#

O núcleo de um agente de IA com recursos de visão é um modelo de visão computacional. Um dos modelos de visão computacional mais recentes e confiáveis disponíveis atualmente é o Ultralytics YOLO11. O YOLO11 é conhecido por sua eficiência e precisão em tempo real, o que o torna ideal para tarefas de visão computacional.

Veja os diferentes processos envolvidos na criação do seu próprio agente de IA com os recursos do Ultralytics YOLO11:

• Prepare um conjunto de dados: colete e pré-processe imagens rotuladas relevantes para a tarefa que seu agente de IA executará.

• Treine o modelo com dados personalizados: treine o Ultralytics YOLO11 especificamente com seu conjunto de dados para melhorar a precisão e o desempenho na sua aplicação específica.

• Integre a uma estrutura de tomada de decisão: conecte o modelo treinado a um sistema que permita ao agente de IA tomar decisões com base em entradas visuais.

• Teste e refine: implante o agente de IA, teste seu desempenho, colete feedback e ajuste o modelo para melhorar a precisão e a confiabilidade.

Principais conclusões#

Os agentes de IA integrados à visão computacional — agentes de IA com visão — estão transformando setores ao automatizar tarefas, acelerar processos e melhorar a tomada de decisões. De cidades inteligentes que controlam o trânsito a sistemas de segurança que usam reconhecimento facial, esses agentes oferecem novas soluções para problemas comuns.

Eles também podem continuar aprendendo e melhorando com o tempo, o que os torna úteis em ambientes em constante mudança. Com ferramentas como o Ultralytics YOLO11, fica mais fácil criar e usar esses agentes de IA, resultando em soluções mais inteligentes e eficientes.

Participe da nossa comunidade e confira nosso repositório no GitHub para aprender sobre IA. Explore várias aplicações de visão computacional na área da saúde e IA na agricultura nas nossas páginas de soluções. Confira as opções de licenciamento disponíveis para começar!