Tirar partido da aprendizagem por reforço em projetos de visão computacional

Uma forma simples de explicar a inteligência artificial (AI) é dizer que se trata de uma área focada em recriar a forma como os seres humanos pensam e aprendem. É daqui que surge a ideia de técnicas de aprendizagem em AI, que são diferentes métodos que permitem às máquinas melhorar o seu desempenho ao longo do tempo, tal como as pessoas.

Anteriormente, explorámos as principais técnicas de aprendizagem de AI, incluindo aprendizagem supervisionada, não supervisionada, por reforço e por transferência, e a forma como cada uma desempenha um papel importante ao ajudar os modelos de AI a processar informações e a tomar decisões.

Hoje, vamos analisar mais de perto a aprendizagem por reforço, uma técnica que ensina os sistemas de AI a aprender através da experiência, interagindo com um ambiente e melhorando com base no feedback. Mais especificamente, vamos explorar como a aprendizagem por reforço pode ser aplicada a aplicações de visão computacional — sistemas que permitem às máquinas interpretar e compreender informações visuais do mundo.

A combinação de conceitos como a aprendizagem por reforço e a visão computacional está a abrir novas possibilidades interessantes e é uma área de investigação ativa. Permite aos sistemas de AI reconhecer o que veem e tomar decisões informadas com base nessas informações visuais.

O que é a aprendizagem por reforço?#

A aprendizagem por reforço é um ramo da aprendizagem automática em que um agente de AI aprende ao realizar ações e receber feedback sob a forma de recompensas ou penalizações. O objetivo é descobrir quais as ações que conduzem aos melhores resultados ao longo do tempo.

Pode pensar na aprendizagem por reforço como o treino de um cão. Quando um cão se senta ao seu comando, dá-lhe uma guloseima. Depois de algum tempo, o cão aprende que sentar-se conduz a uma recompensa. Na aprendizagem por reforço, o agente ou modelo de AI é como o cão; o ambiente é o mundo à sua volta, e a recompensa ajuda-o a compreender se tomou a decisão certa.

Isto é diferente da aprendizagem supervisionada, em que são apresentados ao modelo de AI muitos exemplos das respostas corretas. Por exemplo, pode ser mostrada ao modelo uma imagem de um cão e dizer-se-lhe: "Isto é um cão."

Por outro lado, a aprendizagem por reforço não depende de dados anotados. Em vez disso, envolve aprender experimentando diferentes ações e aprendendo com os resultados, tal como jogar um jogo e descobrir quais os movimentos que ajudam você a ganhar.

Fig. 1. Aprendizagem por reforço vs. aprendizagem supervisionada.

A aprendizagem por reforço é crucial para tarefas em que as decisões são tomadas passo a passo e cada escolha altera o que acontece a seguir. Este tipo de aprendizagem é utilizado em videojogos de estratégia para tornar a jogabilidade mais desafiante e envolvente para os jogadores.

Como funciona a aprendizagem por reforço em soluções de AI#

Considere a forma como aprende a andar de bicicleta. No início, pode cair. Mas, com a prática, começa a descobrir o que ajuda a manter o equilíbrio. Quanto mais anda, melhor fica. Aprende fazendo, não apenas ao receber instruções sobre o que fazer.

A aprendizagem por reforço funciona de forma semelhante para a AI. Aprende através da experiência — experimentando diferentes ações, observando o que acontece e melhorando gradualmente a sua capacidade de tomar as decisões certas ao longo do tempo.

Fig. 2. Compreender como funciona a aprendizagem por reforço.

Eis alguns dos principais componentes da aprendizagem por reforço:

• Agente: O agente é o aprendiz ou responsável pela tomada de decisões. Interage com o ambiente realizando ações e procura alcançar um objetivo específico.
• Ambiente: O ambiente inclui tudo aquilo com que o agente interage. Altera-se em resposta às ações do agente e fornece feedback com base nos resultados.
• Estado: Um estado representa um instantâneo da situação atual no ambiente. O agente observa o estado para compreender o que o rodeia e determinar que ação deve realizar a seguir.
• Ação: Uma ação é um movimento ou decisão tomada pelo agente que afeta o ambiente. Cada ação conduz a um novo estado e pode influenciar as recompensas futuras.
• Recompensa: Uma recompensa é simplesmente o feedback do ambiente que informa o agente se a sua ação foi benéfica ou não. As recompensas positivas incentivam o agente a repetir boas ações, enquanto as recompensas negativas desencorajam ações inadequadas.
• Política: Uma política é a estratégia do agente para escolher ações com base no estado atual. Ao longo do tempo, o agente aperfeiçoa a sua política para maximizar o total de recompensas que pode obter.

Ao utilizar estes componentes em conjunto, a aprendizagem por reforço permite que os sistemas de AI aprendam comportamentos eficazes através de tentativa e erro contínuos. A cada tentativa, o agente melhora na seleção de ações que conduzem a recompensas mais elevadas e a melhores resultados.

Inovações da aprendizagem por reforço na visão computacional#

A visão computacional é utilizada em tarefas como detetar objetos em imagens, classificar o que está numa fotografia e segmentar uma imagem em diferentes partes. Os modelos de visão computacional, como o Ultralytics YOLO11, suportam estas tarefas e podem ser utilizados para criar aplicações impactantes capazes de recolher informações visuais.

No entanto, quando estas tarefas de Vision AI são combinadas com a aprendizagem por reforço, o resultado é uma solução de AI que não se limita a ver; também aprende a agir com base nas informações visuais e melhora ao longo do tempo.

Um exemplo interessante da aprendizagem por reforço em aplicações de visão computacional é a utilização de robôs em armazéns. Os robôs equipados com câmaras e sistemas de visão computacional podem analisar o que os rodeia, detetar a localização de cada artigo, identificar a sua forma e tamanho e compreender como está posicionado na prateleira.

Sempre que o robô tenta apanhar um artigo, recebe feedback — sucesso se o artigo for recolhido corretamente ou falha se cair. Ao longo do tempo, o robô aprende quais as ações que funcionam melhor para diferentes artigos. Em vez de seguir um conjunto fixo de instruções, melhora continuamente através da experiência.

Fig. 3. Um braço robótico que utiliza Vision AI e aprendizagem por reforço para apanhar objetos.

Aplicações da aprendizagem por reforço na visão computacional#

Agora que compreendemos melhor o que é a aprendizagem por reforço e qual o seu papel na visão computacional, vamos analisar mais de perto alguns exemplos de utilização conjunta da aprendizagem por reforço e da visão computacional.

Integração de Vision AI e aprendizagem por reforço para veículos mais inteligentes#

Os veículos autónomos podem recorrer tanto à Vision AI para compreender o que os rodeia como à aprendizagem por reforço para tomar decisões com base no que veem. Um excelente exemplo desta aplicação é o AWS DeepRacer.

O AWS DeepRacer é um carro de corrida autónomo à escala 1/18 que aprende a conduzir utilizando uma câmara e aprendizagem por reforço. Em vez de receber instruções sobre o que fazer, descobre tudo sozinho, experimentando, cometendo erros e aprendendo com eles.

A câmara deste pequeno carro funciona como um par de olhos, captando a pista à sua frente. Com base no que vê, o carro aprende a virar e a que velocidade deve avançar. A cada volta, melhora. Por exemplo, pode aprender a fazer curvas mais abertas ou a abrandar antes de curvas apertadas, aprendendo com as tentativas anteriores.

O treino do DeepRacer começa num ambiente virtual, onde o modelo pratica e aperfeiçoa as suas capacidades de condução. Quando atinge um determinado nível de desempenho, essas capacidades são transferidas para pistas do mundo real com carros físicos.

Fig. 4. O AWS DeepRacer utiliza visão e aprendizagem por reforço para conduzir de forma autónoma. Fonte da imagem: Amazon.

Rumo a robôs cirúrgicos autónomos#

Uma área de investigação interessante que está a ganhar atenção é a integração de Vision AI e aprendizagem por reforço na cirurgia robótica. Atualmente, esta aplicação ainda é, em grande parte, teórica. Os investigadores estão a executar simulações em ambientes virtuais.

No entanto, as primeiras experiências estão a mostrar resultados promissores, sugerindo que os robôs cirúrgicos poderão eventualmente realizar procedimentos complexos e delicados com maior precisão, adaptabilidade e intervenção humana mínima.

Fig. 5. Os robôs cirúrgicos estão cada vez mais avançados.

Por exemplo, imagine uma situação em que é necessário levantar cuidadosamente um pedaço de gaze de uma área cirúrgica. Um robô equipado com Vision AI começaria por analisar a cena, utilizando a segmentação para identificar a gaze e os tecidos circundantes.

A aprendizagem por reforço ajudaria então o robô cirúrgico a decidir como abordar a tarefa, determinando o melhor ângulo para agarrar a gaze, quanta pressão aplicar e como levantá-la sem perturbar as áreas sensíveis próximas. Ao longo do tempo e através de prática repetida em ambientes simulados, o robô poderia aprender a executar estes movimentos subtis e críticos com competência e confiança crescentes.

Vantagens e desvantagens da aprendizagem por reforço em Vision AI#

A aprendizagem por reforço permite que os sistemas de Vision AI ultrapassem o simples reconhecimento e comecem a tomar decisões com base no que veem. Isto abre novas possibilidades em áreas como a robótica, a automação e a interação em tempo real.

Eis algumas das principais vantagens de integrar a aprendizagem por reforço nos fluxos de trabalho de Vision AI:

• Menor dependência de dados anotados: Estes sistemas podem aprender através da interação, pelo que não precisam de enormes conjuntos de dados anotados para começar.
• Lida melhor com a incerteza: A aprendizagem por reforço consegue lidar com informações visuais incompletas ou ruidosas, ajustando as ações com base no feedback em vez de depender apenas de dados perfeitos.
• Suporta a aprendizagem a longo prazo: Ajuda os modelos a melhorar ao longo do tempo, aprendendo com sequências de ações e não apenas com decisões de um único passo.

Por outro lado, eis algumas das limitações da aprendizagem por reforço que deve considerar:

• Problema de atribuição de mérito: Pode ser difícil para o agente determinar quais ações específicas contribuíram para um resultado final, especialmente em sequências longas de decisões.
• Risco de exploração insegura: Durante o treino, o agente pode experimentar ações inseguras ou indesejáveis que não seriam aceitáveis em aplicações do mundo real, como os cuidados de saúde ou a condução autónoma.
• Convergência lenta: O modelo pode demorar muito tempo a alcançar um bom desempenho, especialmente em tarefas complexas.

Principais conclusões#

A aprendizagem por reforço em projetos de visão computacional permite que os sistemas de AI compreendam o que os rodeia e aprendam a agir através da experiência. Com modelos como o Ultralytics YOLO11 a fornecer deteção de objetos em tempo real, o sistema pode tomar decisões informadas com base no que vê.

Esta abordagem ultrapassa os métodos tradicionais ao permitir que a AI melhore através de tentativa e feedback, em vez de depender exclusivamente de dados anotados. Suporta a aprendizagem contínua e ajuda a criar sistemas de Vision AI mais flexíveis, adaptáveis e inteligentes, que melhoram ao longo do tempo.

Junte-se à nossa comunidade em crescimento. Visite o nosso repositório no GitHub para aprofundar os seus conhecimentos sobre AI. Quer começar os seus próprios projetos de visão computacional? Explore as nossas opções de licenciamento. Saiba mais sobre AI no setor industrial e Vision AI no setor automóvel nas nossas páginas de soluções.