A IA de visão permite a tecnologia de reconhecimento de gestos sem contacto

À medida que a tecnologia evolui, também evolui a forma como interagimos com ela. As primeiras máquinas dependiam de esforço físico e controlos mecânicos, enquanto a informática moderna introduziu ecrãs táteis e entrada de voz.

Agora, o reconhecimento de gestos faz parte do próximo passo, utilizando movimentos naturais como interface de utilizador. Um simples aceno, um gesto de pinça ou um sinal rápido com a mão já podem controlar aplicações, ecrãs e máquinas.

Esta interação sem toque pode ser alimentada por visão computacional, um ramo da IA que ajuda as máquinas a ver e interpretar o que uma câmara capta. Os sistemas de IA de visão podem ser integrados em smartphones, auscultadores de realidade virtual (VR) e realidade aumentada (AR), automóveis e dispositivos domésticos inteligentes, onde os gestos podem substituir toques, cliques e botões para proporcionar uma experiência de utilização mais fluida.

O controlo sem toque está a tornar-se mais comum no dia a dia. Nos locais de trabalho e em espaços partilhados, evitar o contacto físico pode melhorar a higiene e a segurança. Muitos produtos digitais também estão a evoluir para interações sem as mãos, e os gestos proporcionam uma forma fácil e intuitiva de controlar dispositivos sem lhes tocar.

Neste artigo, vamos explorar o que é o reconhecimento de gestos, como a visão computacional o torna mais preciso e onde é utilizado em aplicações do mundo real. Vamos começar!

O que é o reconhecimento de gestos?#

O reconhecimento de gestos é uma tecnologia de deteção que permite às máquinas compreender gestos humanos, como sinais com as mãos ou movimentos corporais, e convertê-los em ações digitais. Em vez de tocar num ecrã ou premir botões, os utilizadores podem controlar dispositivos através de movimentos simples e naturais.

Isto torna as interações mais intuitivas e explica por que motivo a entrada baseada em gestos está a ser adotada em muitos sistemas de controlo baseados em aprendizagem automática e IA. Em particular, o reconhecimento de gestos das mãos é uma das formas de reconhecimento de gestos mais utilizadas e depende frequentemente de visão computacional.

Em termos simples, uma solução de IA de visão pode detetar mãos numa transmissão de vídeo de uma câmara, acompanhar a forma como se movem ou mudam de forma e associar esses padrões a um gesto conhecido para desencadear uma ação no ecrã.

Uma parte essencial destas soluções é um modelo de visão computacional, treinado com conjuntos de dados de imagens ou vídeos anotados que mostram diferentes gestos das mãos. Com dados de treino diversificados e uma avaliação cuidadosa, o modelo pode generalizar melhor entre diferentes utilizadores, condições de iluminação e fundos, ajudando-o a reconhecer gestos de forma mais fiável em situações do mundo real.

Fig. 1. Dados utilizados para treinar um modelo de visão computacional para detetar pontos-chave de gestos (Fonte)

Explorar diferentes tipos de gestos e a interação entre humanos e computadores#

Antes de analisarmos mais detalhadamente o papel da visão computacional no reconhecimento de gestos, vamos recuar um pouco e observar os tipos de gestos que estes sistemas normalmente reconhecem.

Na maioria dos casos, os gestos dividem-se em duas categorias: estáticos e dinâmicos. Os gestos estáticos são posições fixas das mãos, como um polegar para cima, um sinal de stop ou um sinal de paz. Como não envolvem movimento, podem muitas vezes ser reconhecidos a partir de um único fotograma.

Por outro lado, os gestos dinâmicos envolvem movimento ao longo do tempo, como acenar ou deslizar a mão no ar. Para os reconhecer, um sistema de IA de visão precisa de analisar vários fotogramas, para acompanhar o movimento da mão e compreender a direção e o momento do gesto.

O papel dos algoritmos de visão computacional no reconhecimento de gestos#

Os sistemas de reconhecimento de gestos podem ser desenvolvidos de diferentes formas. Alguns sistemas de entrada utilizam sensores vestíveis, como luvas ou dispositivos de acompanhamento montados no pulso, para captar o movimento das mãos.

Estas configurações podem ser precisas, mas nem sempre são práticas. Os dispositivos vestíveis têm de ser usados, configurados, carregados e mantidos, e podem ser limitativos em espaços partilhados ou quando utilizados diariamente.

É por isso que muitos sistemas de ponta dependem antes da visão computacional. Com câmaras RGB padrão e sensores de profundidade ou de tempo de voo, os dispositivos podem captar os movimentos das mãos e do corpo em tempo real, sem que os utilizadores tenham de usar dispositivos adicionais. Isto torna o reconhecimento de gestos baseado em visão uma excelente opção para smartphones, automóveis, Smart TVs e auscultadores de AR e VR.

Por exemplo, modelos de visão computacional como o Ultralytics YOLO11 e o futuro Ultralytics YOLO26 suportam tarefas como deteção de objetos, acompanhamento de objetos e estimativa de pose. Estas capacidades podem ser utilizadas para detetar mãos em cada fotograma, acompanhar o seu movimento ao longo do tempo e mapear pontos-chave, como pontas dos dedos e articulações. Isto permite reconhecer gestos como uma palma levantada para pausar, um gesto de pinça para ampliar, um deslize para navegar pelos menus ou um gesto de apontar para selecionar um item em AR e VR.

Tarefas de visão computacional utilizadas no reconhecimento da interação entre humanos e máquinas#

Eis uma visão geral de algumas das principais tarefas de visão computacional utilizadas no reconhecimento de gestos:

• Deteção de objetos: esta tarefa é utilizada para localizar mãos num fotograma de imagem ou vídeo, normalmente desenhando caixas delimitadoras à sua volta. Ajuda o sistema a concentrar-se na área do gesto e a ignorar detalhes desnecessários do fundo.
• Acompanhamento de objetos: com base na deteção de objetos, esta tarefa acompanha as mãos detetadas ao longo de vários fotogramas e mantém a sua identidade ao longo do tempo. É especialmente útil para gestos dinâmicos, nos quais o movimento e a direção são cruciais.
• Estimativa de pose: em vez de se concentrar em caixas delimitadoras, a estimativa de pose identifica pontos-chave na mão, como pontas dos dedos, nós dos dedos e pulso. Estes pontos de referência criam um esqueleto simples da mão que capta as posições dos dedos e movimentos subtis, permitindo uma classificação mais detalhada dos gestos.
• Segmentação de instâncias: esta tarefa procura separar cada mão do fundo ao nível dos píxeis, gerando uma máscara para cada mão visível. É útil em cenas com muitos elementos, quando as mãos se sobrepõem ou quando aparecem várias mãos no fotograma.

Muitas soluções de IA de visão utilizam estas tarefas em conjunto como parte de um único pipeline. Por exemplo, um sistema pode começar pela deteção de objetos para encontrar as mãos e, em seguida, utilizar o acompanhamento para as seguir ao longo dos fotogramas no caso de gestos dinâmicos.

Se o gesto depender da posição dos dedos, a estimativa de pose pode adicionar pontos-chave para obter mais detalhes, enquanto a segmentação de instâncias pode ajudar a isolar cada mão com maior precisão em cenas com muitos elementos ou quando várias mãos se sobrepõem. Em conjunto, estes passos fornecem informações sobre a localização e o movimento, tornando o reconhecimento de gestos mais preciso e fiável.

Como funciona o reconhecimento de gestos baseado em visão#

Agora que compreendemos melhor as tarefas de visão computacional subjacentes ao reconhecimento de gestos, vamos analisar passo a passo como funciona um sistema baseado em visão.

Um sistema típico começa por captar vídeo através de uma câmara, por vezes juntamente com dados de profundidade, se o dispositivo os suportar. Em seguida, os fotogramas são pré-processados utilizando processamento de imagem para que o modelo os possa processar de forma mais consistente, por exemplo, redimensionando-os, estabilizando-os ou reduzindo o ruído e o desfoque de movimento.

De seguida, o sistema identifica as mãos no fotograma através de deteção ou segmentação e acompanha-as ao longo do tempo. Se a aplicação precisar de mais detalhes, pode também executar a estimativa de pose para extrair pontos-chave, como pontas dos dedos e articulações. Com estas informações, o modelo classifica o gesto, quer seja uma pose num único fotograma, como um polegar para cima, quer seja um padrão de movimento, como um deslize.

Por fim, o gesto reconhecido é associado a uma ação na interface, como deslocar, ampliar, selecionar um item, ajustar o volume ou controlar interações de AR e VR. O pipeline exato pode variar, com aplicações mais simples a utilizarem menos passos e aplicações mais complexas a combinarem deteção, acompanhamento e estimativa de pose para obter maior precisão.

Aplicações do reconhecimento de gestos baseado em visão#

De seguida, vamos analisar como o reconhecimento de gestos está a ser utilizado em aplicações do mundo real para compreender as posições das mãos.

Interação baseada em gestos com sistemas de infoentretenimento automóvel#

O reconhecimento de gestos está a começar a surgir nas interfaces de veículos inteligentes, especialmente nos sistemas de infoentretenimento. É uma forma conveniente de controlar determinadas funcionalidades com simples movimentos das mãos, o que pode reduzir a frequência com que os condutores precisam de alcançar ecrãs táteis ou botões físicos. Por exemplo, um gesto rápido pode ser utilizado para ajustar o volume, gerir chamadas ou navegar pelos menus no ecrã.

Fig. 2. Um condutor a executar gestos com as mãos no alcance de deteção de um sistema de infoentretenimento (Fonte)

Interações em jogos controladas por gestos#

Nos jogos e nas experiências imersivas, o controlo baseado em gestos está a mudar a forma como as pessoas interagem com mundos virtuais. Em vez de dependerem apenas de controladores ou joysticks, os jogadores podem utilizar movimentos naturais das mãos para navegar pelos menus, apanhar objetos virtuais, controlar personagens ou desencadear ações num jogo.

Fig. 3. Jogar utilizando gestos com as mãos (Fonte).

Este tipo de interação sem toque pode parecer mais fluido, especialmente em AR e VR. Como resultado, o acompanhamento das mãos e o controlo por gestos estão a tornar-se funcionalidades comuns em auscultadores de VR e realidade mista.

Controlo contínuo por gestos para dispositivos domésticos inteligentes#

Dispositivos domésticos inteligentes, como Smart TVs, altifalantes e luzes conectadas, estão a começar a suportar o controlo por gestos para ações rápidas e sem toque. Com um simples movimento da mão, os utilizadores podem acender as luzes, ajustar o volume ou executar comandos básicos sem terem de alcançar interruptores ou comandos.

Por exemplo, em sistemas de entretenimento doméstico, as câmaras de profundidade integradas ou conectadas podem reconhecer gestos como deslizar, apontar ou levantar a mão. Isto pode facilitar a navegação pelos menus, a alteração de definições ou a confirmação de seleções a partir do outro lado da divisão. Nos bastidores, os modelos de visão computacional processam a transmissão da câmara em tempo real para detetar e interpretar estes gestos.

Controlo de gestos com inteligência artificial na robótica#

Considera uma situação numa fábrica em que um trabalhador precisa de orientar um robô enquanto transporta peças, usa luvas ou se encontra a uma distância segura de equipamentos em movimento. Nestas situações, alcançar botões ou um painel de controlo pode ser demorado ou até perigoso.

Em contrapartida, os sistemas de controlo baseados em gestos podem ser uma forma mais prática e sem as mãos de interagir com estas máquinas. Isto é especialmente útil para robôs colaborativos, ou cobots, concebidos para trabalhar ao lado de pessoas.

Em vez de se deslocarem até um painel de controlo, os operadores podem utilizar sinais simples com as mãos para iniciar, parar ou orientar um robô à distância. Isto reduz a dependência de controlos físicos e pode contribuir para fluxos de trabalho mais seguros no espaço de produção.

Os sistemas avançados de controlo baseado em visão, possibilitados por modelos de aprendizagem profunda ou algoritmos de aprendizagem, também podem ir além dos comandos básicos. Podem interpretar movimentos mais subtis das mãos e responder de forma fluida a pequenas alterações de direção, bem como a orientações e automatizações mais precisas.

Fig. 4. Uma mão robótica a analisar o gesto de um utilizador (Fonte)

Vantagens e desvantagens da tecnologia de reconhecimento de gestos#

Eis algumas das principais vantagens da utilização da tecnologia de reconhecimento de gestos:

• Maior acessibilidade: os gestos podem oferecer uma alternativa aos utilizadores que têm dificuldade em utilizar teclados, ecrãs táteis ou controladores.
• Funciona à distância: os gestos podem ser reconhecidos a partir do outro lado de uma divisão, o que é útil para Smart TVs, quiosques e dispositivos domésticos.
• Flexibilidade entre dispositivos: conjuntos de gestos semelhantes podem funcionar em telemóveis, automóveis, ecrãs inteligentes e auscultadores de AR ou VR, tornando a interação consistente.

Ao mesmo tempo, existem alguns desafios do mundo real que podem afetar a precisão e a consistência. Eis alguns fatores a considerar:

• Problemas de iluminação e qualidade da câmara: pouca luz, reflexos, sombras ou câmaras de baixa resolução podem reduzir o desempenho do reconhecimento. Por sua vez, isto pode afetar o controlo do movimento.
• Variação entre utilizadores: as pessoas executam naturalmente os gestos de formas diferentes, e as diferenças no tamanho das mãos, na flexibilidade dos dedos ou nos acessórios podem afetar a precisão.
• Limitações com movimentos rápidos: os gestos rápidos podem introduzir desfoque de movimento ou fazer com que o modelo perca fotogramas importantes, especialmente em câmaras com uma taxa de fotogramas mais baixa.

Principais conclusões#

A tecnologia de reconhecimento de gestos ultrapassou os laboratórios de investigação e faz agora parte dos dispositivos e das inovações do dia a dia. Especificamente, a visão computacional permite o controlo sem toque em jogos, robótica, casas inteligentes e sistemas automóveis. À medida que os modelos de visão melhoram, estas interfaces sem toque irão provavelmente tornar-se mais fáceis de desenvolver e mais amplamente utilizadas.

Descobre a nossa comunidade e o nosso repositório no GitHub para saberes mais sobre modelos de visão computacional. Explora as nossas páginas de soluções para leres sobre aplicações como IA na agricultura e visão computacional na logística. Consulta as nossas opções de licenciamento e começa a desenvolver o teu próprio modelo de IA de visão.