A IA de visão possibilita a tecnologia de reconhecimento de gestos sem toque

À medida que a tecnologia evolui, também evolui a forma como interagimos com ela. As primeiras máquinas dependiam de esforço físico e controles mecânicos, enquanto a ciência da computação moderna introduziu telas sensíveis ao toque e comandos de voz.

Agora, o reconhecimento de gestos faz parte da próxima etapa, usando movimentos naturais como interface de usuário. Um simples aceno, um gesto de pinça ou um sinal rápido com a mão já pode controlar aplicativos, telas e máquinas.

Essa interação sem toque pode ser viabilizada pela visão computacional, um ramo da IA que ajuda as máquinas a ver e interpretar o que uma câmera captura. Sistemas de IA visual podem ser integrados a smartphones, headsets de realidade virtual (VR) e realidade aumentada (AR), carros e dispositivos domésticos inteligentes, nos quais gestos podem substituir toques, cliques e botões para proporcionar uma experiência de usuário mais fluida.

O controle sem toque está se tornando mais comum no dia a dia. Em locais de trabalho e espaços compartilhados, evitar o contato físico pode melhorar a higiene e a segurança. Muitos produtos digitais também estão migrando para a interação sem usar as mãos, e os gestos oferecem uma forma fácil e intuitiva de controlar dispositivos sem tocá-los.

Neste artigo, vamos explicar o que é reconhecimento de gestos, como a visão computacional o torna mais preciso e onde é usado em aplicações do mundo real.

O que é reconhecimento de gestos?#

O reconhecimento de gestos é uma tecnologia de sensoriamento que permite às máquinas entender gestos humanos, como sinais com as mãos ou movimentos do corpo, e convertê-los em ações digitais. Em vez de tocar em uma tela ou pressionar botões, os usuários podem controlar dispositivos com movimentos simples e naturais.

Isso torna as interações mais intuitivas e explica por que a entrada baseada em gestos está sendo adotada em muitos sistemas de controle com aprendizagem de máquina e IA. Em particular, o reconhecimento de gestos com as mãos é uma das formas mais usadas de reconhecimento de gestos e costuma depender da visão computacional.

Em termos simples, uma solução de IA visual pode detectar mãos na imagem da câmera, acompanhar como elas se movem ou mudam de forma e associar esses padrões a um gesto conhecido para acionar uma ação na tela.

Um componente essencial dessas soluções é um modelo de visão computacional, treinado com conjuntos de dados de imagens ou vídeos rotulados que mostram diferentes gestos com as mãos. Com dados de treinamento diversificados e uma avaliação cuidadosa, o modelo pode generalizar melhor para diferentes usuários, condições de iluminação e planos de fundo, ajudando a reconhecer gestos com mais confiabilidade em situações do mundo real.

Fig. 1. Dados usados para treinar um modelo de visão computacional para detectar pontos-chave de gestos (Fonte)

Explorando diferentes tipos de gestos e de interação humano-computador#

Antes de analisarmos mais de perto o papel da visão computacional no reconhecimento de gestos, vamos dar um passo atrás e conhecer os tipos de gestos que esses sistemas geralmente reconhecem.

Na maioria dos casos, os gestos se dividem em duas categorias: estáticos e dinâmicos. Gestos estáticos são posições fixas das mãos, como um sinal de positivo, um sinal de pare ou um sinal de paz. Como não envolvem movimento, muitas vezes podem ser reconhecidos a partir de um único quadro de imagem.

Já os gestos dinâmicos envolvem movimento ao longo do tempo, como acenar ou deslizar a mão no ar. Para reconhecê-los, um sistema de IA visual precisa analisar vários quadros, a fim de acompanhar o movimento da mão e entender a direção e o momento do gesto.

O papel dos algoritmos de visão computacional no reconhecimento de gestos#

Os sistemas de reconhecimento de gestos podem ser desenvolvidos de diferentes maneiras. Alguns usam sensores vestíveis, como luvas ou rastreadores presos ao pulso, para capturar os movimentos das mãos.

Essas configurações podem ser precisas, mas nem sempre são práticas. É preciso usar, configurar, carregar e fazer a manutenção dos dispositivos vestíveis, que também podem ser limitantes em espaços compartilhados ou no uso diário.

Por isso, muitos sistemas modernos recorrem à visão computacional. Com câmeras RGB padrão e sensores de profundidade ou de tempo de voo, os dispositivos podem capturar os movimentos das mãos e do corpo em tempo real sem que os usuários precisem vestir dispositivos adicionais. Isso torna o reconhecimento de gestos baseado em visão ideal para smartphones, carros, TVs inteligentes e headsets de RA e RV.

Por exemplo, modelos de visão computacional como o Ultralytics YOLO11 e o mais recente Ultralytics YOLO26 oferecem suporte a tarefas como detecção de objetos, rastreamento de objetos e estimativa de pose. Esses recursos podem ser usados para detectar mãos em cada quadro, acompanhar seus movimentos ao longo do tempo e mapear pontos-chave, como pontas dos dedos e articulações. Isso permite reconhecer gestos como levantar a palma para pausar, pinçar para ampliar, deslizar para navegar pelos menus ou apontar para selecionar um item em RA e RV.

Tarefas de visão computacional usadas no reconhecimento de interações entre pessoas e máquinas#

Veja uma visão geral de algumas das principais tarefas de visão computacional usadas no reconhecimento de gestos:

• Detecção de objetos: essa tarefa é usada para localizar mãos em uma imagem ou quadro de vídeo, geralmente desenhando caixas delimitadoras ao redor delas. Ela ajuda o sistema a se concentrar na área do gesto e ignorar detalhes desnecessários do fundo.
• Rastreamento de objetos: com base na detecção de objetos, essa tarefa acompanha as mãos detectadas em vários quadros e mantém a identidade delas ao longo do tempo. Ela é especialmente útil para gestos dinâmicos, nos quais o movimento e a direção são fundamentais.
• Estimativa de pose: em vez de se concentrar em caixas delimitadoras, a estimativa de pose identifica pontos-chave da mão, como as pontas dos dedos, os nós dos dedos e o pulso. Esses marcos formam um esqueleto simples da mão que captura as posições dos dedos e movimentos sutis, permitindo uma classificação mais detalhada dos gestos. Conjuntos de dados como Hand Keypoints fornecem marcos das mãos rotulados para treinamento.
• Segmentação de instâncias: essa tarefa busca separar cada mão do plano de fundo no nível dos pixels, gerando uma máscara para cada mão visível. Ela é útil em cenas com muitos elementos, quando as mãos se sobrepõem ou quando várias mãos aparecem no quadro.

Muitas soluções de IA visual combinam essas tarefas em um único pipeline. Por exemplo, um sistema pode começar usando a detecção de objetos para localizar as mãos e, em seguida, usar o rastreamento para acompanhá-las ao longo dos quadros durante gestos dinâmicos.

Se o gesto depender da posição dos dedos, a estimativa de pose pode adicionar pontos-chave para obter mais detalhes, enquanto a segmentação de instâncias pode ajudar a isolar cada mão com mais precisão em cenas com muitos elementos ou quando várias mãos se sobrepõem. Em conjunto, essas etapas fornecem informações sobre localização e movimento, tornando o reconhecimento de gestos mais preciso e confiável.

Como funciona o reconhecimento de gestos baseado em visão#

Agora que entendemos melhor as tarefas de visão computacional por trás do reconhecimento de gestos, vamos analisar passo a passo como funciona um sistema baseado em visão.

Um sistema típico começa capturando vídeo de uma câmera, às vezes junto com dados de profundidade, se o dispositivo oferecer suporte a esse recurso. Em seguida, os quadros passam por um pré-processamento com técnicas de processamento de imagem para facilitar o tratamento consistente pelo modelo, por exemplo, redimensionando ou estabilizando as imagens e reduzindo o ruído e o desfoque de movimento.

Em seguida, o sistema identifica as mãos no quadro usando detecção ou segmentação e acompanha seus movimentos ao longo do tempo usando rastreamento. Se a aplicação precisar de mais detalhes, o sistema também pode executar a estimativa de pose para extrair pontos-chave, como as pontas dos dedos e as articulações. Com essas informações, o modelo classifica o gesto, seja uma pose em um único quadro, como o polegar para cima, ou um padrão de movimento, como um deslizar.

Por fim, o gesto reconhecido é associado a uma ação na interface, como rolar, ampliar, selecionar um item, ajustar o volume ou controlar interações de AR e VR. O pipeline exato pode variar: aplicações mais simples usam menos etapas, enquanto as mais complexas combinam detecção, rastreamento e estimativa de pose para obter mais precisão.

Aplicações do reconhecimento de gestos baseado em visão#

Agora, vamos conhecer algumas aplicações reais do reconhecimento de gestos baseado em visão.

Interação baseada em gestos com sistemas de infoentretenimento automotivo#

O reconhecimento de gestos está começando a aparecer nas interfaces de veículos inteligentes, especialmente nos sistemas de infoentretenimento. É uma forma conveniente de controlar certos recursos com movimentos simples das mãos, o que pode reduzir a frequência com que os motoristas precisam alcançar telas sensíveis ao toque ou botões físicos. Por exemplo, um gesto rápido pode ser usado para ajustar o volume, gerenciar chamadas ou navegar pelos menus na tela.

Fig. 2. Motorista fazendo gestos com as mãos dentro do alcance de detecção de um sistema de infoentretenimento (Fonte)

Interações com gestos em jogos#

Nos jogos e nas experiências imersivas, o controle baseado em gestos está mudando a forma como as pessoas interagem com mundos virtuais. Em vez de depender apenas de controles ou joysticks, os jogadores podem usar movimentos naturais das mãos para navegar pelos menus, pegar objetos virtuais, controlar personagens ou acionar ações em um jogo.

Fig. 3. Jogando usando gestos com as mãos (Fonte).

Esse tipo de interação sem toque pode ser mais fluido, especialmente em AR e VR. Por isso, o rastreamento das mãos e o controle por gestos estão se tornando recursos comuns em headsets de VR e realidade mista.

Controle por gestos integrado para dispositivos domésticos inteligentes#

Dispositivos domésticos inteligentes, como smart TVs, alto-falantes e luzes conectadas, estão começando a oferecer suporte ao controle por gestos para ações rápidas e sem toque. Com um simples movimento da mão, os usuários podem acender as luzes, ajustar o volume ou acionar comandos básicos sem precisar alcançar interruptores ou controles remotos.

Por exemplo, em sistemas de entretenimento doméstico, câmeras de profundidade integradas ou conectadas podem reconhecer gestos como deslizar a mão, apontar ou levantá-la. Isso pode facilitar a navegação pelos menus, a alteração das configurações ou a confirmação de seleções do outro lado do cômodo. Nos bastidores, modelos de visão computacional processam a imagem da câmera em tempo real para detectar e interpretar esses gestos.

Controle por gestos em robótica com inteligência artificial#

Imagine uma situação em uma fábrica na qual um trabalhador precisa orientar um robô enquanto carrega peças, usa luvas ou permanece a uma distância segura de equipamentos em movimento. Nessas situações, alcançar botões ou um painel de controle pode ser lento ou até mesmo perigoso.

Em contrapartida, sistemas de controle baseados em gestos podem oferecer uma forma mais prática e sem usar as mãos para interagir com essas máquinas. Isso é especialmente útil para robôs colaborativos, ou cobots, projetados para trabalhar junto com as pessoas.

Em vez de se aproximar de um painel de controle, os operadores podem usar sinais simples com as mãos para iniciar, parar ou orientar um robô à distância. Isso reduz a dependência de controles físicos e pode ajudar a tornar os fluxos de trabalho mais seguros na área de produção.

Sistemas avançados de controle baseados em visão, habilitados por modelos de aprendizado profundo ou algoritmos de aprendizado, também podem ir além dos comandos básicos. Eles podem interpretar movimentos mais sutis das mãos e responder sem interrupções a pequenas mudanças de direção, permitindo orientação e automação mais precisas.

Fig. 4. Mão robótica analisando o gesto de um usuário (Fonte)

Vantagens e desvantagens da tecnologia de reconhecimento de gestos#

Veja alguns dos principais benefícios do uso da tecnologia de reconhecimento de gestos:

• Mais acessibilidade: os gestos podem oferecer uma alternativa para usuários que têm dificuldade para usar teclados, telas sensíveis ao toque ou controles.
• Funciona à distância: os gestos podem ser reconhecidos do outro lado de um cômodo, o que é útil para smart TVs, quiosques e dispositivos domésticos.
• Flexibilidade entre dispositivos: conjuntos de gestos semelhantes podem funcionar em celulares, carros, telas inteligentes e headsets de AR ou VR, tornando a interação consistente.

Ao mesmo tempo, existem alguns desafios do mundo real que podem afetar a precisão e a consistência. Veja alguns fatores a considerar:

• Problemas de iluminação e qualidade da câmera: pouca luz, reflexos, sombras ou câmeras de baixa resolução podem reduzir o desempenho do reconhecimento. Isso, por sua vez, pode afetar o controle por movimento.
• Variações entre usuários: as pessoas fazem gestos de maneiras naturalmente diferentes, e diferenças no tamanho das mãos, na flexibilidade dos dedos ou nos acessórios podem afetar a precisão.
• Limitações de movimentos rápidos: gestos rápidos podem gerar desfoque de movimento ou fazer com que o modelo não detecte quadros importantes, especialmente em câmeras com baixa taxa de quadros.

Principais conclusões#

A tecnologia de reconhecimento de gestos saiu dos laboratórios de pesquisa e agora faz parte de dispositivos e inovações do dia a dia. Mais especificamente, a visão computacional permite o controle sem toque em jogos, robótica, casas inteligentes e sistemas automotivos. À medida que os modelos de visão melhoram, essas interfaces sem toque provavelmente ficarão mais fáceis de criar e serão usadas com mais frequência.

Conheça nossa comunidade e nosso repositório do GitHub para saber mais sobre modelos de visão computacional. Explore nossas páginas de soluções para conhecer aplicações como visão computacional em robótica e visão computacional em logística. Consulte nossas opções de licenciamento e comece a criar seu próprio modelo de IA visual.