A Vision AI permite a tecnologia de reconhecimento de gestos sem toque

À medida que a tecnologia evolui, a forma como interagimos com ela também evolui. As primeiras máquinas dependiam de esforço físico e controles mecânicos, enquanto a ciência da computação moderna introduziu telas sensíveis ao toque e entrada de voz.

Agora, o reconhecimento de gestos faz parte do próximo passo, usando movimentos naturais como uma interface de usuário. Um simples aceno, um movimento de pinça ou um sinal rápido com a mão já podem controlar aplicativos, telas e máquinas.

Esta interação sem toque pode ser alimentada por computer vision, um ramo da IA que ajuda as máquinas a ver e interpretar o que uma câmara captura. Os sistemas de Vision AI podem ser integrados em smartphones, óculos de realidade virtual (VR) e realidade aumentada (AR), carros e dispositivos de casa inteligente, onde os gestos podem substituir toques, cliques e botões para uma experiência de utilizador mais fluida.

O controle sem toque está se tornando mais comum no dia a dia. Em locais de trabalho e espaços compartilhados, evitar contato físico pode melhorar a higiene e a segurança. Muitos produtos digitais também estão migrando para a interação sem uso das mãos, e os gestos fornecem uma maneira fácil e intuitiva de controlar dispositivos sem tocá-los.

Neste artigo, exploraremos o que é o reconhecimento de gestos, como a visão computacional o torna mais preciso e onde ele é usado em aplicações do mundo real. Vamos começar!

O que é reconhecimento de gestos?#

O reconhecimento de gestos é uma tecnologia de detecção que permite às máquinas entender gestos humanos, como sinais com as mãos ou movimentos corporais, e convertê-los em ações digitais. Em vez de tocar em uma tela ou pressionar botões, os usuários podem controlar dispositivos por meio de movimentos simples e naturais.

Isso faz com que as interações pareçam mais intuitivas e é por isso que a entrada baseada em gestos está sendo adotada em muitos sistemas de controle orientados por aprendizado de máquina e IA. Em particular, o reconhecimento de gestos com as mãos é uma das formas mais amplamente utilizadas de reconhecimento de gestos, e muitas vezes depende de visão computacional.

Simplificando, uma solução de Visão AI pode detectar mãos em um feed de câmera, rastrear como elas se movem ou mudam de forma e combinar esses padrões com um gesto conhecido para acionar uma ação na tela.

Uma parte fundamental destas soluções é um computer vision model, que é treinado em conjuntos de dados de imagens ou vídeos rotulados que mostram diferentes gestos com as mãos. Com dados de treino diversos e uma avaliação cuidadosa, o modelo consegue generalizar melhor entre diferentes utilizadores, condições de iluminação e fundos, ajudando-o a reconhecer gestos de forma mais fiável em ambientes do mundo real.

Fig 1. Dados usados para treinar um modelo de visão computacional para detetar pontos-chave de gestos (Source)

Explorando diferentes tipos de gestos e interação humano-computador#

Antes de analisarmos mais detalhadamente o papel que a visão computacional desempenha no reconhecimento de gestos, vamos dar um passo atrás e observar os tipos de gestos que esses sistemas geralmente reconhecem.

Na maioria dos casos, os gestos se dividem em duas categorias: estáticos e dinâmicos. Gestos estáticos são poses de mão fixas, como um sinal de positivo, um sinal de parada ou um sinal de paz. Como não envolvem movimento, muitas vezes podem ser reconhecidos a partir de um único quadro de imagem.

Enquanto isso, gestos dinâmicos envolvem movimento ao longo do tempo, como acenar ou deslizar no ar. Para reconhecê-los, um sistema de Visão AI precisa analisar vários quadros para que possa rastrear como a mão se move e entender a direção e o tempo do gesto.

O papel dos algoritmos de visão computacional no reconhecimento de gestos#

Sistemas de reconhecimento de gestos podem ser construídos de diferentes maneiras. Alguns sistemas de métodos de entrada usam sensores vestíveis, como luvas ou rastreadores montados no pulso, para capturar o movimento das mãos.

Essas configurações podem ser precisas, mas nem sempre são práticas. Dispositivos vestíveis precisam ser usados, configurados, carregados e mantidos, e podem parecer limitantes em espaços compartilhados ou quando usados diariamente.

É por isso que muitos sistemas de ponta dependem da visão computacional. Com câmeras RGB padrão e sensores de profundidade ou tempo de voo, os dispositivos podem capturar movimentos das mãos e do corpo em tempo real sem que os usuários precisem usar dispositivos adicionais. Isso torna o reconhecimento de gestos baseado em visão uma ótima opção para smartphones, carros, smart TVs e headsets de AR e VR.

Por exemplo, modelos de visão computacional como Ultralytics YOLO11 e o próximo Ultralytics YOLO26 suportam tarefas como deteção de objetos, rastreio de objetos e estimativa de pose. Estas capacidades podem ser usadas para detetar mãos em cada fotograma, rastrear o seu movimento ao longo do tempo e mapear pontos-chave como pontas dos dedos e articulações. Isto torna possível reconhecer gestos como uma palma levantada para pausar, um gesto de pinça para fazer zoom, um deslize para navegar em menus ou um gesto a apontar para selecionar um item em AR e VR.

Tarefas de visão computacional usadas para reconhecimento de interação humano-máquina#

Aqui tens uma visão geral de algumas das principais computer vision tasks usadas no reconhecimento de gestos:

• Detecção de objetos: Esta tarefa é usada para localizar mãos em uma imagem ou quadro de vídeo, geralmente desenhando caixas delimitadoras ao redor delas. Ajuda o sistema a focar na área do gesto e ignorar detalhes desnecessários do fundo.
• Rastreamento de objetos: Com base na detecção de objetos, esta tarefa rastreia mãos detectadas em vários quadros e mantém sua identidade ao longo do tempo. É especialmente útil para gestos dinâmicos, onde o movimento e a direção são cruciais.
• Estimativa de pose: Em vez de focar em caixas delimitadoras, a estimativa de pose identifica pontos-chave na mão, como pontas dos dedos, nós dos dedos e o pulso. Esses pontos de referência criam um esqueleto de mão simples que captura posições dos dedos e movimentos sutis, permitindo uma classificação de gestos mais detalhada.
• Segmentação de instância: Esta tarefa visa separar cada mão do fundo no nível do pixel, gerando uma máscara para cada mão visível. É útil em cenas desordenadas, quando as mãos se sobrepõem ou quando várias mãos aparecem no quadro.

Muitas soluções de Visão AI usam essas tarefas juntas como parte de um único pipeline. Por exemplo, um sistema pode começar com a detecção de objetos para encontrar as mãos, depois usar o rastreamento para segui-las entre os quadros para gestos dinâmicos.

Se o gesto depende da posição dos dedos, a estimativa de pose pode adicionar pontos-chave para detalhes mais finos, enquanto a segmentação de instância pode ajudar a isolar cada mão com mais precisão em cenas desordenadas ou quando várias mãos se sobrepõem. Trabalhando juntas, essas etapas fornecem informações de localização e movimento, tornando o reconhecimento de gestos mais preciso e confiável.

Como funciona o reconhecimento de gestos baseado em visão#

Agora que temos uma melhor compreensão das tarefas de visão computacional por trás do reconhecimento de gestos, vamos dar uma olhada passo a passo em como um sistema baseado em visão funciona.

Um sistema típico começa capturando vídeo de uma câmera, às vezes junto com dados de profundidade se o dispositivo suportar. Os quadros são então pré-processados usando processamento de imagem para torná-los mais fáceis para o modelo manipular de forma consistente, como redimensionamento, estabilização ou redução de ruído e desfoque de movimento.

Em seguida, o sistema identifica mãos no quadro usando detecção ou segmentação e as acompanha ao longo do tempo usando rastreamento. Se a aplicação precisar de mais detalhes, ela também pode executar a estimativa de pose para extrair pontos-chave como pontas dos dedos e articulações. Usando essas informações, o modelo classifica o gesto, seja uma pose de quadro único como um polegar para cima ou um padrão de movimento como um deslize.

Finalmente, o gesto reconhecido é mapeado para uma ação na interface, como rolar, dar zoom, selecionar um item, ajustar o volume ou controlar interações de AR e VR. O pipeline exato pode variar, com aplicações mais simples usando menos etapas e as mais complexas combinando detecção, rastreamento e estimativa de pose para melhor precisão.

Aplicações de reconhecimento de gestos baseado em visão#

Em seguida, vamos analisar como o reconhecimento de gestos está sendo usado em aplicações do mundo real para entender as posições das mãos.

Interação baseada em gestos com sistemas de infoentretenimento automotivo#

O reconhecimento de gestos está começando a aparecer em interfaces de veículos inteligentes, especialmente em sistemas de infoentretenimento. É uma maneira conveniente de controlar certos recursos com movimentos simples das mãos, o que pode reduzir a frequência com que os motoristas precisam tocar em telas ou botões físicos. Por exemplo, um gesto rápido pode ser usado para ajustar o volume, gerenciar chamadas ou navegar pelos menus na tela.

Fig 2. Um condutor a realizar gestos com as mãos no alcance de deteção de um sistema de infotainment (Source)

Interações impulsionadas por gestos em jogos#

Em gaming e experiências imersivas, o controlo baseado em gestos está a mudar a forma como as pessoas interagem com mundos virtuais. Em vez de dependerem apenas de comandos ou joysticks, os jogadores podem usar movimentos naturais das mãos para navegar em menus, apanhar objetos virtuais, controlar personagens ou acionar ações num jogo.

Fig 3. A jogar jogos utilizando gestos com as mãos (Source).

Esse tipo de interação sem toque pode parecer mais fluido, especialmente em AR e VR. Como resultado, o rastreamento de mãos e o controle por gestos estão se tornando recursos comuns em headsets de VR e realidade mista.

Controle de gestos contínuo para dispositivos domésticos inteligentes#

Smart home devices como smart TVs, altifalantes e luzes conectadas estão a começar a suportar o controlo baseado em gestos para ações rápidas e sem toque. Com um simples movimento de mão, os utilizadores podem acender luzes, ajustar o volume ou acionar comandos básicos sem alcançar interruptores ou comandos à distância.

Por exemplo, em configurações de entretenimento doméstico, câmeras de profundidade integradas ou conectadas podem reconhecer gestos como deslizar, apontar ou levantar uma mão. Isso pode facilitar a navegação em menus, alteração de configurações ou confirmação de seleções de qualquer lugar da sala. Nos bastidores, modelos de visão computacional processam o feed da câmera em tempo real para detectar e interpretar esses gestos.

Controle de gestos habilitado por inteligência artificial em robótica#

Considere uma situação em uma fábrica onde um trabalhador precisa guiar um robô enquanto carrega peças, usa luvas ou está em uma distância segura de equipamentos em movimento. Nesses ambientes, alcançar botões ou um painel de controle pode ser lento ou até inseguro.

Em contrapartida, os sistemas de controlo baseados em gestos podem ser uma forma mais prática e sem mãos de interagir com estas máquinas. Isto é especialmente útil para robots colaborativos, ou cobots, que foram concebidos para trabalhar lado a lado com pessoas.

Em vez de caminhar até um painel de controle, os operadores podem usar sinais manuais simples para iniciar, parar ou guiar um robô à distância. Isso reduz a dependência de controles físicos e pode apoiar fluxos de trabalho mais seguros no chão de fábrica.

Sistemas avançados de controle baseados em visão, habilitados por modelos de aprendizado profundo ou algoritmos de aprendizado, também podem ir além de comandos básicos. Eles podem interpretar movimentos finos das mãos e responder suavemente a pequenas mudanças de direção e guias e automação mais precisas.

Fig 4. Uma mão robótica a analisar o gesto de um utilizador (Source)

Prós e contras da tecnologia de reconhecimento de gestos#

Aqui estão alguns benefícios importantes do uso da tecnologia de reconhecimento de gestos:

• Acessibilidade aprimorada: Os gestos podem oferecer uma alternativa para usuários que acham difícil usar teclados, telas sensíveis ao toque ou controladores.
• Funciona à distância: Os gestos podem ser reconhecidos de qualquer lugar de uma sala, o que é útil para smart TVs, quiosques e dispositivos domésticos.
• Flexível entre dispositivos: Conjuntos de gestos semelhantes podem funcionar em telefones, carros, telas inteligentes e headsets de AR ou VR, tornando a interação consistente.

Ao mesmo tempo, existem alguns desafios do mundo real que podem afetar a precisão e a consistência. Aqui estão alguns fatores a serem considerados:

• Problemas de qualidade de iluminação e câmara: Pouca luz, reflexos, sombras ou cameras de baixa resolução podem reduzir o desempenho de reconhecimento. Isto, por sua vez, pode afetar o controlo de movimento.
• Variação entre usuários: As pessoas naturalmente realizam gestos de maneiras diferentes, e diferenças no tamanho da mão, flexibilidade dos dedos ou acessórios podem afetar a precisão.
• Limitações de movimento rápido: Gestos rápidos podem introduzir desfoque de movimento ou fazer com que o modelo perca quadros importantes, especialmente em câmeras com taxas de quadros mais baixas.

Principais pontos#

A tecnologia de reconhecimento de gestos saiu dos laboratórios de pesquisa e agora faz parte de dispositivos e inovações do dia a dia. Especificamente, a visão computacional permite o controle sem toque em jogos, robótica, casas inteligentes e sistemas automotivos. À medida que os modelos de visão melhoram, essas interfaces sem toque provavelmente se tornarão mais fáceis de construir e mais amplamente utilizadas.

Descobre a nossa community e o GitHub repository para saberes mais sobre modelos de visão computacional. Explora as nossas páginas de soluções para ler sobre aplicações como AI in agriculture e computer vision in logistics. Consulta as nossas licensing options e começa a construir o teu próprio modelo de Vision AI.