A Vision AI permite a tecnologia de reconhecimento de gestos sem toque

À medida que a tecnologia evolui, a forma como interagimos com ela também evolui. As primeiras máquinas dependiam de esforço físico e controles mecânicos, enquanto a ciência da computação moderna introduziu telas sensíveis ao toque e entrada de voz.

Agora, o reconhecimento de gestos faz parte do próximo passo, usando movimentos naturais como uma interface de usuário. Um simples aceno, um movimento de pinça ou um sinal rápido com a mão já podem controlar aplicativos, telas e máquinas.

Essa interação sem toque pode ser alimentada por visão computacional, um ramo da IA que ajuda máquinas a ver e interpretar o que uma câmera captura. Sistemas de Visão AI podem ser integrados em smartphones, headsets de realidade virtual (VR) e realidade aumentada (AR), carros e dispositivos domésticos inteligentes, onde gestos podem substituir toques, cliques e botões para uma experiência de usuário mais fluida.

O controle sem toque está se tornando mais comum no dia a dia. Em locais de trabalho e espaços compartilhados, evitar contato físico pode melhorar a higiene e a segurança. Muitos produtos digitais também estão migrando para a interação sem uso das mãos, e os gestos fornecem uma maneira fácil e intuitiva de controlar dispositivos sem tocá-los.

Neste artigo, exploraremos o que é o reconhecimento de gestos, como a visão computacional o torna mais preciso e onde ele é usado em aplicações do mundo real. Vamos começar!

Link to this sectionO que é reconhecimento de gestos?#

O reconhecimento de gestos é uma tecnologia de detecção que permite às máquinas entender gestos humanos, como sinais com as mãos ou movimentos corporais, e convertê-los em ações digitais. Em vez de tocar em uma tela ou pressionar botões, os usuários podem controlar dispositivos por meio de movimentos simples e naturais.

Isso faz com que as interações pareçam mais intuitivas e é por isso que a entrada baseada em gestos está sendo adotada em muitos sistemas de controle orientados por aprendizado de máquina e IA. Em particular, o reconhecimento de gestos com as mãos é uma das formas mais amplamente utilizadas de reconhecimento de gestos, e muitas vezes depende de visão computacional.

Simplificando, uma solução de Visão AI pode detectar mãos em um feed de câmera, rastrear como elas se movem ou mudam de forma e combinar esses padrões com um gesto conhecido para acionar uma ação na tela.

Uma parte fundamental dessas soluções é um modelo de visão computacional, que é treinado em conjuntos de dados de imagens ou vídeos rotulados que mostram diferentes gestos com as mãos. Com dados de treinamento diversos e uma avaliação cuidadosa, o modelo consegue generalizar melhor entre diferentes usuários, condições de iluminação e fundos, ajudando-o a reconhecer gestos com mais confiabilidade em ambientes reais.

Fig 1. Dados usados para treinar um modelo de visão computacional para detectar pontos-chave de gestos (Fonte)

Link to this sectionExplorando diferentes tipos de gestos e interação humano-computador#

Antes de analisarmos mais detalhadamente o papel que a visão computacional desempenha no reconhecimento de gestos, vamos dar um passo atrás e observar os tipos de gestos que esses sistemas geralmente reconhecem.

Na maioria dos casos, os gestos se dividem em duas categorias: estáticos e dinâmicos. Gestos estáticos são poses de mão fixas, como um sinal de positivo, um sinal de parada ou um sinal de paz. Como não envolvem movimento, muitas vezes podem ser reconhecidos a partir de um único quadro de imagem.

Enquanto isso, gestos dinâmicos envolvem movimento ao longo do tempo, como acenar ou deslizar no ar. Para reconhecê-los, um sistema de Visão AI precisa analisar vários quadros para que possa rastrear como a mão se move e entender a direção e o tempo do gesto.

Link to this sectionO papel dos algoritmos de visão computacional no reconhecimento de gestos#

Sistemas de reconhecimento de gestos podem ser construídos de diferentes maneiras. Alguns sistemas de métodos de entrada usam sensores vestíveis, como luvas ou rastreadores montados no pulso, para capturar o movimento das mãos.

Essas configurações podem ser precisas, mas nem sempre são práticas. Dispositivos vestíveis precisam ser usados, configurados, carregados e mantidos, e podem parecer limitantes em espaços compartilhados ou quando usados diariamente.

É por isso que muitos sistemas de ponta dependem da visão computacional. Com câmeras RGB padrão e sensores de profundidade ou tempo de voo, os dispositivos podem capturar movimentos das mãos e do corpo em tempo real sem que os usuários precisem usar dispositivos adicionais. Isso torna o reconhecimento de gestos baseado em visão uma ótima opção para smartphones, carros, smart TVs e headsets de AR e VR.

Por exemplo, modelos de visão computacional como Ultralytics YOLO11 e o próximo Ultralytics YOLO26 suportam tarefas como detecção de objetos, rastreamento de objetos e estimativa de pose. Essas capacidades podem ser usadas para detectar mãos em cada quadro, rastrear seu movimento ao longo do tempo e mapear pontos-chave como pontas dos dedos e articulações. Isso torna possível reconhecer gestos como uma palma levantada para pausar, um movimento de pinça para dar zoom, um deslize para navegar em menus ou um gesto de apontar para selecionar um item em AR e VR.

Link to this sectionTarefas de visão computacional usadas para reconhecimento de interação humano-máquina#

Aqui está uma visão geral de algumas das principais tarefas de visão computacional usadas no reconhecimento de gestos:

• Detecção de objetos: Esta tarefa é usada para localizar mãos em uma imagem ou quadro de vídeo, geralmente desenhando caixas delimitadoras ao redor delas. Ajuda o sistema a focar na área do gesto e ignorar detalhes desnecessários do fundo.
• Rastreamento de objetos: Com base na detecção de objetos, esta tarefa rastreia mãos detectadas em vários quadros e mantém sua identidade ao longo do tempo. É especialmente útil para gestos dinâmicos, onde o movimento e a direção são cruciais.
• Estimativa de pose: Em vez de focar em caixas delimitadoras, a estimativa de pose identifica pontos-chave na mão, como pontas dos dedos, nós dos dedos e o pulso. Esses pontos de referência criam um esqueleto de mão simples que captura posições dos dedos e movimentos sutis, permitindo uma classificação de gestos mais detalhada.
• Segmentação de instância: Esta tarefa visa separar cada mão do fundo no nível do pixel, gerando uma máscara para cada mão visível. É útil em cenas desordenadas, quando as mãos se sobrepõem ou quando várias mãos aparecem no quadro.

Muitas soluções de Visão AI usam essas tarefas juntas como parte de um único pipeline. Por exemplo, um sistema pode começar com a detecção de objetos para encontrar as mãos, depois usar o rastreamento para segui-las entre os quadros para gestos dinâmicos.

Se o gesto depende da posição dos dedos, a estimativa de pose pode adicionar pontos-chave para detalhes mais finos, enquanto a segmentação de instância pode ajudar a isolar cada mão com mais precisão em cenas desordenadas ou quando várias mãos se sobrepõem. Trabalhando juntas, essas etapas fornecem informações de localização e movimento, tornando o reconhecimento de gestos mais preciso e confiável.

Link to this sectionComo funciona o reconhecimento de gestos baseado em visão#

Agora que temos uma melhor compreensão das tarefas de visão computacional por trás do reconhecimento de gestos, vamos dar uma olhada passo a passo em como um sistema baseado em visão funciona.

Um sistema típico começa capturando vídeo de uma câmera, às vezes junto com dados de profundidade se o dispositivo suportar. Os quadros são então pré-processados usando processamento de imagem para torná-los mais fáceis para o modelo manipular de forma consistente, como redimensionamento, estabilização ou redução de ruído e desfoque de movimento.

Em seguida, o sistema identifica mãos no quadro usando detecção ou segmentação e as acompanha ao longo do tempo usando rastreamento. Se a aplicação precisar de mais detalhes, ela também pode executar a estimativa de pose para extrair pontos-chave como pontas dos dedos e articulações. Usando essas informações, o modelo classifica o gesto, seja uma pose de quadro único como um polegar para cima ou um padrão de movimento como um deslize.

Finalmente, o gesto reconhecido é mapeado para uma ação na interface, como rolar, dar zoom, selecionar um item, ajustar o volume ou controlar interações de AR e VR. O pipeline exato pode variar, com aplicações mais simples usando menos etapas e as mais complexas combinando detecção, rastreamento e estimativa de pose para melhor precisão.

Link to this sectionAplicações de reconhecimento de gestos baseado em visão#

Em seguida, vamos analisar como o reconhecimento de gestos está sendo usado em aplicações do mundo real para entender as posições das mãos.

Link to this sectionInteração baseada em gestos com sistemas de infoentretenimento automotivo#

O reconhecimento de gestos está começando a aparecer em interfaces de veículos inteligentes, especialmente em sistemas de infoentretenimento. É uma maneira conveniente de controlar certos recursos com movimentos simples das mãos, o que pode reduzir a frequência com que os motoristas precisam tocar em telas ou botões físicos. Por exemplo, um gesto rápido pode ser usado para ajustar o volume, gerenciar chamadas ou navegar pelos menus na tela.

Fig 2. Um motorista fazendo gestos com as mãos dentro do alcance de detecção de um sistema de infoentretenimento (Fonte)

Link to this sectionInterações impulsionadas por gestos em jogos#

Em jogos e experiências imersivas, o controle baseado em gestos está mudando a forma como as pessoas interagem com mundos virtuais. Em vez de depender apenas de controladores ou joysticks, os jogadores podem usar movimentos naturais das mãos para navegar em menus, pegar objetos virtuais, controlar personagens ou acionar ações em um jogo.

Fig 3. Jogando usando gestos com as mãos (Fonte).

Esse tipo de interação sem toque pode parecer mais fluido, especialmente em AR e VR. Como resultado, o rastreamento de mãos e o controle por gestos estão se tornando recursos comuns em headsets de VR e realidade mista.

Link to this sectionControle de gestos contínuo para dispositivos domésticos inteligentes#

Dispositivos domésticos inteligentes como smart TVs, alto-falantes e luzes conectadas estão começando a suportar controle baseado em gestos para ações rápidas e sem toque. Com um movimento simples de mão, os usuários podem acender luzes, ajustar o volume ou acionar comandos básicos sem alcançar interruptores ou controles remotos.

Por exemplo, em configurações de entretenimento doméstico, câmeras de profundidade integradas ou conectadas podem reconhecer gestos como deslizar, apontar ou levantar uma mão. Isso pode facilitar a navegação em menus, alteração de configurações ou confirmação de seleções de qualquer lugar da sala. Nos bastidores, modelos de visão computacional processam o feed da câmera em tempo real para detectar e interpretar esses gestos.

Link to this sectionControle de gestos habilitado por inteligência artificial em robótica#

Considere uma situação em uma fábrica onde um trabalhador precisa guiar um robô enquanto carrega peças, usa luvas ou está em uma distância segura de equipamentos em movimento. Nesses ambientes, alcançar botões ou um painel de controle pode ser lento ou até inseguro.

Em contraste, sistemas de controle baseados em gestos podem ser uma maneira mais prática e sem o uso das mãos para interagir com essas máquinas. Isso é especialmente útil para robôs colaborativos, ou cobots, que são projetados para trabalhar ao lado de pessoas.

Em vez de caminhar até um painel de controle, os operadores podem usar sinais manuais simples para iniciar, parar ou guiar um robô à distância. Isso reduz a dependência de controles físicos e pode apoiar fluxos de trabalho mais seguros no chão de fábrica.

Sistemas avançados de controle baseados em visão, habilitados por modelos de aprendizado profundo ou algoritmos de aprendizado, também podem ir além de comandos básicos. Eles podem interpretar movimentos finos das mãos e responder suavemente a pequenas mudanças de direção e guias e automação mais precisas.

Fig 4. Uma mão robótica analisando o gesto de um usuário (Fonte)

Link to this sectionPrós e contras da tecnologia de reconhecimento de gestos#

Aqui estão alguns benefícios importantes do uso da tecnologia de reconhecimento de gestos:

• Acessibilidade aprimorada: Os gestos podem oferecer uma alternativa para usuários que acham difícil usar teclados, telas sensíveis ao toque ou controladores.
• Funciona à distância: Os gestos podem ser reconhecidos de qualquer lugar de uma sala, o que é útil para smart TVs, quiosques e dispositivos domésticos.
• Flexível entre dispositivos: Conjuntos de gestos semelhantes podem funcionar em telefones, carros, telas inteligentes e headsets de AR ou VR, tornando a interação consistente.

Ao mesmo tempo, existem alguns desafios do mundo real que podem afetar a precisão e a consistência. Aqui estão alguns fatores a serem considerados:

• Problemas de iluminação e qualidade da câmera: Pouca luz, reflexos, sombras ou câmeras de baixa resolução podem reduzir o desempenho do reconhecimento. Isso, por sua vez, pode afetar o controle de movimento.
• Variação entre usuários: As pessoas naturalmente realizam gestos de maneiras diferentes, e diferenças no tamanho da mão, flexibilidade dos dedos ou acessórios podem afetar a precisão.
• Limitações de movimento rápido: Gestos rápidos podem introduzir desfoque de movimento ou fazer com que o modelo perca quadros importantes, especialmente em câmeras com taxas de quadros mais baixas.

Link to this sectionPrincipais pontos#

A tecnologia de reconhecimento de gestos saiu dos laboratórios de pesquisa e agora faz parte de dispositivos e inovações do dia a dia. Especificamente, a visão computacional permite o controle sem toque em jogos, robótica, casas inteligentes e sistemas automotivos. À medida que os modelos de visão melhoram, essas interfaces sem toque provavelmente se tornarão mais fáceis de construir e mais amplamente utilizadas.

Descubra nossa comunidade e repositório GitHub para aprender mais sobre modelos de visão computacional. Explore nossas páginas de soluções para ler sobre aplicações como IA na agricultura e visão computacional na logística. Confira nossas opções de licenciamento e comece a construir seu próprio modelo de Visão AI.