Melhorando a estimativa de pontos-chave das mãos com Ultralytics YOLO11

Recentemente, os intérpretes de língua de sinais no Super Bowl ganharam muita atenção. Quando você os observa cantar a música do seu artista favorito na TV, você consegue entendê-los se souber a língua de sinais, porque seu cérebro processa os movimentos das mãos deles. Mas e se um computador pudesse fazer o mesmo? Graças às soluções de rastreamento de mãos impulsionadas por IA, é possível que máquinas rastreiem e interpretem movimentos das mãos com uma precisão impressionante.

No centro dessas soluções está a visão computacional, um subcampo da IA que permite às máquinas processar e entender informações visuais. Ao analisar imagens e vídeos, a IA de visão as ajuda a detectar objetos, rastrear movimentos e reconhecer gestos complexos com uma precisão notável.

Por exemplo, modelos de visão computacional como o Ultralytics YOLO11 podem ser treinados para detectar e analisar pontos-chave da mão em tempo real usando a estimativa de pose. Ao fazer isso, esses modelos podem ser usados para aplicações como reconhecimento de gestos, tradução de língua de sinais e interações de AR/VR.

Neste artigo, exploraremos como o YOLO11 permite o rastreamento de mãos baseado em IA, os conjuntos de dados usados para treinamento e como treinar de forma personalizada um modelo para estimativa de pose da mão. Também veremos aplicações no mundo real. Vamos começar!

Link to this sectionEntendendo a detecção de pontos-chave da mão baseada em IA#

A IA pode ser usada para reconhecer e rastrear movimentos das mãos em dados visuais identificando pontos-chave como o pulso, as pontas dos dedos e as articulações dos dedos. Uma abordagem, conhecida como estimativa de pose, ajuda computadores a entender o movimento humano mapeando pontos-chave e analisando como eles mudam ao longo do tempo. Isso permite que sistemas de IA interpretem a postura corporal, gestos e padrões de movimento com alta precisão.

Modelos de visão computacional tornam isso possível ao analisar imagens ou vídeos para identificar pontos-chave na mão e rastrear seu movimento. Uma vez que esses pontos são mapeados, a IA pode reconhecer gestos analisando as relações espaciais entre os pontos-chave e como eles mudam ao longo do tempo.

Por exemplo, se a distância entre o polegar e o dedo indicador diminui, a IA pode interpretar isso como um movimento de pinça. Da mesma forma, rastrear como os pontos-chave se movem em sequências ajuda a identificar gestos manuais complexos e até mesmo a prever movimentos futuros.

Fig 1. Um exemplo de reconhecimento dos pontos-chave em uma mão usando visão computacional.

Curiosamente, a estimativa de pose para rastreamento de mãos abriu possibilidades empolgantes, desde o controle sem as mãos de dispositivos inteligentes até maior precisão robótica e assistência em aplicações de saúde. À medida que a IA e a visão computacional continuam a evoluir, o rastreamento de mãos provavelmente desempenhará um papel maior em tornar a tecnologia mais interativa, acessível e intuitiva no dia a dia.

Link to this sectionExplorando o YOLO11 para estimativa de pose#

Antes de mergulharmos em como criar uma solução para rastreamento de mãos baseado em IA, vamos examinar mais de perto a estimativa de pose e como o YOLO11 suporta essa tarefa de visão computacional. Ao contrário da detecção de objetos padrão, que identifica objetos inteiros, a estimativa de pose foca em detectar marcos-chave - como articulações, membros ou bordas - para analisar movimento e postura.

Especificamente, o Ultralytics YOLO11 foi projetado para estimativa de pose em tempo real. Ao aproveitar métodos tanto top-down quanto bottom-up, ele detecta pessoas de forma eficiente e estima pontos-chave em uma única etapa, superando modelos anteriores em velocidade e precisão.

Pronto para uso, o YOLO11 vem pré-treinado no conjunto de dados COCO-Pose e pode reconhecer pontos-chave no corpo humano, incluindo cabeça, ombros, cotovelos, pulsos, quadris, joelhos e tornozelos.

Fig 2. Usando o YOLO11 para estimativa de pose humana.

Além da estimativa de pose humana, o YOLO11 pode ser treinado de forma personalizada para detectar pontos-chave em uma variedade de objetos, tanto animados quanto inanimados. Essa flexibilidade torna o YOLO11 uma ótima opção para uma ampla gama de aplicações.

Link to this sectionUma visão geral do conjunto de dados de Pontos-Chave da Mão#

O primeiro passo para treinar um modelo personalizado é coletar dados e anotá-los ou encontrar um conjunto de dados existente que atenda às necessidades do projeto. Por exemplo, o conjunto de dados Hand Keypoints é um bom ponto de partida para treinar modelos de IA de visão para rastreamento de mãos e estimativa de pose. Com 26.768 imagens anotadas, ele elimina a necessidade de rotulagem manual.

Ele pode ser usado para treinar modelos como o Ultralytics YOLO11 para aprender rapidamente como detectar e rastrear movimentos das mãos. O conjunto de dados inclui 21 pontos-chave por mão, cobrindo o pulso, dedos e articulações. Além disso, as anotações do conjunto de dados foram geradas com o Google MediaPipe, uma ferramenta para desenvolver soluções alimentadas por IA para processamento de mídia em tempo real, garantindo uma detecção de pontos-chave precisa e confiável.

Fig 3. Os 21 pontos-chave incluídos no conjunto de dados Hand Keypoints.

Usar um conjunto de dados estruturado como este economiza tempo e permite que os desenvolvedores foquem no treinamento e ajuste fino de seus modelos em vez de coletar e rotular dados. De fato, o conjunto de dados já está dividido em subconjuntos de treinamento (18.776 imagens) e validação (7.992 imagens), facilitando a avaliação do desempenho do modelo.

Link to this sectionComo treinar o YOLO11 para estimativa de pose da mão#

Treinar o YOLO11 para estimativa de pose da mão é um processo simples, especialmente com o pacote Python da Ultralytics, que facilita a configuração e o treinamento do modelo. Como o conjunto de dados Hand Keypoints já é suportado no pipeline de treinamento, ele pode ser usado imediatamente sem formatação extra, economizando tempo e esforço.

Veja como funciona o processo de treinamento:

• Configurar o ambiente: O primeiro passo é instalar o pacote Python da Ultralytics.
• Carregar o conjunto de dados Hand Keypoints: O YOLO11 suporta este conjunto de dados nativamente, então ele pode ser baixado e preparado automaticamente.
• Usar um modelo pré-treinado: Você pode começar com um modelo de estimativa de pose YOLO11 pré-treinado, o que ajuda a melhorar a precisão e acelera o processo de treinamento.
• Treinar o modelo: O modelo aprende a detectar e rastrear pontos-chave da mão passando por vários ciclos de treinamento.
• Monitorar o desempenho: O pacote Ultralytics também fornece ferramentas integradas para rastrear métricas principais como precisão e perda, ajudando a garantir que o modelo melhore com o tempo.
• Salvar e implantar: Uma vez treinado, o modelo pode ser exportado e usado para aplicações de rastreamento de mãos em tempo real.

Link to this sectionAvaliando seu modelo treinado de forma personalizada#

Ao passar pelas etapas de criação de um modelo personalizado, você notará que monitorar o desempenho é essencial. Juntamente com o rastreamento do progresso durante o treinamento, avaliar o modelo posteriormente é crucial para garantir que ele detecte e rastreie os pontos-chave da mão com precisão.

Métricas de desempenho chave como precisão, valores de perda e mean average precision (mAP) ajudam a avaliar quão bem o modelo performa. O pacote Python da Ultralytics fornece ferramentas integradas para visualizar resultados e comparar previsões com anotações reais, facilitando a identificação de áreas para melhoria.

Para entender melhor o desempenho do modelo, você pode verificar gráficos de avaliação como curvas de perda, gráficos de precisão-recall e matrizes de confusão, que são gerados automaticamente nos logs de treinamento.

Esses gráficos ajudam a identificar problemas como overfitting (quando o modelo memoriza dados de treinamento, mas tem dificuldades com novos dados) ou underfitting (quando o modelo não aprende padrões bem o suficiente para performar com precisão) e orientam ajustes para melhorar a precisão. Além disso, testar o modelo em novas imagens ou vídeos é importante para ver quão bem ele funciona em cenários do mundo real.

Link to this sectionAplicações de soluções de rastreamento de mãos impulsionadas por IA#

A seguir, vamos percorrer algumas das aplicações mais impactantes da estimativa de pontos-chave da mão com Ultralytics YOLO11.

Link to this sectionReconhecimento de gestos em tempo real com YOLO11#

Vamos supor que você pudesse ajustar o volume da sua TV simplesmente acenando com a mão ou navegar em um sistema de casa inteligente com um simples deslize no ar. O reconhecimento de gestos em tempo real impulsionado pelo YOLO11 torna essas interações sem toque possíveis ao detectar movimentos das mãos com precisão em tempo real.

Isso funciona usando câmeras de IA para rastrear pontos-chave em sua mão e interpretar gestos como comandos. Câmeras com detecção de profundidade, sensores infravermelhos ou até webcams comuns capturam movimentos das mãos, enquanto o YOLO11 pode processar os dados para reconhecer diferentes gestos. Por exemplo, tal sistema pode diferenciar entre um deslize para mudar uma música, uma pinça para dar zoom ou um movimento circular para ajustar o volume.

Link to this sectionDetecção de pontos-chave da mão baseada em IA para reconhecimento de língua de sinais#

Soluções de IA para rastreamento de mãos podem apoiar a comunicação perfeita entre uma pessoa surda e alguém que não conhece a língua de sinais. Por exemplo, dispositivos inteligentes integrados com câmeras e YOLO11 podem ser usados para traduzir instantaneamente a língua de sinais em texto ou fala.

Graças a avanços como o YOLO11, as ferramentas de tradução de língua de sinais estão se tornando mais precisas e acessíveis. Isso impacta aplicações como tecnologia assistiva, serviços de tradução ao vivo e plataformas educacionais. A IA pode ajudar a preencher lacunas de comunicação e promover a inclusão em locais de trabalho, escolas e espaços públicos.

Link to this sectionVisão computacional para rastreamento de mãos: Melhorando experiências de AR e VR#

Você já jogou um jogo de realidade virtual (VR) onde podia pegar objetos sem usar um controle? O rastreamento de mãos impulsionado por visão computacional torna isso possível permitindo que os usuários interajam naturalmente em ambientes de realidade aumentada (AR) e VR.

Fig 4. O rastreamento de mãos é uma parte chave das aplicações de AR e VR.

Com a estimativa de pontos-chave da mão usando modelos como o Ultralytics YOLO11, a IA rastreia movimentos em tempo real, permitindo gestos como pinçar, agarrar e deslizar. Isso melhora jogos, treinamentos virtuais e colaboração remota, tornando as interações mais intuitivas. À medida que a tecnologia de rastreamento de mãos melhora, a AR e a VR parecerão ainda mais imersivas e realistas.

Link to this sectionPrincipais pontos#

A estimativa de pontos-chave da mão com Ultralytics YOLO11 está tornando as soluções de rastreamento de mãos impulsionadas por IA mais acessíveis e confiáveis. Do reconhecimento de gestos em tempo real à interpretação de língua de sinais e aplicações de AR/VR, a visão computacional está abrindo novas possibilidades na interação humano-computador.

Além disso, processos simplificados de treinamento personalizado e ajuste fino estão ajudando desenvolvedores a construir modelos eficientes para vários usos no mundo real. À medida que a tecnologia de visão computacional evolui, podemos esperar ainda mais inovações em áreas como saúde, robótica, jogos e segurança.

Engaje-se com nossa comunidade e explore avanços em IA em nosso repositório no GitHub. Descubra o impacto da IA na manufatura e da visão computacional na saúde através de nossas páginas de soluções. Explore nossos planos de licenciamento e comece sua jornada em IA hoje mesmo!