Melhorando a estimativa de pontos-chave das mãos com Ultralytics YOLO11

Recentemente, os intérpretes de língua de sinais no Super Bowl ganharam muita atenção. Quando você os observa cantar a música do seu artista favorito na TV, você consegue entendê-los se souber a língua de sinais, porque seu cérebro processa os movimentos das mãos deles. Mas e se um computador pudesse fazer o mesmo? Graças às soluções de rastreamento de mãos impulsionadas por IA, é possível que máquinas rastreiem e interpretem movimentos das mãos com uma precisão impressionante.

No núcleo destas soluções está a computer vision, uma sub-rede da IA que permite às máquinas processar e compreender informação visual. Ao analisar imagens e vídeos, a visão por IA ajuda-as a detetar objetos, rastrear movimentos e reconhecer gestos complexos com notável precisão.

Por exemplo, os modelos de visão por computador como o Ultralytics YOLO11 podem ser treinados para detetar e analisar pontos-chave das mãos em tempo real utilizando a estimativa de pose. Ao fazê-lo, estes modelos podem ser utilizados para aplicações como o reconhecimento de gestos, a tradução de linguagem gestual e interações de AR/VR.

Neste artigo, vamos explorar como o Ultralytics YOLO11 permite o rastreamento de mãos baseado em IA, os conjuntos de dados usados para o treinamento e como custom-train um modelo para estimativa de pose de mãos. Também veremos aplicações do mundo real. Vamos começar!

Entendendo a detecção de pontos-chave da mão baseada em IA#

A IA pode ser utilizada para reconhecer e rastrear movimentos das mãos em dados visuais, identificando pontos-chave como o pulso, as pontas dos dedos e as articulações dos dedos. Uma abordagem, conhecida como pose estimation, ajuda os computadores a compreender o movimento humano mapeando pontos-chave e analisando como eles mudam ao longo do tempo. Isto permite que os sistemas de IA interpretem a postura corporal, os gestos e os padrões de movimento com alta precisão.

Os Computer vision models tornam isto possível ao analisarem imagens ou vídeos para identificar pontos-chave na mão e rastrear o seu movimento. Uma vez mapeados estes pontos, a IA pode reconhecer gestos analisando as relações espaciais entre os pontos-chave e como eles mudam ao longo do tempo.

Por exemplo, se a distância entre o polegar e o dedo indicador diminui, a IA pode interpretar isso como um movimento de pinça. Da mesma forma, rastrear como os pontos-chave se movem em sequências ajuda a identificar gestos manuais complexos e até mesmo a prever movimentos futuros.

Fig 1. Um exemplo de reconhecimento dos pontos-chave numa mão utilizando visão por computador.

Curiosamente, a estimativa de pose para rastreamento de mãos abriu possibilidades empolgantes, desde o controle sem as mãos de dispositivos inteligentes até maior precisão robótica e assistência em aplicações de saúde. À medida que a IA e a visão computacional continuam a evoluir, o rastreamento de mãos provavelmente desempenhará um papel maior em tornar a tecnologia mais interativa, acessível e intuitiva no dia a dia.

Explorando o Ultralytics YOLO11 para estimativa de pose#

Antes de mergulharmos em como criar uma solução para rastreamento de mãos baseado em IA, vamos dar uma olhada mais de perto na estimativa de pose e em como o Ultralytics YOLO11 dá suporte a esta computer vision task. Ao contrário da detecção de objetos padrão, que identifica objetos inteiros, a estimativa de pose concentra-se na detecção de pontos de referência principais - como articulações, membros ou bordas - para analisar movimentos e postura.

Especificamente, o Ultralytics YOLO11 foi projetado para estimativa de pose em tempo real. Ao aproveitar métodos tanto top-down quanto bottom-up, ele detecta pessoas de forma eficiente e estima pontos-chave em uma única etapa, superando modelos anteriores em velocidade e precisão.

De fábrica, o Ultralytics YOLO11 vem pré-treinado no COCO-Pose dataset e pode reconhecer pontos-chave no corpo humano, incluindo cabeça, ombros, cotovelos, pulsos, quadris, joelhos e tornozelos.

Fig 2. Utilizar o YOLO11 para a estimativa de pose humana.

Além da estimativa de pose humana, o Ultralytics YOLO11 pode ser treinado de forma personalizada para detectar pontos-chave em uma variedade de objetos, tanto animados quanto inanimados. Essa flexibilidade torna o YOLO11 uma excelente opção para uma ampla gama de aplicações.

Uma visão geral do conjunto de dados de Pontos-Chave da Mão#

O primeiro passo para treinar um modelo de forma personalizada é recolher dados e anotá-los ou encontrar um conjunto de dados existente que se adeqúe às necessidades do projeto. Por exemplo, o conjunto de dados Hand Keypoints é um bom ponto de partida para treinar modelos de visão por IA para rastreio de mãos e estimativa de pose. Com 26.768 imagens anotadas, elimina a necessidade de rotulagem manual.

Ele pode ser usado para treinar modelos como o Ultralytics YOLO11 para aprender rapidamente como detectar e rastrear movimentos das mãos. O conjunto de dados inclui 21 pontos-chave por mão, cobrindo o pulso, dedos e articulações. Além disso, as anotações do conjunto de dados foram geradas com o Google MediaPipe, uma ferramenta para desenvolver soluções alimentadas por IA para processamento de mídia em tempo real, garantindo uma detecção de pontos-chave precisa e confiável.

Fig 3. Os 21 pontos-chave incluídos no conjunto de dados Hand Keypoints.

Usar um conjunto de dados estruturado como este economiza tempo e permite que os desenvolvedores foquem no treinamento e ajuste fino de seus modelos em vez de coletar e rotular dados. De fato, o conjunto de dados já está dividido em subconjuntos de treinamento (18.776 imagens) e validação (7.992 imagens), facilitando a avaliação do desempenho do modelo.

Como treinar o Ultralytics YOLO11 para estimativa de pose de mãos#

Treinar o YOLO11 para a estimativa de pose de mãos é um processo direto, especialmente com o Ultralytics Python package, que facilita a configuração e o treino do modelo. Uma vez que o conjunto de dados Hand Keypoints já é suportado no pipeline de treino, pode ser utilizado de imediato sem formatação extra, poupando tempo e esforço.

Veja como funciona o processo de treinamento:

• Configurar o ambiente: O primeiro passo é instalar o pacote Python da Ultralytics.
• Load the Hand Keypoints dataset: O Ultralytics YOLO11 suporta este dataset nativamente, para que possa ser baixado e preparado automaticamente.
• Use a pre-trained model: Podes começar com um modelo de estimativa de pose do Ultralytics YOLO11 pré-treinado, o que ajuda a melhorar a precisão e acelera o processo de treinamento.
• Treinar o modelo: O modelo aprende a detectar e rastrear pontos-chave da mão passando por vários ciclos de treinamento.
• Monitorar o desempenho: O pacote Ultralytics também fornece ferramentas integradas para rastrear métricas principais como precisão e perda, ajudando a garantir que o modelo melhore com o tempo.
• Guardar e implementar: Uma vez treinado, o modelo pode ser exportado e utilizado para aplicações de rastreio de mãos em tempo real.

Avaliando seu modelo treinado de forma personalizada#

Ao passar pelas etapas de criação de um modelo personalizado, você notará que monitorar o desempenho é essencial. Juntamente com o rastreamento do progresso durante o treinamento, avaliar o modelo posteriormente é crucial para garantir que ele detecte e rastreie os pontos-chave da mão com precisão.

Performance metrics chave como a precisão, os valores de perda e a precisão média média (mAP) ajudam a avaliar o desempenho do modelo. O pacote Python da Ultralytics fornece ferramentas integradas para visualizar resultados e comparar previsões com anotações reais, tornando mais fácil detetar áreas de melhoria.

Para entender melhor o desempenho do modelo, você pode verificar gráficos de avaliação como curvas de perda, gráficos de precisão-recall e matrizes de confusão, que são gerados automaticamente nos logs de treinamento.

Esses gráficos ajudam a identificar problemas como overfitting (quando o modelo memoriza dados de treinamento, mas tem dificuldades com novos dados) ou underfitting (quando o modelo não aprende padrões bem o suficiente para performar com precisão) e orientam ajustes para melhorar a precisão. Além disso, testar o modelo em novas imagens ou vídeos é importante para ver quão bem ele funciona em cenários do mundo real.

Aplicações de soluções de rastreamento de mãos impulsionadas por IA#

De seguida, vamos explorar algumas das aplicações mais impactantes da hand keypoints estimation with Ultralytics YOLO11.

Reconhecimento de gestos em tempo real com o Ultralytics YOLO11#

Digamos que poderias ajustar o volume da tua TV simplesmente acenando com a mão ou navegar num sistema de casa inteligente com um simples gesto no ar. O reconhecimento de gestos em tempo real alimentado pelo Ultralytics YOLO11 torna estas interações sem toque possíveis ao detetar com precisão os movimentos das mãos em tempo real.

Isto funciona utilizando AI cameras para rastrear pontos-chave na tua mão e interpretar gestos como comandos. Câmeras de detecção de profundidade, sensores infravermelhos ou até webcams comuns capturam os movimentos das mãos, enquanto o Ultralytics YOLO11 pode processar os dados para reconhecer diferentes gestos. Por exemplo, um sistema desse tipo pode distinguir entre um deslize para mudar uma música, um gesto de pinça para ampliar ou um movimento circular para ajustar o volume.

Detecção de pontos-chave da mão baseada em IA para reconhecimento de língua de sinais#

As soluções de IA para rastreamento de mãos podem apoiar a comunicação fluida entre uma pessoa surda e alguém que não sabe língua de sinais. Por exemplo, dispositivos inteligentes integrados com câmeras e Ultralytics YOLO11 podem ser usados para traduzir instantaneamente a língua de sinais em texto ou fala.

Graças a avanços como o Ultralytics YOLO11, as ferramentas de tradução de língua de sinais estão a tornar-se mais precisas e acessíveis. Isto impacta aplicações como tecnologia assistiva, serviços de tradução ao vivo e plataformas educacionais. A IA pode ajudar a preencher lacunas de comunicação e promover a inclusão em locais de trabalho, escolas e espaços públicos.

Visão computacional para rastreamento de mãos: Melhorando experiências de AR e VR#

Já alguma vez jogaste um jogo de realidade virtual (VR) onde podias agarrar objetos sem usar um comando? O rastreio de mãos potenciado por visão por computador torna isto possível ao permitir que os utilizadores interajam de forma natural em ambientes de augmented reality (AR) e VR.

Fig 4. O rastreio de mãos é uma parte fundamental das aplicações de AR e VR.

Com a estimativa de pontos-chave da mão usando modelos como o Ultralytics YOLO11, a IA rastreia movimentos em tempo real, permitindo gestos como pinçar, agarrar e deslizar. Isso melhora jogos, treinamentos virtuais e colaboração remota, tornando as interações mais intuitivas. À medida que a tecnologia de rastreamento de mãos melhora, a AR e a VR parecerão ainda mais imersivas e realistas.

Principais pontos#

A estimativa de pontos-chave da mão com Ultralytics YOLO11 está tornando as soluções de rastreamento de mãos impulsionadas por IA mais acessíveis e confiáveis. Do reconhecimento de gestos em tempo real à interpretação de língua de sinais e aplicações de AR/VR, a visão computacional está abrindo novas possibilidades na interação humano-computador.

Além disso, processos simplificados de treinamento personalizado e ajuste fino estão ajudando desenvolvedores a construir modelos eficientes para vários usos no mundo real. À medida que a tecnologia de visão computacional evolui, podemos esperar ainda mais inovações em áreas como saúde, robótica, jogos e segurança.

Envolve-te com our community e explora os avanços em IA no nosso GitHub repository. Descobre o impacto de AI in manufacturing e computer vision in healthcare através das nossas páginas de soluções. Explora our licensing plans e começa a tua jornada na IA hoje mesmo!