Melhorar a estimativa de pontos-chave das mãos com o Ultralytics YOLO11

Recentemente, os intérpretes de língua gestual no Super Bowl têm recebido muita atenção. Quando os vês cantar a música do teu artista favorito na televisão, consegues compreendê-los se souberes língua gestual, porque o teu cérebro processa os movimentos das mãos. Mas e se um computador pudesse fazer o mesmo? Graças às soluções de rastreamento de mãos orientadas por IA, é possível que as máquinas rastreiem e interpretem os movimentos das mãos com uma precisão impressionante.

No centro destas soluções está a visão computacional, um subcampo da IA que permite às máquinas processar e compreender informação visual. Ao analisar imagens e vídeos, a IA de visão ajuda-as a detetar objetos, rastrear movimentos e reconhecer gestos complexos com uma precisão notável.

Por exemplo, modelos de visão computacional como o Ultralytics YOLO11 podem ser treinados para detetar e analisar pontos-chave das mãos em tempo real usando estimativa de pose. Dessa forma, estes modelos podem ser utilizados em aplicações como reconhecimento de gestos, tradução de língua gestual e interações de RA/RV.

Neste artigo, vamos explorar como o Ultralytics YOLO11 permite o rastreamento de mãos baseado em IA, os conjuntos de dados utilizados no treino e como fazer o treino personalizado de um modelo para estimativa da pose das mãos. Também veremos aplicações no mundo real. Vamos começar!

Compreender a deteção de pontos-chave das mãos baseada em IA#

A IA pode ser utilizada para reconhecer e rastrear movimentos das mãos em dados visuais, identificando pontos-chave como o pulso, as pontas dos dedos e as articulações dos dedos. Uma abordagem conhecida como estimativa de pose ajuda os computadores a compreender o movimento humano, mapeando pontos-chave e analisando como estes mudam ao longo do tempo. Isto permite que os sistemas de IA interpretem a postura corporal, os gestos e os padrões de movimento com elevada precisão.

Os modelos de visão computacional tornam isto possível ao analisar imagens ou vídeos para identificar pontos-chave na mão e rastrear o seu movimento. Depois de estes pontos serem mapeados, a IA pode reconhecer gestos analisando as relações espaciais entre os pontos-chave e a forma como mudam ao longo do tempo.

Por exemplo, se a distância entre o polegar e o indicador diminuir, a IA pode interpretá-la como um movimento de pinça. Da mesma forma, rastrear a forma como os pontos-chave se movem em sequências ajuda a identificar gestos complexos das mãos e até a prever movimentos futuros.

Fig. 1. Um exemplo de reconhecimento dos pontos-chave de uma mão usando visão computacional.

Curiosamente, a estimativa de pose para o rastreamento de mãos abriu possibilidades interessantes, desde o controlo sem as mãos de dispositivos inteligentes até ao aumento da precisão robótica e à assistência em aplicações de saúde. À medida que a IA e a visão computacional continuam a evoluir, é provável que o rastreamento de mãos desempenhe um papel cada vez maior em tornar a tecnologia mais interativa, acessível e intuitiva no dia a dia.

Explorar o Ultralytics YOLO11 para estimativa de pose#

Antes de vermos como criar uma solução para o rastreamento de mãos baseado em IA, vamos analisar mais de perto a estimativa de pose e a forma como o Ultralytics YOLO11 suporta esta tarefa de visão computacional. Ao contrário da deteção de objetos padrão, que identifica objetos inteiros, a estimativa de pose concentra-se na deteção de pontos de referência importantes — como articulações, membros ou extremidades — para analisar o movimento e a postura.

Especificamente, o Ultralytics YOLO11 foi concebido para a estimativa de pose em tempo real. Ao utilizar métodos top-down e bottom-up, deteta pessoas e estima pontos-chave de forma eficiente num único passo, superando os modelos anteriores em velocidade e precisão.

Pronto a utilizar, o Ultralytics YOLO11 vem pré-treinado no conjunto de dados COCO-Pose e consegue reconhecer pontos-chave no corpo humano, incluindo a cabeça, os ombros, os cotovelos, os pulsos, as ancas, os joelhos e os tornozelos.

Fig. 2. Usar o YOLO11 para estimativa da pose humana.

Para além da estimativa da pose humana, o Ultralytics YOLO11 pode ser treinado de forma personalizada para detetar pontos-chave numa variedade de objetos, animados e inanimados. Esta flexibilidade torna o YOLO11 uma excelente opção para uma vasta gama de aplicações.

Uma visão geral do conjunto de dados Hand Keypoints#

O primeiro passo no treino personalizado de um modelo é recolher dados e anotá-los, ou encontrar um conjunto de dados existente que corresponda às necessidades do projeto. Por exemplo, o conjunto de dados Hand Keypoints é um bom ponto de partida para treinar modelos de IA de visão para rastreamento de mãos e estimativa de pose. Com 26.768 imagens anotadas, elimina a necessidade de etiquetagem manual.

Pode ser utilizado para treinar modelos como o Ultralytics YOLO11, permitindo-lhes aprender rapidamente a detetar e rastrear movimentos das mãos. O conjunto de dados inclui 21 pontos-chave por mão, abrangendo o pulso, os dedos e as articulações. Além disso, as anotações do conjunto de dados foram geradas com o Google MediaPipe, uma ferramenta para desenvolver soluções baseadas em IA para processamento de meios em tempo real, garantindo uma deteção precisa e fiável dos pontos-chave.

Fig. 3. Os 21 pontos-chave incluídos no conjunto de dados Hand Keypoints.

Usar um conjunto de dados estruturado como este poupa tempo e permite que os programadores se concentrem no treino e no ajuste fino dos seus modelos, em vez de recolher e etiquetar dados. Na verdade, o conjunto de dados já está dividido em subconjuntos de treino (18.776 imagens) e validação (7.992 imagens), facilitando a avaliação do desempenho do modelo.

Como treinar o Ultralytics YOLO11 para estimativa da pose das mãos#

Treinar o YOLO11 para estimativa da pose das mãos é um processo simples, especialmente com o pacote Python da Ultralytics, que facilita a configuração e o treino do modelo. Como o conjunto de dados Hand Keypoints já é suportado no pipeline de treino, pode ser utilizado imediatamente sem formatação adicional, poupando tempo e esforço.

Eis como funciona o processo de treino:

• Configurar o ambiente: o primeiro passo é instalar o pacote Python da Ultralytics.
• Carregar o conjunto de dados Hand Keypoints: o Ultralytics YOLO11 suporta este conjunto de dados nativamente, pelo que pode ser transferido e preparado automaticamente.
• Usar um modelo pré-treinado: podes começar com um modelo de estimativa de pose Ultralytics YOLO11 pré-treinado, que ajuda a melhorar a precisão e acelera o processo de treino.
• Treinar o modelo: o modelo aprende a detetar e rastrear pontos-chave das mãos ao passar por vários ciclos de treino.
• Monitorizar o desempenho: o pacote Ultralytics também fornece ferramentas integradas para acompanhar métricas importantes, como a precisão e a perda, ajudando a garantir que o modelo melhora ao longo do tempo.
• Guardar e implementar: depois de treinado, o modelo pode ser exportado e utilizado em aplicações de rastreamento de mãos em tempo real.

Avaliar o teu modelo treinado de forma personalizada#

Ao seguir os passos para criar um modelo personalizado, vais notar que monitorizar o desempenho é essencial. Além de acompanhar o progresso durante o treino, avaliar o modelo posteriormente é crucial para garantir que deteta e rastreia pontos-chave das mãos com precisão.

As principais métricas de desempenho, como a precisão, os valores de perda e a precisão média (mAP), ajudam a avaliar o desempenho do modelo. O pacote Python da Ultralytics fornece ferramentas integradas para visualizar os resultados e comparar as previsões com anotações reais, facilitando a identificação de áreas a melhorar.

Para compreender melhor o desempenho do modelo, podes consultar gráficos de avaliação, como curvas de perda, gráficos de precisão-revocação e matrizes de confusão, que são gerados automaticamente nos registos de treino.

Estes gráficos ajudam a identificar problemas como sobreajuste (quando o modelo memoriza os dados de treino, mas tem dificuldades com dados novos) ou subajuste (quando o modelo não aprende os padrões suficientemente bem para ter um desempenho preciso) e orientam ajustes para melhorar a precisão. Além disso, é importante testar o modelo em novas imagens ou vídeos para verificar o seu desempenho em cenários do mundo real.

Aplicações de soluções de rastreamento de mãos orientadas por IA#

De seguida, vamos analisar algumas das aplicações mais impactantes da estimativa de pontos-chave das mãos com o Ultralytics YOLO11.

Reconhecimento de gestos em tempo real com o Ultralytics YOLO11#

Imagina que podias ajustar o volume da televisão simplesmente acenando com a mão ou navegar num sistema doméstico inteligente com um simples gesto no ar. O reconhecimento de gestos em tempo real com o Ultralytics YOLO11 torna possíveis estas interações sem contacto, detetando com precisão os movimentos das mãos em tempo real.

Isto funciona através de câmaras de IA que rastreiam pontos-chave na tua mão e interpretam os gestos como comandos. Câmaras de deteção de profundidade, sensores de infravermelhos ou até webcams comuns captam os movimentos das mãos, enquanto o Ultralytics YOLO11 processa os dados para reconhecer diferentes gestos. Por exemplo, esse sistema consegue distinguir entre um gesto de deslizar para mudar de música, uma pinça para ampliar ou um movimento circular para ajustar o volume.

Deteção de pontos-chave das mãos baseada em IA para reconhecimento de língua gestual#

As soluções de rastreamento de mãos baseadas em IA podem apoiar uma comunicação fluida entre uma pessoa surda e alguém que não conheça língua gestual. Por exemplo, dispositivos inteligentes integrados com câmaras e o Ultralytics YOLO11 podem ser utilizados para traduzir instantaneamente a língua gestual para texto ou fala.

Graças a avanços como o Ultralytics YOLO11, as ferramentas de tradução de língua gestual estão a tornar-se mais precisas e acessíveis. Isto tem impacto em aplicações como tecnologias de apoio, serviços de tradução em direto e plataformas educativas. A IA pode ajudar a colmatar lacunas de comunicação e promover a inclusão em locais de trabalho, escolas e espaços públicos.

Visão computacional para rastreamento de mãos: melhorar as experiências de RA e RV#

Já jogaste algum jogo de realidade virtual (VR) em que podias agarrar objetos sem usar um comando? O rastreamento de mãos baseado em visão computacional torna isto possível, permitindo que os utilizadores interajam naturalmente em ambientes de realidade aumentada (AR) e VR.

Fig. 4. O rastreamento de mãos é uma parte essencial das aplicações de RA e RV.

Com a estimativa de pontos-chave das mãos usando modelos como o Ultralytics YOLO11, a IA rastreia movimentos em tempo real, permitindo gestos como fazer pinça, agarrar e deslizar. Isto melhora os jogos, o treino virtual e a colaboração remota, tornando as interações mais intuitivas. À medida que a tecnologia de rastreamento de mãos melhora, a RA e a RV tornar-se-ão ainda mais imersivas e realistas.

Principais conclusões#

A estimativa de pontos-chave das mãos com o Ultralytics YOLO11 está a tornar as soluções de rastreamento de mãos orientadas por IA mais acessíveis e fiáveis. Desde o reconhecimento de gestos em tempo real à interpretação de língua gestual e às aplicações de RA/RV, a visão computacional está a abrir novas possibilidades na interação entre humanos e computadores.

Além disso, os processos simplificados de treino personalizado e ajuste fino estão a ajudar os programadores a criar modelos eficientes para várias utilizações no mundo real. À medida que a tecnologia de visão computacional evolui, podemos esperar ainda mais inovações em áreas como a saúde, a robótica, os jogos e a segurança.

Interaja com a nossa comunidade e explore os avanços em AI no nosso repositório do GitHub. Descubra o impacto da AI na indústria e da visão computacional na área da saúde através das nossas páginas de soluções. Explore os nossos planos de licenciamento e comece hoje a sua jornada em AI!