Mejora de la estimación de puntos clave de la mano con Ultralytics YOLO11

Recientemente, los intérpretes de lengua de signos en la Super Bowl han llamado mucho la atención. Cuando los ves cantar la canción de tu artista favorito en la televisión, puedes entenderles si conoces la lengua de signos porque tu cerebro procesa los movimientos de sus manos. Pero, ¿y si un ordenador pudiera hacer lo mismo? Gracias a las soluciones de seguimiento de manos basadas en IA, es posible que las máquinas sigan e interpreten los movimientos de las manos con una precisión impresionante.

En el núcleo de estas soluciones se encuentra la visión artificial, una subárea de la IA que permite a las máquinas procesar y entender la información visual. Al analizar imágenes y vídeos, la IA de visión les ayuda a detectar objetos, seguir movimientos y reconocer gestos complejos con una precisión notable.

Por ejemplo, los modelos de visión artificial como Ultralytics YOLO11 pueden entrenarse para detectar y analizar puntos clave de la mano en tiempo real mediante la estimación de poses. De este modo, estos modelos pueden utilizarse en aplicaciones como el reconocimiento de gestos, la traducción de lengua de signos y las interacciones de AR/VR.

En este artículo, exploraremos cómo YOLO11 permite el seguimiento de manos basado en IA, los conjuntos de datos utilizados para el entrenamiento y cómo realizar un entrenamiento personalizado de un modelo para la estimación de la pose de la mano. También veremos aplicaciones en el mundo real. ¡Empecemos!

Link to this sectionComprender la detección de puntos clave de la mano basada en IA#

La IA puede utilizarse para reconocer y seguir los movimientos de la mano en datos visuales identificando puntos clave como la muñeca, las puntas de los dedos y las articulaciones de los dedos. Un enfoque, conocido como estimación de poses, ayuda a los ordenadores a entender el movimiento humano mediante el mapeo de puntos clave y el análisis de cómo cambian con el tiempo. Esto permite a los sistemas de IA interpretar la postura corporal, los gestos y los patrones de movimiento con gran precisión.

Los modelos de visión artificial hacen esto posible al analizar imágenes o vídeos para identificar puntos clave en la mano y seguir su movimiento. Una vez mapeados estos puntos, la IA puede reconocer gestos analizando las relaciones espaciales entre los puntos clave y cómo cambian con el tiempo.

Por ejemplo, si la distancia entre el pulgar y el dedo índice disminuye, la IA puede interpretarlo como un movimiento de pinza. De forma similar, el seguimiento de cómo se mueven los puntos clave en secuencias ayuda a identificar gestos complejos con las manos e incluso a predecir futuros movimientos.

Fig 1. Un ejemplo de reconocimiento de los puntos clave en una mano mediante visión artificial.

Curiosamente, la estimación de poses para el seguimiento de manos ha abierto posibilidades apasionantes, desde el control manos libres de dispositivos inteligentes hasta una mayor precisión robótica y asistencia en aplicaciones sanitarias. A medida que la IA y la visión artificial sigan evolucionando, el seguimiento de manos probablemente desempeñará un papel más importante para hacer la tecnología más interactiva, accesible e intuitiva en la vida cotidiana.

Link to this sectionExploración de YOLO11 para la estimación de poses#

Antes de profundizar en cómo crear una solución para el seguimiento de manos basado en IA, echemos un vistazo más de cerca a la estimación de poses y cómo YOLO11 admite esta tarea de visión artificial. A diferencia de la detección de objetos estándar, que identifica objetos completos, la estimación de poses se centra en la detección de puntos clave (landmarks) —como articulaciones, extremidades o bordes— para analizar el movimiento y la postura.

Concretamente, Ultralytics YOLO11 está diseñado para la estimación de poses en tiempo real. Al aprovechar métodos tanto de arriba a abajo (top-down) como de abajo a arriba (bottom-up), detecta eficazmente personas y estima puntos clave en un solo paso, superando a modelos anteriores en velocidad y precisión.

De forma predeterminada, YOLO11 viene preentrenado en el conjunto de datos COCO-Pose y puede reconocer puntos clave en el cuerpo humano, incluyendo la cabeza, hombros, codos, muñecas, caderas, rodillas y tobillos.

Fig 2. Uso de YOLO11 para la estimación de la pose humana.

Más allá de la estimación de la pose humana, YOLO11 puede entrenarse de forma personalizada para detectar puntos clave en una variedad de objetos, tanto animados como inanimados. Esta flexibilidad hace de YOLO11 una excelente opción para una amplia gama de aplicaciones.

Link to this sectionUna visión general del conjunto de datos Hand Keypoints#

El primer paso en el entrenamiento personalizado de un modelo es recopilar datos y anotarlos, o bien encontrar un conjunto de datos existente que se ajuste a las necesidades del proyecto. Por ejemplo, el conjunto de datos Hand Keypoints es un buen punto de partida para entrenar modelos de IA de visión para el seguimiento de manos y la estimación de poses. Con 26,768 imágenes anotadas, elimina la necesidad de etiquetado manual.

Puede utilizarse para entrenar modelos como Ultralytics YOLO11 para que aprendan rápidamente a detectar y seguir los movimientos de la mano. El conjunto de datos incluye 21 puntos clave por mano, cubriendo la muñeca, los dedos y las articulaciones. Además, las anotaciones del conjunto de datos se generaron con Google MediaPipe, una herramienta para desarrollar soluciones basadas en IA para el procesamiento de medios en tiempo real, lo que garantiza una detección precisa y fiable de los puntos clave.

Fig 3. Los 21 puntos clave incluidos en el conjunto de datos Hand Keypoints.

Utilizar un conjunto de datos estructurado como este ahorra tiempo y permite a los desarrolladores centrarse en entrenar y ajustar sus modelos en lugar de recopilar y etiquetar datos. De hecho, el conjunto de datos ya está dividido en subconjuntos de entrenamiento (18,776 imágenes) y validación (7,992 imágenes), lo que facilita la evaluación del rendimiento del modelo.

Link to this sectionCómo entrenar YOLO11 para la estimación de la pose de la mano#

Entrenar YOLO11 para la estimación de la pose de la mano es un proceso sencillo, especialmente con el paquete Python de Ultralytics, que facilita la configuración y el entrenamiento del modelo. Dado que el conjunto de datos Hand Keypoints ya es compatible con la canalización de entrenamiento, se puede utilizar directamente sin necesidad de formato adicional, ahorrando tiempo y esfuerzo.

Así es como funciona el proceso de entrenamiento:

• Configura el entorno: El primer paso es instalar el paquete Python de Ultralytics.
• Carga el conjunto de datos Hand Keypoints: YOLO11 admite este conjunto de datos de forma nativa, por lo que puede descargarse y prepararse automáticamente.
• Usa un modelo preentrenado: Puedes empezar con un modelo de estimación de poses YOLO11 preentrenado, lo que ayuda a mejorar la precisión y acelera el proceso de entrenamiento.
• Entrena el modelo: El modelo aprende a detectar y seguir los puntos clave de la mano realizando múltiples ciclos de entrenamiento.
• Monitorea el rendimiento: El paquete Ultralytics también proporciona herramientas integradas para seguir métricas clave como la precisión y la pérdida, ayudando a garantizar que el modelo mejore con el tiempo.
• Guarda y despliega: Una vez entrenado, el modelo puede ser exportado y utilizado para aplicaciones de seguimiento de manos en tiempo real.

Link to this sectionEvaluación de tu modelo entrenado de forma personalizada#

Al seguir los pasos para crear un modelo personalizado, notarás que monitorear el rendimiento es esencial. Junto con el seguimiento del progreso durante el entrenamiento, evaluar el modelo posteriormente es crucial para asegurarse de que detecta y sigue con precisión los puntos clave de la mano.

Métricas de rendimiento clave como la precisión, los valores de pérdida y la precisión media promedio (mAP) ayudan a evaluar el rendimiento del modelo. El paquete Python de Ultralytics proporciona herramientas integradas para visualizar los resultados y comparar las predicciones con las anotaciones reales, facilitando la identificación de áreas de mejora.

Para entender mejor el rendimiento del modelo, puedes comprobar gráficos de evaluación como curvas de pérdida, gráficos de precisión-recuerdo y matrices de confusión, que se generan automáticamente en los registros de entrenamiento.

Estos gráficos ayudan a identificar problemas como el sobreajuste (overfitting) (cuando el modelo memoriza los datos de entrenamiento pero tiene dificultades con datos nuevos) o el subajuste (underfitting) (cuando el modelo no logra aprender los patrones lo suficientemente bien como para funcionar con precisión) y guían los ajustes para mejorar la precisión. Además, probar el modelo en nuevas imágenes o vídeos es importante para ver cómo funciona en escenarios del mundo real.

Link to this sectionAplicaciones de las soluciones de seguimiento de manos basadas en IA#

A continuación, recorramos algunas de las aplicaciones más impactantes de la estimación de puntos clave de la mano con Ultralytics YOLO11.

Link to this sectionReconocimiento de gestos en tiempo real con YOLO11#

Imagina que pudieras ajustar el volumen de tu televisor simplemente moviendo la mano o navegar por un sistema doméstico inteligente con un simple gesto en el aire. El reconocimiento de gestos en tiempo real impulsado por YOLO11 hace posible estas interacciones sin contacto al detectar con precisión los movimientos de la mano en tiempo real.

Esto funciona utilizando cámaras de IA para seguir los puntos clave de tu mano e interpretar los gestos como comandos. Las cámaras de detección de profundidad, los sensores infrarrojos o incluso las cámaras web normales capturan los movimientos de la mano, mientras que YOLO11 puede procesar los datos para reconocer diferentes gestos. Por ejemplo, dicho sistema puede distinguir entre un deslizamiento para cambiar de canción, una pinza para hacer zoom o un movimiento circular para ajustar el volumen.

Link to this sectionDetección de puntos clave de la mano basada en IA para el reconocimiento de lengua de signos#

Las soluciones de IA para el seguimiento de manos pueden facilitar una comunicación fluida entre una persona sorda y alguien que no conoce la lengua de signos. Por ejemplo, los dispositivos inteligentes integrados con cámaras y YOLO11 pueden utilizarse para traducir instantáneamente la lengua de signos a texto o voz.

Gracias a avances como YOLO11, las herramientas de traducción de lengua de signos son cada vez más precisas y accesibles. Esto afecta a aplicaciones como la tecnología de asistencia, los servicios de traducción en directo y las plataformas educativas. La IA puede ayudar a salvar las brechas de comunicación y promover la inclusión en lugares de trabajo, escuelas y espacios públicos.

Link to this sectionVisión artificial para el seguimiento de manos: Mejorando las experiencias de AR y VR#

¿Alguna vez has jugado a un videojuego de realidad virtual (VR) donde podías agarrar objetos sin usar un mando? El seguimiento de manos impulsado por visión artificial hace esto posible al permitir a los usuarios interactuar de forma natural en entornos de realidad aumentada (AR) y VR.

Fig 4. El seguimiento de manos es una parte clave de las aplicaciones de AR y VR.

Con la estimación de puntos clave de la mano usando modelos como Ultralytics YOLO11, la IA sigue los movimientos en tiempo real, permitiendo gestos como pellizcar, agarrar y deslizar. Esto mejora los juegos, la formación virtual y la colaboración remota, haciendo que las interacciones sean más intuitivas. A medida que la tecnología de seguimiento de manos mejore, la AR y la VR se sentirán aún más inmersivas y realistas.

Link to this sectionConclusiones clave#

La estimación de puntos clave de la mano con Ultralytics YOLO11 está haciendo que las soluciones de seguimiento de manos basadas en IA sean más accesibles y fiables. Desde el reconocimiento de gestos en tiempo real hasta la interpretación de la lengua de signos y las aplicaciones de AR/VR, la visión artificial está abriendo nuevas posibilidades en la interacción humano-ordenador.

Además, los procesos optimizados de entrenamiento personalizado y ajuste fino están ayudando a los desarrolladores a crear modelos eficientes para diversos usos en el mundo real. A medida que evolucione la tecnología de visión artificial, podemos esperar aún más innovaciones en áreas como la sanidad, la robótica, los juegos y la seguridad.

Interactúa con nuestra comunidad y explora los avances en IA en nuestro repositorio de GitHub. Descubre el impacto de la IA en la fabricación y la visión artificial en la atención sanitaria a través de nuestras páginas de soluciones. ¡Explora nuestros planes de licencias y comienza tu viaje en IA hoy mismo!