Mejora de la estimación de puntos clave de la mano con Ultralytics YOLO11

Recientemente, los intérpretes de lengua de signos de la Super Bowl han recibido mucha atención. Cuando los ves cantar en televisión la canción de tu artista favorito, puedes entenderlos si conoces la lengua de signos porque tu cerebro procesa los movimientos de sus manos. Pero ¿y si un ordenador pudiera hacer lo mismo? Gracias a las soluciones de seguimiento de manos basadas en IA, las máquinas pueden seguir e interpretar los movimientos de las manos con una precisión impresionante.

En el núcleo de estas soluciones se encuentra la visión artificial, un subcampo de la IA que permite a las máquinas procesar y comprender información visual. Al analizar imágenes y vídeos, la IA de visión les ayuda a detectar objetos, seguir movimientos y reconocer gestos complejos con una precisión extraordinaria.

Por ejemplo, los modelos de visión artificial como Ultralytics YOLO11 pueden entrenarse para detectar y analizar puntos clave de las manos en tiempo real mediante la estimación de poses. De este modo, estos modelos pueden utilizarse en aplicaciones como el reconocimiento de gestos, la traducción de la lengua de signos y las interacciones de RA/RV.

En este artículo, veremos cómo Ultralytics YOLO11 permite realizar el seguimiento de manos basado en IA, qué conjuntos de datos se utilizan para el entrenamiento y cómo entrenar un modelo con datos personalizados para la estimación de poses de las manos. También analizaremos aplicaciones del mundo real. ¡Empecemos!

Comprender la detección de puntos clave de las manos basada en IA#

La IA puede utilizarse para reconocer y seguir los movimientos de las manos en datos visuales mediante la identificación de puntos clave como la muñeca, las puntas de los dedos y las articulaciones de los dedos. Un enfoque conocido como estimación de poses ayuda a los ordenadores a comprender el movimiento humano mediante el mapeo de puntos clave y el análisis de cómo cambian con el tiempo. Esto permite a los sistemas de IA interpretar la postura corporal, los gestos y los patrones de movimiento con gran precisión.

Los modelos de visión artificial hacen esto posible al analizar imágenes o vídeos para identificar puntos clave en la mano y seguir su movimiento. Una vez mapeados estos puntos, la IA puede reconocer gestos mediante el análisis de las relaciones espaciales entre los puntos clave y de cómo cambian con el tiempo.

Por ejemplo, si disminuye la distancia entre el pulgar y el índice, la IA puede interpretarlo como un movimiento de pinza. Del mismo modo, seguir cómo se mueven los puntos clave en secuencias ayuda a identificar gestos complejos de las manos e incluso a predecir movimientos futuros.

Fig. 1. Un ejemplo del reconocimiento de los puntos clave de una mano mediante visión artificial.

Curiosamente, la estimación de poses para el seguimiento de manos ha abierto posibilidades interesantes, desde el control manos libres de dispositivos inteligentes hasta una mayor precisión robótica y la asistencia en aplicaciones sanitarias. A medida que la IA y la visión artificial sigan evolucionando, es probable que el seguimiento de manos desempeñe un papel cada vez más importante para hacer que la tecnología sea más interactiva, accesible e intuitiva en la vida cotidiana.

Explorar Ultralytics YOLO11 para la estimación de poses#

Antes de profundizar en cómo crear una solución para el seguimiento de manos basado en IA, veamos más de cerca la estimación de poses y cómo Ultralytics YOLO11 admite esta tarea de visión artificial. A diferencia de la detección de objetos estándar, que identifica objetos completos, la estimación de poses se centra en detectar puntos de referencia clave —como articulaciones, extremidades o bordes— para analizar el movimiento y la postura.

En concreto, Ultralytics YOLO11 está diseñado para la estimación de poses en tiempo real. Al aprovechar métodos tanto descendentes como ascendentes, detecta personas y estima los puntos clave de forma eficiente en un solo paso, superando a modelos anteriores en velocidad y precisión.

De serie, Ultralytics YOLO11 viene preentrenado con el conjunto de datos COCO-Pose y puede reconocer puntos clave del cuerpo humano, incluidos la cabeza, los hombros, los codos, las muñecas, las caderas, las rodillas y los tobillos.

Fig. 2. Uso de YOLO11 para la estimación de poses humanas.

Más allá de la estimación de poses humanas, Ultralytics YOLO11 puede entrenarse con datos personalizados para detectar puntos clave en diversos objetos, tanto animados como inanimados. Esta flexibilidad convierte a YOLO11 en una excelente opción para una amplia variedad de aplicaciones.

Descripción general del conjunto de datos Hand Keypoints#

El primer paso para entrenar un modelo con datos personalizados es recopilar datos y anotarlos, o encontrar un conjunto de datos existente que se ajuste a las necesidades del proyecto. Por ejemplo, el conjunto de datos Hand Keypoints es un buen punto de partida para entrenar modelos de IA de visión destinados al seguimiento de manos y la estimación de poses. Con 26.768 imágenes anotadas, elimina la necesidad de etiquetarlas manualmente.

Puede utilizarse para entrenar modelos como Ultralytics YOLO11 para que aprendan rápidamente a detectar y seguir los movimientos de las manos. El conjunto de datos incluye 21 puntos clave por mano, que cubren la muñeca, los dedos y las articulaciones. Además, las anotaciones del conjunto de datos se generaron con Google MediaPipe, una herramienta para desarrollar soluciones basadas en IA destinadas al procesamiento de medios en tiempo real, lo que garantiza una detección de puntos clave precisa y fiable.

Fig. 3. Los 21 puntos clave incluidos en el conjunto de datos Hand Keypoints.

Utilizar un conjunto de datos estructurado como este ahorra tiempo y permite a los desarrolladores centrarse en entrenar y ajustar sus modelos en lugar de recopilar y etiquetar datos. De hecho, el conjunto de datos ya está dividido en subconjuntos de entrenamiento (18.776 imágenes) y validación (7.992 imágenes), lo que facilita evaluar el rendimiento del modelo.

Cómo entrenar Ultralytics YOLO11 para la estimación de poses de las manos#

Entrenar YOLO11 para la estimación de poses de las manos es un proceso sencillo, especialmente con el paquete de Python de Ultralytics, que facilita la configuración y el entrenamiento del modelo. Como el conjunto de datos Hand Keypoints ya es compatible con la canalización de entrenamiento, puede utilizarse directamente sin formato adicional, lo que ahorra tiempo y esfuerzo.

Así funciona el proceso de entrenamiento:

• Configura el entorno: El primer paso es instalar el paquete de Python de Ultralytics.
• Carga el conjunto de datos Hand Keypoints: Ultralytics YOLO11 admite este conjunto de datos de forma nativa, por lo que puede descargarse y prepararse automáticamente.
• Usa un modelo preentrenado: Puedes empezar con un modelo preentrenado de estimación de poses de Ultralytics YOLO11, que ayuda a mejorar la precisión y acelera el proceso de entrenamiento.
• Entrena el modelo: El modelo aprende a detectar y seguir los puntos clave de las manos mediante varios ciclos de entrenamiento.
• Supervisa el rendimiento: El paquete de Ultralytics también proporciona herramientas integradas para seguir métricas clave como la precisión y la pérdida, lo que ayuda a garantizar que el modelo mejore con el tiempo.
• Guarda y despliega: Una vez entrenado, el modelo puede exportarse y utilizarse en aplicaciones de seguimiento de manos en tiempo real.

Evaluar tu modelo entrenado con datos personalizados#

Al seguir los pasos para crear un modelo personalizado, observarás que supervisar el rendimiento es esencial. Además de seguir el progreso durante el entrenamiento, evaluar el modelo después es crucial para asegurarte de que detecta y sigue los puntos clave de las manos con precisión.

Las métricas de rendimiento clave, como la precisión, los valores de pérdida y la precisión media promedio (mAP), ayudan a evaluar el rendimiento del modelo. El paquete de Python de Ultralytics proporciona herramientas integradas para visualizar los resultados y comparar las predicciones con las anotaciones reales, lo que facilita detectar áreas de mejora.

Para comprender mejor el rendimiento del modelo, puedes consultar gráficos de evaluación como las curvas de pérdida, los gráficos de precisión-recall y las matrices de confusión, que se generan automáticamente en los registros de entrenamiento.

Estos gráficos ayudan a identificar problemas como el sobreajuste (cuando el modelo memoriza los datos de entrenamiento, pero tiene dificultades con datos nuevos) o el infraajuste (cuando el modelo no aprende los patrones lo suficientemente bien como para rendir con precisión), y orientan los ajustes necesarios para mejorar la precisión. Además, es importante probar el modelo con imágenes o vídeos nuevos para comprobar cómo funciona en situaciones del mundo real.

Aplicaciones de las soluciones de seguimiento de manos basadas en IA#

A continuación, repasaremos algunas de las aplicaciones más relevantes de la estimación de puntos clave de las manos con Ultralytics YOLO11.

Reconocimiento de gestos en tiempo real con Ultralytics YOLO11#

Imagina que pudieras ajustar el volumen del televisor con solo mover la mano o navegar por un sistema doméstico inteligente con un simple gesto en el aire. El reconocimiento de gestos en tiempo real basado en Ultralytics YOLO11 hace posibles estas interacciones sin contacto al detectar con precisión los movimientos de las manos en tiempo real.

Esto funciona mediante cámaras de IA que siguen los puntos clave de tu mano e interpretan los gestos como comandos. Las cámaras con detección de profundidad, los sensores infrarrojos o incluso las cámaras web normales capturan los movimientos de las manos, mientras que Ultralytics YOLO11 puede procesar los datos para reconocer distintos gestos. Por ejemplo, un sistema así puede distinguir entre un deslizamiento para cambiar de canción, un gesto de pinza para ampliar la imagen o un movimiento circular para ajustar el volumen.

Detección de puntos clave de las manos basada en IA para el reconocimiento de la lengua de signos#

Las soluciones de seguimiento de manos basadas en IA pueden facilitar una comunicación fluida entre una persona sorda y alguien que no conoce la lengua de signos. Por ejemplo, los dispositivos inteligentes integrados con cámaras y Ultralytics YOLO11 pueden utilizarse para traducir al instante la lengua de signos a texto o voz.

Gracias a avances como Ultralytics YOLO11, las herramientas de traducción de la lengua de signos son cada vez más precisas y accesibles. Esto repercute en aplicaciones como la tecnología de asistencia, los servicios de traducción en directo y las plataformas educativas. La IA puede ayudar a salvar las barreras de comunicación y fomentar la inclusión en lugares de trabajo, centros educativos y espacios públicos.

Visión artificial para el seguimiento de manos: mejora de las experiencias de RA y RV#

¿Has jugado alguna vez a un juego de realidad virtual (VR) en el que podías coger objetos sin utilizar un mando? El seguimiento de manos basado en visión artificial lo hace posible al permitir a los usuarios interactuar de forma natural en entornos de realidad aumentada (AR) y VR.

Fig. 4. El seguimiento de manos es una parte fundamental de las aplicaciones de RA y RV.

Con la estimación de puntos clave de las manos mediante modelos como Ultralytics YOLO11, la IA sigue los movimientos en tiempo real y permite gestos como pellizcar, agarrar y deslizar. Esto mejora los videojuegos, la formación virtual y la colaboración remota, haciendo que las interacciones sean más intuitivas. A medida que mejore la tecnología de seguimiento de manos, la RA y la RV resultarán aún más inmersivas y realistas.

Conclusiones clave#

La estimación de puntos clave de las manos con Ultralytics YOLO11 está haciendo que las soluciones de seguimiento de manos basadas en IA sean más accesibles y fiables. Desde el reconocimiento de gestos en tiempo real hasta la interpretación de la lengua de signos y las aplicaciones de RA/RV, la visión artificial está abriendo nuevas posibilidades en la interacción entre personas y ordenadores.

Además, los procesos optimizados de entrenamiento con datos personalizados y ajuste fino ayudan a los desarrolladores a crear modelos eficientes para diversos usos del mundo real. A medida que evolucione la tecnología de visión artificial, podemos esperar aún más innovaciones en ámbitos como la sanidad, la robótica, los videojuegos y la seguridad.

Participa en nuestra comunidad y explora los avances en IA en nuestro repositorio de GitHub. Descubre el impacto de la IA en la fabricación y de la visión por ordenador en la sanidad a través de nuestras páginas de soluciones. Explora nuestros planes de licencias y comienza hoy tu trayectoria en IA.