La IA de visión permite la tecnología de reconocimiento de gestos sin contacto

A medida que evoluciona la tecnología, también evoluciona nuestra forma de interactuar con ella. Las primeras máquinas dependían del esfuerzo físico y de controles mecánicos, mientras que la informática moderna introdujo las pantallas táctiles y la entrada de voz.

Ahora, el reconocimiento de gestos forma parte del siguiente paso: utiliza movimientos naturales como interfaz de usuario. Un simple saludo con la mano, un gesto de pinza o una señal rápida pueden controlar aplicaciones, pantallas y máquinas.

Esta interacción sin contacto puede funcionar gracias a la visión artificial, una rama de la IA que ayuda a las máquinas a ver e interpretar lo que capta una cámara. Los sistemas de IA visual pueden integrarse en smartphones, cascos de realidad virtual (VR) y realidad aumentada (AR), coches y dispositivos domésticos inteligentes, donde los gestos pueden sustituir a los toques, clics y botones para ofrecer una experiencia de usuario más fluida.

El control sin contacto es cada vez más habitual en la vida cotidiana. En los lugares de trabajo y los espacios compartidos, evitar el contacto físico puede mejorar la higiene y la seguridad. Muchos productos digitales también están apostando por la interacción sin usar las manos, y los gestos ofrecen una forma sencilla e intuitiva de controlar dispositivos sin tocarlos.

En este artículo, veremos qué es el reconocimiento de gestos, cómo la visión artificial mejora su precisión y en qué aplicaciones del mundo real se utiliza.

¿Qué es el reconocimiento de gestos?#

El reconocimiento de gestos es una tecnología de detección que permite a las máquinas entender gestos humanos, como señales con las manos o movimientos corporales, y convertirlos en acciones digitales. En lugar de tocar una pantalla o pulsar botones, los usuarios pueden controlar dispositivos con movimientos sencillos y naturales.

Esto hace que las interacciones resulten más intuitivas y explica por qué la entrada basada en gestos se está adoptando en muchos sistemas de control basados en aprendizaje automático e IA. En concreto, el reconocimiento de gestos con las manos es una de las formas más utilizadas de reconocimiento de gestos y suele basarse en la visión artificial.

En pocas palabras, una solución de IA visual puede detectar manos en la imagen de una cámara, seguir cómo se mueven o cambian de forma y comparar esos patrones con un gesto conocido para activar una acción en pantalla.

Un elemento fundamental de estas soluciones es un modelo de visión artificial, entrenado con conjuntos de datos de imágenes o vídeos etiquetados que muestran distintos gestos con las manos. Con datos de entrenamiento diversos y una evaluación rigurosa, el modelo puede generalizar mejor entre distintos usuarios, condiciones de iluminación y fondos, lo que le ayuda a reconocer gestos con mayor fiabilidad en situaciones reales.

Fig. 1. Datos utilizados para entrenar un modelo de visión artificial que detecte puntos clave de los gestos (Fuente)

Tipos de gestos e interacción persona-ordenador#

Antes de analizar más a fondo el papel de la visión artificial en el reconocimiento de gestos, demos un paso atrás y veamos qué tipos de gestos suelen reconocer estos sistemas.

En la mayoría de los casos, los gestos se dividen en dos categorías: estáticos y dinámicos. Los gestos estáticos son posturas fijas de la mano, como el pulgar hacia arriba, la señal de stop o el signo de la paz. Como no implican movimiento, a menudo basta con un único fotograma para reconocerlos.

Por otro lado, los gestos dinámicos implican movimiento a lo largo del tiempo, como saludar con la mano o deslizarla por el aire. Para reconocerlos, un sistema de IA visual debe analizar varios fotogramas para seguir el movimiento de la mano y entender la dirección y el momento del gesto.

El papel de los algoritmos de visión artificial en el reconocimiento de gestos#

Los sistemas de reconocimiento de gestos se pueden crear de distintas maneras. Algunos utilizan sensores ponibles, como guantes o dispositivos de seguimiento sujetos a la muñeca, para capturar los movimientos de la mano.

Estas configuraciones pueden ser precisas, pero no siempre son prácticas. Hay que llevar, configurar, cargar y mantener los dispositivos ponibles, y pueden resultar limitantes en espacios compartidos o en el uso diario.

Por eso, muchos sistemas modernos recurren a la visión artificial. Con cámaras RGB estándar y sensores de profundidad o de tiempo de vuelo, los dispositivos pueden capturar en tiempo real los movimientos de las manos y el cuerpo, sin que los usuarios tengan que llevar dispositivos adicionales. Esto hace que el reconocimiento de gestos basado en visión sea ideal para teléfonos inteligentes, coches, televisores inteligentes y cascos de realidad aumentada y virtual.

Por ejemplo, los modelos de visión artificial como Ultralytics YOLO11 y el más reciente Ultralytics YOLO26 admiten tareas como la detección y el seguimiento de objetos, y la estimación de pose. Estas capacidades se pueden utilizar para detectar las manos en cada fotograma, seguir sus movimientos a lo largo del tiempo y situar puntos clave, como las yemas de los dedos y las articulaciones. Así se pueden reconocer gestos como levantar la palma para pausar, pellizcar para ampliar, deslizar para navegar por los menús o señalar para seleccionar un elemento en realidad aumentada y virtual.

Tareas de visión artificial utilizadas para reconocer interacciones entre personas y máquinas#

Aquí tienes un resumen de algunas de las principales tareas de visión artificial utilizadas para el reconocimiento de gestos:

• Detección de objetos: Esta tarea se utiliza para localizar las manos en una imagen o un fotograma de vídeo, normalmente dibujando recuadros delimitadores a su alrededor. Ayuda al sistema a centrarse en la zona del gesto e ignorar los detalles innecesarios del fondo.
• Seguimiento de objetos: A partir de la detección de objetos, esta tarea sigue las manos detectadas a lo largo de varios fotogramas y mantiene su identidad con el paso del tiempo. Resulta especialmente útil para los gestos dinámicos, en los que el movimiento y la dirección son fundamentales.
• Estimación de pose: En lugar de centrarse en los recuadros delimitadores, la estimación de pose identifica puntos clave de la mano, como las yemas de los dedos, los nudillos y la muñeca. Estos puntos de referencia forman un sencillo esqueleto de la mano que capta la posición de los dedos y los movimientos sutiles, lo que permite clasificar los gestos con más detalle. Conjuntos de datos como Hand Keypoints proporcionan puntos de referencia de las manos etiquetados para el entrenamiento.
• Segmentación de instancias: Esta tarea busca separar cada mano del fondo a nivel de píxel mediante la generación de una máscara para cada mano visible. Resulta útil en escenas con muchos elementos, cuando las manos se solapan o cuando aparecen varias manos en el fotograma.

Muchas soluciones de IA visual combinan estas tareas en una misma canalización. Por ejemplo, un sistema podría empezar con la detección de objetos para localizar las manos y después utilizar el seguimiento para seguirlas en distintos fotogramas cuando se trate de gestos dinámicos.

Si el gesto depende de la posición de los dedos, la estimación de pose puede añadir puntos clave para obtener más detalle, mientras que la segmentación de instancias puede ayudar a aislar cada mano con mayor precisión en escenas con muchos elementos o cuando se solapan varias manos. En conjunto, estos pasos proporcionan información tanto sobre la ubicación como sobre el movimiento, lo que hace que el reconocimiento de gestos sea más preciso y fiable.

Cómo funciona el reconocimiento de gestos basado en visión#

Ahora que entendemos mejor las tareas de visión artificial en las que se basa el reconocimiento de gestos, veamos paso a paso cómo funciona un sistema basado en visión.

Un sistema típico empieza capturando vídeo con una cámara y, en ocasiones, también datos de profundidad si el dispositivo lo admite. A continuación, se preprocesan los fotogramas mediante técnicas de procesamiento de imágenes para que el modelo pueda manejarlos de forma más uniforme, por ejemplo, cambiando su tamaño, estabilizándolos o reduciendo el ruido y el desenfoque por movimiento.

A continuación, el sistema identifica las manos en el fotograma mediante detección o segmentación y las sigue a lo largo del tiempo. Si la aplicación necesita más detalle, también puede realizar una estimación de pose para extraer puntos clave, como las yemas de los dedos y las articulaciones. Con esta información, el modelo clasifica el gesto, ya sea una pose de un solo fotograma, como el pulgar hacia arriba, o un patrón de movimiento, como deslizar la mano.

Por último, el gesto reconocido se asigna a una acción de la interfaz, como desplazarse, ampliar, seleccionar un elemento, ajustar el volumen o controlar interacciones de AR y VR. La canalización concreta puede variar: las aplicaciones más sencillas utilizan menos pasos, mientras que las más complejas combinan la detección, el seguimiento y la estimación de pose para lograr una mayor precisión.

Aplicaciones del reconocimiento de gestos basado en visión#

A continuación, repasemos algunas aplicaciones reales del reconocimiento de gestos basado en visión.

Interacción mediante gestos con los sistemas de infoentretenimiento de los coches#

El reconocimiento de gestos empieza a aparecer en las interfaces de los vehículos inteligentes, sobre todo en los sistemas de infoentretenimiento. Es una forma práctica de controlar ciertas funciones con movimientos sencillos de la mano, que puede reducir las veces que los conductores tienen que alcanzar pantallas táctiles o botones físicos. Por ejemplo, un gesto rápido permite ajustar el volumen, gestionar llamadas o recorrer los menús en pantalla.

Fig. 2. Un conductor hace gestos con las manos dentro del alcance de detección de un sistema de infoentretenimiento (Fuente)

Interacción mediante gestos en videojuegos#

En los videojuegos y las experiencias inmersivas, el control mediante gestos está cambiando la forma en que las personas interactúan con los mundos virtuales. En lugar de depender únicamente de mandos o joysticks, los jugadores pueden utilizar movimientos naturales de las manos para recorrer menús, recoger objetos virtuales, controlar personajes o activar acciones en un juego.

Fig. 3. Jugar a videojuegos con gestos de las manos (Fuente).

Este tipo de interacción sin contacto puede resultar más fluida, sobre todo en AR y VR. Por eso, el seguimiento de las manos y el control mediante gestos se están convirtiendo en funciones habituales de los cascos de VR y realidad mixta.

Control fluido mediante gestos de dispositivos domésticos inteligentes#

Los dispositivos domésticos inteligentes, como televisores inteligentes, altavoces y luces conectadas, empiezan a admitir el control mediante gestos para realizar acciones rápidas sin contacto. Con un simple movimiento de la mano, los usuarios pueden encender las luces, ajustar el volumen o activar comandos básicos sin tener que alcanzar interruptores o mandos a distancia.

Por ejemplo, en sistemas de entretenimiento doméstico, las cámaras de profundidad integradas o conectadas pueden reconocer gestos como deslizar la mano, señalar o levantarla. Esto puede facilitar la navegación por los menús, el cambio de ajustes o la confirmación de selecciones desde el otro lado de la habitación. En segundo plano, los modelos de visión artificial procesan la imagen de la cámara en tiempo real para detectar e interpretar estos gestos.

Control de robots mediante gestos con inteligencia artificial#

Imagina una situación en una fábrica en la que una persona tiene que guiar a un robot mientras transporta piezas, lleva guantes o se mantiene a una distancia segura de equipos en movimiento. En estos entornos, tener que acceder a botones o a un panel de control puede ser lento e incluso peligroso.

En cambio, los sistemas de control mediante gestos pueden ofrecer una forma más práctica de interactuar con estas máquinas sin usar las manos. Resultan especialmente útiles para los robots colaborativos, o cobots, diseñados para trabajar junto a las personas.

En lugar de acercarse a un panel de control, los operarios pueden utilizar señales sencillas con las manos para iniciar, detener o guiar un robot a distancia. Esto reduce la dependencia de los controles físicos y puede favorecer flujos de trabajo más seguros en la planta de producción.

Los sistemas avanzados de control basados en visión, habilitados por modelos de aprendizaje profundo o algoritmos de aprendizaje, también pueden ir más allá de los comandos básicos. Pueden interpretar movimientos más sutiles de la mano y responder con fluidez a pequeños cambios de dirección, lo que permite un control y una automatización más precisos.

Fig. 4. Una mano robótica analiza el gesto de un usuario (Fuente)

Ventajas e inconvenientes de la tecnología de reconocimiento de gestos#

Estas son algunas de las principales ventajas de utilizar la tecnología de reconocimiento de gestos:

• Mayor accesibilidad: Los gestos pueden ofrecer una alternativa a los usuarios a quienes les resulta difícil utilizar teclados, pantallas táctiles o mandos.
• Funciona a distancia: Los gestos se pueden reconocer desde el otro lado de una habitación, algo útil para televisores inteligentes, quioscos y dispositivos domésticos.
• Flexible en distintos dispositivos: Se pueden utilizar conjuntos de gestos similares en teléfonos, coches, pantallas inteligentes y cascos de AR o VR, lo que permite mantener una interacción coherente.

Al mismo tiempo, hay varios retos reales que pueden afectar a la precisión y la coherencia. Estos son algunos factores que conviene tener en cuenta:

• Problemas de iluminación y calidad de la cámara: La poca luz, los reflejos, las sombras o las cámaras de baja resolución pueden reducir el rendimiento del reconocimiento. Esto, a su vez, puede afectar al control por movimiento.
• Variaciones entre usuarios: Cada persona realiza los gestos de forma distinta y las diferencias en el tamaño de las manos, la flexibilidad de los dedos o los accesorios pueden afectar a la precisión.
• Limitaciones del movimiento rápido: los gestos rápidos pueden provocar desenfoque por movimiento o hacer que el modelo no detecte fotogramas clave, especialmente con cámaras de baja frecuencia de fotogramas.

Conclusiones clave#

La tecnología de reconocimiento de gestos ha salido de los laboratorios de investigación y ahora forma parte de los dispositivos e innovaciones cotidianos. En concreto, la visión artificial permite controlar sin contacto videojuegos, robots, hogares inteligentes y sistemas de automoción. A medida que mejoren los modelos de visión, probablemente será más fácil crear estas interfaces sin contacto y se utilizarán de forma más generalizada.

Descubre nuestra comunidad y nuestro repositorio de GitHub para obtener más información sobre los modelos de visión artificial. Explora nuestras páginas de soluciones para conocer aplicaciones como la visión artificial en robótica y la visión artificial en logística. Consulta nuestras opciones de licencia y empieza a crear tu propio modelo de IA visual.