Keypoints

Los puntos clave son puntos específicos con nombre en un objeto, como la muñeca izquierda de una persona, el centro de una rueda de coche o las esquinas de una caja, almacenados como coordenadas de imagen. Un modelo de estimación de pose predice un conjunto fijo de puntos clave para cada objeto que detecta, cada uno con una puntuación de confianza, y las conexiones entre ellos forman un esqueleto que representa la postura y la forma. Los puntos clave señalan las partes de un objeto y ofrecen una descripción más detallada que una caja delimitadora alrededor del objeto entero o una máscara de segmentación de su contorno. «Landmarks» es un sinónimo que se usa sobre todo para las caras.

Definición y etiquetado de puntos clave#

Cada conjunto de datos fija su conjunto y orden de puntos clave. COCO define 17 puntos clave del cuerpo humano: nariz, ojos, orejas, hombros, codos, muñecas, caderas, rodillas y tobillos. Cada etiqueta almacena una coordenada x y otra y, además de un indicador de visibilidad: 0 si no está etiquetado, 1 si está etiquetado pero oculto y 2 si está etiquetado y visible. Otros conjuntos abarcan otros sujetos, como los 21 puntos del conjunto de datos de puntos clave de la mano, el esquema facial de 68 puntos de 300-W, 24 puntos por perro en Dog-Pose o las esquinas de una pieza fabricada. Como el orden tiene significado, la aumentación de datos que voltea una imagen horizontalmente también debe intercambiar cada punto clave izquierdo con su homólogo derecho; de lo contrario, la muñeca izquierda volteada conservaría la etiqueta del otro brazo.

Cómo predicen puntos clave los modelos#

Los modelos de aprendizaje profundo predicen los puntos clave mediante mapas de calor, uno por cada punto, cuyo pico indica su ubicación, o regresando directamente las coordenadas a partir de las características de la imagen. Cada predicción incluye un nivel de confianza que disminuye cuando los puntos clave están ocultos detrás de otra persona, quedan fuera del borde del fotograma o aparecen borrosos por el movimiento, de modo que las aplicaciones pueden ignorar los puntos con poca confianza en lugar de confiar en una conjetura. Las predicciones se puntúan con la similitud de puntos clave de objetos (OKS), que tolera errores mayores en los puntos clave que las personas etiquetan de forma menos coherente, como las caderas, que en otros más precisos, como los ojos.

from ultralytics import YOLO

# Load a YOLO26 pose model that predicts the 17 COCO body keypoints per person
model = YOLO("yolo26n-pose.pt")
results = model("https://ultralytics.com/images/bus.jpg")
keypoints = results[0].keypoints

# COCO order: index 0 is the nose, 9 and 10 are the left and right wrists
for index, name in [(0, "nose"), (9, "left wrist"), (10, "right wrist")]:
    x, y = keypoints.xy[0, index].tolist()
    print(f"{name}: ({x:.0f}, {y:.0f}), confidence {keypoints.conf[0, index]:.2f}")

Cada línea indica un punto clave de la primera persona detectada como posición en píxeles y un nivel de confianza, y keypoints.xyn contiene las mismas posiciones normalizadas con respecto al tamaño de la imagen.

Puntos clave semánticos y puntos de interés#

Los puntos clave de pose son semánticos: el modelo aprende el aspecto de una muñeca izquierda. Los puntos de interés los encuentra un detector, en lugar de definirse de antemano. SIFT (1999) encuentra manchas que se mantienen estables con cambios de escala y rotación; ORB (2011) detecta esquinas con rapidez suficiente para la cartografía en tiempo real, y SuperPoint (2018) aprende a encontrar puntos repetibles. Un descriptor calculado alrededor de cada punto permite que emparejadores como LightGlue enlacen el mismo punto entre imágenes para el registro de imágenes, la reconstrucción 3D y el SLAM visual; además, el seguimiento de puntos sigue estos puntos a lo largo del vídeo.

Medición con puntos clave#

Los puntos clave convierten una imagen en geometría: dos puntos clave dan una distancia, tres dan un ángulo articular y una secuencia de fotogramas da una velocidad. La solución de Ultralytics para la monitorización de entrenamientos cuenta las repeticiones de ejercicios de esta forma; de manera predeterminada, mide el ángulo del codo derecho a partir de los puntos clave 6, 8 y 10 (hombro, codo y muñeca derechos) de un modelo de pose YOLO26 para cada persona a la que se realiza el seguimiento:

• Análisis deportivo: Los ángulos articulares y la velocidad de las extremidades obtenidos a partir de puntos clave describen fotograma a fotograma un swing de golf, la zancada de un velocista o el movimiento de lanzamiento de un pitcher.
• Monitorización del conductor: Los landmarks de los ojos y la boca permiten medir cuánto tiempo permanecen cerrados los ojos y con qué frecuencia bosteza el conductor, dos señales de somnolencia.
• Comportamiento animal: DeepLabCut realiza un seguimiento de puntos definidos por el usuario en animales de laboratorio, como la posición de las patas y el hocico, y alcanzó una precisión de nivel humano con unos 200 fotogramas etiquetados.