Point Tracking

El seguimiento de puntos es una tarea fundamental en la visión artificial que consiste en estimar y seguir el movimiento de puntos específicos y localizados (como pixels o características distintivas) a lo largo de fotogramas consecutivos en una secuencia de vídeo con el tiempo. A diferencia del object tracking, que supervisa la posición general de entidades enteras mediante bounding boxes o segmentation masks, el seguimiento de puntos se centra en un nivel de detalle mucho más preciso y subpíxel. Al identificar y mantener correspondencias entre estas ubicaciones precisas, los sistemas de artificial intelligence (AI) pueden lograr tareas avanzadas de video understanding que requieren un análisis de movimiento complejo.

Entender el seguimiento de puntos#

Realizar un seguimiento preciso de los puntos en una escena dinámica es muy complejo. Los puntos seguidos sufren con frecuencia occlusions —donde los objetos bloquean temporalmente la vista de la cámara— o pueden salir por completo del field of view. Además, las variaciones en la iluminación, los cambios de perspectiva y los movimientos rápidos pueden alterar drásticamente la apariencia visual de un punto.

Históricamente, los algoritmos clásicos como el Lucas-Kanade optical flow se encargaban de estas tareas. Sin embargo, los enfoques modernos utilizan potentes arquitecturas de deep learning. Innovaciones recientes de importantes organizaciones de investigación, como Google DeepMind's TAPIR (Tracking Any Point with Initialization and Refinement) y Meta AI's CoTracker3, han revolucionado este campo. A diferencia de los métodos más antiguos que seguían los puntos de forma independiente, modelos como CoTracker3 utilizan transformers para realizar un seguimiento conjunto de múltiples puntos, aprovechando las dependencias físicas entre puntos que pertenecen al mismo objeto. Estos modelos de última generación también utilizan pseudo-labeling en vídeos del mundo real para entrenar sistemas de gran precisión con requisitos de datos drásticamente reducidos.

Seguimiento de puntos frente a tareas relacionadas#

Aunque están estrechamente relacionados, el seguimiento de puntos difiere significativamente de otras tareas de visión artificial:

• Object Tracking: Asigna identificadores únicos a objetos enteros (por ejemplo, una persona o un coche) y los sigue. Se basa en gran medida en modelos de object detection como Ultralytics YOLO26.
• Pose Estimation: Realiza un seguimiento de puntos clave semánticos específicos (como las articulaciones humanas) en lugar de píxeles arbitrarios. Aunque comparte similitudes con el seguimiento de puntos, la estimación de postura requiere una comprensión semántica del marco estructural del objeto.

Aplicaciones en el mundo real#

El seguimiento de puntos es un facilitador crítico para diversas aplicaciones avanzadas:

• 3D Reconstruction and Structure-from-Motion (SfM): Al realizar el seguimiento de características específicas a través de diferentes ángulos de cámara o fotogramas de vídeo, los sistemas pueden inferir la profundidad y construir reconstrucciones 3D precisas de entornos, lo cual es esencial para el mapeo de augmented reality (AR).
• Robotics and Autonomous Navigation: Los vehículos autónomos y los robots utilizan el seguimiento de puntos (a menudo mediante visual odometry) para comprender su movimiento en relación con su entorno, calcular trajectories y navegar de forma segura por entornos dinámicos complejos.
• Video Editing and Special Effects: El software profesional de efectos visuales (VFX) depende en gran medida del seguimiento de puntos para estabilizar metraje movido o anclar de forma fluida computer-generated imagery (CGI) a objetos en movimiento dentro de una escena física.

Seguimiento de puntos clave con Ultralytics#

Mientras que los seguidores de puntos generales siguen píxeles visuales arbitrarios, puedes realizar un seguimiento de puntos clave estructurales específicos (como los ojos, los hombros o las muñecas de una persona) utilizando las capacidades de seguimiento de posturas del paquete ultralytics. El modelo recomendado YOLO26 ofrece un seguimiento de puntos clave de extremo a extremo y alta velocidad, ideal para el análisis de movimiento.

from ultralytics import YOLO

# Load the recommended YOLO26 pose model for keypoint tracking
model = YOLO("yolo26n-pose.pt")

# Perform pose tracking on a video stream to follow human keypoints over time
results = model.track(source="video.mp4", stream=True)

# Iterate through the stream to process temporal keypoint tracking data
for frame_result in results:
    # Each keypoint maintains its association across frames
    print(f"Tracked {len(frame_result.keypoints)} human skeletons in current frame.")

Cuando implementes flujos de trabajo de visión artificial a escala, Ultralytics Platform ofrece una solución optimizada para la data annotation, el entrenamiento de modelos y un deployment fluido, garantizando un rendimiento fiable en diversos entornos perimetrales y en la nube.