Point Tracking

El seguimiento de puntos es una tarea fundamental en visión artificial que consiste en estimar y seguir el movimiento de puntos específicos y localizados (como píxeles o características distintivas) a través de fotogramas consecutivos en una secuencia de vídeo a lo largo del tiempo. A diferencia del seguimiento de objetos, que supervisa la posición general de entidades completas utilizando cuadros delimitadores o máscaras de segmentación, el seguimiento de puntos se centra en un nivel de detalle mucho más fino, a nivel de subpíxel. Al identificar y mantener correspondencias entre estas ubicaciones precisas, los sistemas de inteligencia artificial (IA) pueden realizar tareas avanzadas de comprensión de vídeo que requieren un análisis de movimiento complejo.

Link to this sectionEntender el seguimiento de puntos#

Seguir puntos con precisión en una escena dinámica es un reto importante. Los puntos seguidos suelen sufrir oclusiones —cuando los objetos bloquean temporalmente la vista de la cámara— o pueden abandonar completamente el campo de visión. Además, las variaciones en la iluminación, los cambios de perspectiva y los movimientos rápidos pueden alterar drásticamente el aspecto visual de un punto.

Históricamente, los algoritmos clásicos como el flujo óptico de Lucas-Kanade se encargaban de estas tareas. Sin embargo, los enfoques modernos utilizan potentes arquitecturas de aprendizaje profundo. Innovaciones recientes de organizaciones de investigación importantes, como TAPIR de Google DeepMind (Tracking Any Point with Initialization and Refinement) y CoTracker3 de Meta AI, han revolucionado el campo. A diferencia de los métodos más antiguos que seguían puntos de forma independiente, modelos como CoTracker3 utilizan transformers para realizar el seguimiento conjunto de múltiples puntos, aprovechando las dependencias físicas entre puntos que pertenecen al mismo objeto. Estos modelos de vanguardia también utilizan etiquetado pseudoetiquetado en vídeos del mundo real para entrenar sistemas de alta precisión con requisitos de datos drásticamente reducidos.

Link to this sectionSeguimiento de puntos frente a tareas relacionadas#

Aunque están estrechamente relacionados, el seguimiento de puntos difiere significativamente de otras tareas de visión artificial:

• Seguimiento de objetos: Asigna identificadores únicos a objetos completos (por ejemplo, una persona o un coche) y los sigue. Se basa en gran medida en modelos de detección de objetos como Ultralytics YOLO26.
• Estimación de pose: Rastrea puntos clave semánticos específicos (como las articulaciones humanas) en lugar de píxeles arbitrarios. Aunque comparte similitudes con el seguimiento de puntos, la estimación de pose requiere una comprensión semántica del marco estructural del objeto.

Link to this sectionAplicaciones en el mundo real#

El seguimiento de puntos es un facilitador crítico para diversas aplicaciones avanzadas:

• Reconstrucción 3D y estructura a partir del movimiento (SfM): Al rastrear características específicas a través de diferentes ángulos de cámara o fotogramas de vídeo, los sistemas pueden inferir la profundidad y construir reconstrucciones 3D precisas de entornos, lo cual es esencial para el mapeo de realidad aumentada (RA).
• Robótica y navegación autónoma: Los vehículos y robots autónomos utilizan el seguimiento de puntos (a menudo mediante odometría visual) para entender su movimiento en relación con su entorno, calcular trayectorias y navegar con seguridad a través de entornos dinámicos complejos.
• Edición de vídeo y efectos especiales: El software profesional de efectos visuales (VFX) depende en gran medida del seguimiento de puntos para estabilizar imágenes inestables o anclar sin problemas imágenes generadas por ordenador (CGI) a objetos en movimiento en una escena física.

Link to this sectionSeguimiento de puntos clave con Ultralytics#

Mientras que los rastreadores de puntos generales siguen píxeles visuales arbitrarios, puedes rastrear puntos clave estructurales específicos (como los ojos, los hombros o las muñecas de una persona) utilizando las capacidades de seguimiento de pose del paquete ultralytics. El modelo YOLO26 recomendado proporciona un seguimiento de puntos clave de alta velocidad y extremo a extremo, ideal para el análisis de movimiento.

from ultralytics import YOLO

# Load the recommended YOLO26 pose model for keypoint tracking
model = YOLO("yolo26n-pose.pt")

# Perform pose tracking on a video stream to follow human keypoints over time
results = model.track(source="video.mp4", stream=True)

# Iterate through the stream to process temporal keypoint tracking data
for frame_result in results:
    # Each keypoint maintains its association across frames
    print(f"Tracked {len(frame_result.keypoints)} human skeletons in current frame.")

Al implementar flujos de trabajo de visión artificial a escala, la Plataforma Ultralytics ofrece una solución optimizada para el etiquetado de datos, el entrenamiento de modelos y una implementación fluida, garantizando un rendimiento fiable en diversos entornos de borde y en la nube.