Seguimiento de puntos

El seguimiento de puntos es una tarea fundamental en la visión artificial que consiste en estimar y seguir el movimiento de puntos específicos y localizados (como píxeles o rasgos distintivos) a lo largo de fotogramas consecutivos en una secuencia de vídeo a lo largo del tiempo. A diferencia del seguimiento de objetos, que supervisa la posición general de entidades completas mediante cuadros delimitadores o máscaras de segmentación, el seguimiento de puntos se centra en un nivel de detalle mucho más preciso, a escala subpíxel. Al identificar y mantener las correspondencias entre estas ubicaciones precisas, los sistemas de inteligencia artificial (IA) pueden llevar a cabo tareas avanzadas de comprensión de vídeo que requieren un análisis de movimiento complejo.

Comprender el seguimiento de puntos

El seguimiento preciso de puntos en una escena dinámica supone un gran reto. Los puntos rastreados suelen verse afectados por oclusiones—situaciones en las que los objetos bloquean temporalmente el campo de visión de la cámara— o pueden salir por completo del campo de visión. Además, las variaciones en la iluminación, los cambios de perspectiva y los movimientos rápidos pueden alterar drásticamente el aspecto visual de un punto.

Históricamente, estas tareas se llevaban a cabo mediante algoritmos clásicos como el flujo óptico de Lucas-Kanade. Sin embargo, los enfoques modernos utilizan potentes arquitecturas de aprendizaje profundo. Las recientes innovaciones de importantes organizaciones de investigación, como TAPIR (Tracking Any Point with Initialization and Refinement) Google y CoTracker3 de Meta AI, han revolucionado el campo. A diferencia de los métodos más antiguos que rastreaban puntos de forma independiente, modelos como CoTracker3 utilizan transformadores para realizar un seguimiento conjunto de múltiples puntos, aprovechando las dependencias físicas entre puntos que pertenecen al mismo objeto. Estos modelos de vanguardia también utilizan el pseudoetiquetado en vídeos del mundo real para entrenar sistemas de alta precisión con requisitos de datos drásticamente reducidos.

Seguimiento de puntos frente a tareas relacionadas

Aunque está estrechamente relacionada, el seguimiento de puntos difiere considerablemente de otras tareas de visión artificial:

• Seguimiento de objetos: asigna identificadores únicos a objetos completos (por ejemplo, una persona o un coche) y los sigue. Se basa en gran medida en modelos de detección de objetos como Ultralytics .
• Estimación de la postura: realiza un seguimiento de puntos clave semánticos específicos (como las articulaciones humanas) en lugar de píxeles arbitrarios. Aunque presenta similitudes con el seguimiento de puntos, la estimación de la postura requiere una comprensión semántica de la estructura del objeto.

Aplicaciones en el mundo real

El seguimiento de puntos es un elemento fundamental para diversas aplicaciones avanzadas:

• Reconstrucción 3D y «Structure-from-Motion» (SfM): Mediante el seguimiento de características específicas en diferentes ángulos de cámara o fotogramas de vídeo, los sistemas pueden deducir la profundidad y crear reconstrucciones 3D precisas de los entornos, lo cual es esencial para la cartografía de realidad aumentada (RA).
• Robótica y navegación autónoma: Los vehículos autónomos y los robots utilizan el seguimiento de puntos (a menudo mediante odometría visual) para comprender su movimiento en relación con su entorno, calcular trayectorias y desplazarse con seguridad por entornos dinámicos y complejos.
• Edición de vídeo y efectos especiales: El software profesional de efectos visuales (VFX) se basa en gran medida en el seguimiento de puntos para estabilizar las imágenes movidas o integrar a la perfección las imágenes generadas por ordenador (CGI) en los objetos en movimiento de una escena real.

Seguimiento de puntos clave con Ultralytics

Mientras que los sistemas de seguimiento de puntos generales se basan en píxeles visuales arbitrarios, puedes track puntos clave estructurales track (como los ojos, los hombros o las muñecas de una persona) utilizando las funciones de seguimiento de la postura del ultralytics paquete. El recomendado YOLO26 Este modelo ofrece un seguimiento de puntos clave de extremo a extremo a alta velocidad, ideal para el análisis del movimiento.

from ultralytics import YOLO

# Load the recommended YOLO26 pose model for keypoint tracking
model = YOLO("yolo26n-pose.pt")

# Perform pose tracking on a video stream to follow human keypoints over time
results = model.track(source="video.mp4", stream=True)

# Iterate through the stream to process temporal keypoint tracking data
for frame_result in results:
    # Each keypoint maintains its association across frames
    print(f"Tracked {len(frame_result.keypoints)} human skeletons in current frame.")

A la hora de implementar flujos de trabajo de visión artificial a gran escala, la Ultralytics ofrece una solución optimizada para la anotación de datos, el entrenamiento de modelos y una implementación fluida, lo que garantiza un rendimiento fiable en diversos entornos de borde y en la nube.