Point Tracking

Le suivi de points est une tâche fondamentale en computer vision qui consiste à estimer et à suivre le mouvement de points spécifiques et localisés (tels que des pixels ou des caractéristiques distinctes) à travers des images consécutives dans une séquence vidéo au fil du temps. Contrairement au object tracking, qui surveille la position générale d'entités entières à l'aide de bounding boxes ou de segmentation masks, le suivi de points se concentre sur un niveau de détail beaucoup plus fin, au sous-pixel. En identifiant et en maintenant des correspondances entre ces emplacements précis, les systèmes d'artificial intelligence (AI) peuvent réaliser des tâches avancées de video understanding qui nécessitent une analyse de mouvement complexe.

Comprendre le suivi de points#

Le suivi précis de points dans une scène dynamique est extrêmement difficile. Les points suivis souffrent fréquemment d'occlusions — où des objets bloquent temporairement la vue de la caméra — ou peuvent quitter complètement le field of view. De plus, les variations d'éclairage, les changements de perspective et les mouvements rapides peuvent altérer radicalement l'apparence visuelle d'un point.

Historiquement, des algorithmes classiques tels que le Lucas-Kanade optical flow géraient ces tâches. Cependant, les approches modernes utilisent de puissantes architectures de deep learning. De récentes innovations émanant d'organisations de recherche majeures, telles que le Google DeepMind's TAPIR (Tracking Any Point with Initialization and Refinement) et le Meta AI's CoTracker3, ont révolutionné le domaine. Contrairement aux anciennes méthodes qui suivaient les points de manière indépendante, des modèles comme CoTracker3 utilisent des transformers pour effectuer un suivi conjoint de plusieurs points, en exploitant les dépendances physiques entre les points qui appartiennent au même objet. Ces modèles de pointe utilisent également le pseudo-labeling sur des vidéos du monde réel pour entraîner des systèmes extrêmement précis avec des besoins en données considérablement réduits.

Suivi de points vs tâches connexes#

Bien qu'étroitement lié, le suivi de points diffère considérablement des autres tâches de vision par ordinateur :

• Object Tracking: Attribue des identifiants uniques à des objets entiers (par exemple, une personne ou une voiture) et les suit. Il repose largement sur des modèles d'object detection tels que Ultralytics YOLO26.
• Pose Estimation: Suit des keypoints sémantiques spécifiques (comme les articulations humaines) plutôt que des pixels arbitraires. Bien qu'il partage des similitudes avec le suivi de points, la pose estimation nécessite une compréhension sémantique du cadre structurel de l'objet.

Applications concrètes#

Le suivi de points est un moteur essentiel pour diverses applications avancées :

• 3D Reconstruction and Structure-from-Motion (SfM): En suivant des caractéristiques spécifiques à travers différents angles de caméra ou images vidéo, les systèmes peuvent déduire la profondeur et construire des reconstructions 3D précises d'environnements, ce qui est essentiel pour le cartographie en augmented reality (AR).
• Robotics and Autonomous Navigation: Les véhicules autonomes et les robots utilisent le suivi de points (souvent via l'visual odometry) pour comprendre leur mouvement par rapport à leur environnement, calculer des trajectories et naviguer en toute sécurité dans des environnements dynamiques complexes.
• Video Editing and Special Effects: Les logiciels professionnels d'effets visuels (VFX) reposent largement sur le suivi de points pour stabiliser des séquences instables ou ancrer de manière transparente des computer-generated imagery (CGI) à des objets en mouvement dans une scène physique.

Suivi de points clés avec Ultralytics#

Alors que les traqueurs de points généraux suivent des pixels visuels arbitraires, tu peux suivre des keypoints structurels spécifiques (comme les yeux, les épaules ou les poignets d'une personne) en utilisant les capacités de suivi de pose du paquet ultralytics. Le modèle recommandé YOLO26 offre un suivi de keypoints haute vitesse de bout en bout, idéal pour l'analyse de mouvement.

from ultralytics import YOLO

# Load the recommended YOLO26 pose model for keypoint tracking
model = YOLO("yolo26n-pose.pt")

# Perform pose tracking on a video stream to follow human keypoints over time
results = model.track(source="video.mp4", stream=True)

# Iterate through the stream to process temporal keypoint tracking data
for frame_result in results:
    # Each keypoint maintains its association across frames
    print(f"Tracked {len(frame_result.keypoints)} human skeletons in current frame.")

Lors du déploiement de flux de travail de computer vision à grande échelle, la Ultralytics Platform offre une solution rationalisée pour la data annotation, l'entraînement de modèles et un deployment transparent, garantissant des performances fiables dans divers environnements périphériques et cloud.