Point Tracking

Le suivi de points est une tâche fondamentale en vision par ordinateur qui consiste à estimer et à suivre le mouvement de points spécifiques et localisés (tels que des pixels ou des caractéristiques distinctes) à travers des images consécutives dans une séquence vidéo au fil du temps. Contrairement au suivi d'objets, qui surveille la position générale d'entités entières à l'aide de boîtes englobantes ou de masques de segmentation, le suivi de points se concentre sur un niveau de détail beaucoup plus fin, au niveau du sous-pixel. En identifiant et en maintenant les correspondances entre ces emplacements précis, les systèmes d'intelligence artificielle (IA) peuvent accomplir des tâches avancées de compréhension vidéo qui nécessitent une analyse complexe des mouvements.

Link to this sectionComprendre le suivi de points#

Suivre précisément des points dans une scène dynamique est un défi de taille. Les points suivis souffrent fréquemment d'occlusions — où des objets bloquent temporairement la vue de la caméra — ou peuvent quitter entièrement le champ de vision. De plus, les variations de luminosité, les changements de perspective et les mouvements rapides peuvent altérer considérablement l'apparence visuelle d'un point.

Historiquement, des algorithmes classiques comme le flux optique Lucas-Kanade géraient ces tâches. Cependant, les approches modernes utilisent de puissantes architectures de deep learning. Des innovations récentes provenant d'organisations de recherche majeures, telles que TAPIR de Google DeepMind (Tracking Any Point with Initialization and Refinement) et CoTracker3 de Meta AI, ont révolutionné le domaine. Contrairement aux anciennes méthodes qui suivaient les points indépendamment, des modèles comme CoTracker3 utilisent des transformers pour effectuer un suivi conjoint de plusieurs points, en tirant parti des dépendances physiques entre les points qui appartiennent au même objet. Ces modèles de pointe utilisent également le pseudo-étiquetage sur des vidéos réelles pour entraîner des systèmes très précis avec des besoins en données considérablement réduits.

Link to this sectionSuivi de points vs tâches connexes#

Bien qu'étroitement lié, le suivi de points diffère considérablement des autres tâches de vision par ordinateur :

• Suivi d'objets : Assigne des identifiants uniques à des objets entiers (par exemple, une personne ou une voiture) et les suit. Il repose largement sur des modèles de détection d'objets comme Ultralytics YOLO26.
• Estimation de pose : Suit des points clés sémantiques spécifiques (comme les articulations humaines) plutôt que des pixels arbitraires. Bien qu'elle partage des similitudes avec le suivi de points, l'estimation de pose nécessite une compréhension sémantique du cadre structurel de l'objet.

Link to this sectionApplications concrètes#

Le suivi de points est un moteur essentiel pour diverses applications avancées :

• Reconstruction 3D et Structure-from-Motion (SfM) : En suivant des caractéristiques spécifiques à travers différents angles de caméra ou images vidéo, les systèmes peuvent déduire la profondeur et construire des reconstructions 3D précises des environnements, ce qui est essentiel pour la cartographie en réalité augmentée (RA).
• Robotique et navigation autonome : Les véhicules autonomes et les robots utilisent le suivi de points (souvent via l'odométrie visuelle) pour comprendre leur mouvement par rapport à leur environnement, calculer des trajectoires et naviguer en toute sécurité dans des environnements dynamiques complexes.
• Montage vidéo et effets spéciaux : Les logiciels professionnels d'effets visuels (VFX) s'appuient fortement sur le suivi de points pour stabiliser les séquences tremblantes ou ancrer de manière transparente des images de synthèse (CGI) à des objets en mouvement dans une scène réelle.

Link to this sectionSuivi de points clés avec Ultralytics#

Alors que les trackers de points généraux suivent des pixels visuels arbitraires, tu peux suivre des points clés structurels spécifiques (comme les yeux, les épaules ou les poignets d'une personne) en utilisant les capacités de suivi de pose du package ultralytics. Le modèle YOLO26 recommandé fournit un suivi de points clés haute vitesse et de bout en bout, idéal pour l'analyse de mouvement.

from ultralytics import YOLO

# Load the recommended YOLO26 pose model for keypoint tracking
model = YOLO("yolo26n-pose.pt")

# Perform pose tracking on a video stream to follow human keypoints over time
results = model.track(source="video.mp4", stream=True)

# Iterate through the stream to process temporal keypoint tracking data
for frame_result in results:
    # Each keypoint maintains its association across frames
    print(f"Tracked {len(frame_result.keypoints)} human skeletons in current frame.")

Lors du déploiement de flux de travail de vision par ordinateur à grande échelle, l'Ultralytics Platform offre une solution rationalisée pour l'annotation de données, l'entraînement de modèles et le déploiement transparent, garantissant des performances fiables dans divers environnements de périphérie et de cloud.