Suivi des points

Le suivi de points est une tâche fondamentale de la vision par ordinateur qui consiste à estimer et à suivre le mouvement de points spécifiques et localisés (tels que des pixels ou des caractéristiques distinctes) d'une image à l'autre dans une séquence vidéo au fil du temps. Contrairement au suivi d'objets, qui surveille la position générale d'entités entières à l'aide de cadres de sélection ou de masques de segmentation, le suivi de points se concentre sur un niveau de détail bien plus fin, à l'échelle du sous-pixel. En identifiant et en conservant les correspondances entre ces emplacements précis, les systèmes d'intelligence artificielle (IA) peuvent réaliser des tâches avancées de compréhension vidéo qui nécessitent une analyse complexe des mouvements.

Comprendre le suivi de points

Le suivi précis de points dans une scène dynamique représente un défi de taille. Les points suivis sont souvent victimes d’ occlusions— lorsque des objets bloquent temporairement la vue de la caméra — ou peuvent même sortir complètement du champ de vision. De plus, les variations d’éclairage, les changements de perspective et les mouvements rapides peuvent modifier radicalement l’apparence visuelle d’un point.

Historiquement, ces tâches étaient traitées par des algorithmes classiques tels que le flux optique de Lucas-Kanade. Cependant, les approches modernes s'appuient sur de puissantes architectures d'apprentissage profond. Les innovations récentes issues de grands instituts de recherche, telles que TAPIR (Tracking Any Point with Initialization and Refinement) Google et CoTracker3 de Meta AI, ont révolutionné le domaine. Contrairement aux anciennes méthodes qui suivaient les points indépendamment, des modèles comme CoTracker3 utilisent des transformateurs pour effectuer un suivi conjoint de plusieurs points, en tirant parti des dépendances physiques entre les points appartenant au même objet. Ces modèles de pointe utilisent également le pseudo-étiquetage sur des vidéos du monde réel pour former des systèmes hautement précis avec des besoins en données considérablement réduits.

Suivi des points vs tâches associées

Bien qu'étroitement liée, la détection de points se distingue nettement des autres tâches de vision par ordinateur :

• Suivi d'objets: attribue des identifiants uniques à des objets entiers (par exemple, une personne ou une voiture) et les suit. Cette technique s'appuie largement sur des modèles de détection d'objets tels que Ultralytics .
• Estimation de la posture: suit des points de repère sémantiques spécifiques (tels que les articulations humaines) plutôt que des pixels arbitraires. Bien qu'elle présente des similitudes avec le suivi de points, l'estimation de la posture nécessite une compréhension sémantique de la structure de l'objet.

Applications concrètes

Le suivi de points est un élément essentiel pour diverses applications avancées :

• Reconstruction 3D et Structure-from-Motion (SfM): En suivant des repères spécifiques à travers différents angles de caméra ou images vidéo, les systèmes peuvent déduire la profondeur et créer des reconstructions 3D précises des environnements, ce qui est essentiel pour la cartographie en réalité augmentée (RA).
• Robotique et navigation autonome: Les véhicules autonomes et les robots utilisent le suivi de points (souvent via l'odométrie visuelle) pour appréhender leurs mouvements par rapport à leur environnement, calculer leurs trajectoires, et se déplacer en toute sécurité dans des environnements dynamiques complexes.
• Montage vidéo et effets spéciaux: Les logiciels professionnels d'effets visuels (VFX) s'appuient largement sur le suivi de points pour stabiliser les séquences tremblantes ou pour intégrer de manière fluide des images de synthèse (CGI) à des objets en mouvement dans une scène réelle.

Suivi des points clés avec Ultralytics

Alors que les systèmes de suivi de points généraux suivent des pixels visuels arbitraires, vous pouvez track des points clés structurels track (tels que les yeux, les épaules ou les poignets d'une personne) en utilisant les capacités de suivi de pose du ultralytics paquet. Le recommandé YOLO26 Ce modèle offre un suivi des points clés de bout en bout à grande vitesse, idéal pour l'analyse du mouvement.

from ultralytics import YOLO

# Load the recommended YOLO26 pose model for keypoint tracking
model = YOLO("yolo26n-pose.pt")

# Perform pose tracking on a video stream to follow human keypoints over time
results = model.track(source="video.mp4", stream=True)

# Iterate through the stream to process temporal keypoint tracking data
for frame_result in results:
    # Each keypoint maintains its association across frames
    print(f"Tracked {len(frame_result.keypoints)} human skeletons in current frame.")

Lors du déploiement à grande échelle de flux de travail de vision par ordinateur, la Ultralytics offre une solution optimisée pour l' annotation des données, l'entraînement des modèles et le déploiement transparent, garantissant des performances fiables dans divers environnements en périphérie et dans le cloud.