Multi-Object Tracking (MOT)

Le suivi multi-objets (MOT) est une tâche dynamique en computer vision (CV) qui consiste à détecter plusieurs entités distinctes dans un flux vidéo et à maintenir leurs identités au fil du temps. Contrairement à la object detection standard, qui traite chaque image comme un instantané isolé, le MOT introduit une dimension temporelle dans artificial intelligence (AI). En attribuant un numéro d'identification (ID) unique à chaque instance détectée — telle qu'un piéton spécifique dans une foule ou un véhicule sur une autoroute —, les algorithmes de MOT permettent aux systèmes de tracer des trajectoires, d'analyser le comportement et de comprendre les interactions. Cette capacité est fondamentale pour le video understanding moderne et permet aux machines de percevoir la continuité dans un environnement en mutation.

Comment fonctionne le MOT#

La plupart des systèmes de suivi contemporains fonctionnent sur le paradigme du "suivi par détection". Cette approche sépare le processus en deux étapes principales : identifier ce qui se trouve dans l'image, puis associer ces résultats aux objets connus du passé.

1. Détection : Dans chaque image, un modèle haute performance tel que YOLO26 analyse l'image pour localiser des objets, générant des bounding boxes et des probabilités de classe.

2. Prédiction de mouvement : Pour anticiper l'endroit où un objet se déplacera ensuite, les algorithmes utilisent souvent un Kalman Filter. Cet outil mathématique estime l'état d'un système dynamique — tel que la vitesse et la position —, contribuant à réduire la zone de recherche dans l'image suivante.

3. Association de données : Le système associe les nouvelles détections aux pistes existantes. Les méthodes d'optimisation telles que le Hungarian algorithm résolvent ce problème d'affectation en minimisant le coût de correspondance, en s'appuyant souvent sur Intersection over Union (IoU) pour mesurer le chevauchement spatial.

4. Ré-identification (ReID) : En cas d'obstructions visuelles — appelées occlusion —, les traqueurs avancés utilisent des embeddings visuels pour reconnaître l'objet lorsqu'il réapparaît. Cela aide à éviter les "changements d'ID", garantissant que le système sait que la voiture sortant d'un tunnel est la même que celle qui y est entrée.

Distinction entre le MOT et le suivi d'objet unique#

Bien que la terminologie soit similaire, le suivi multi-objets (MOT) diffère sensiblement du Single Object Tracking (SOT). Le SOT se concentre sur le suivi d'une cible spécifique initialisée dans la première image, en ignorant souvent toutes les autres entités. En revanche, le MOT doit gérer un nombre inconnu et variable de cibles qui peuvent entrer ou quitter la scène à tout moment. Cela rend le MOT plus exigeant en termes de calcul, car il nécessite une logique robuste pour gérer l'initiation des pistes, la terminaison et les interactions complexes entre plusieurs corps en mouvement.

Applications concrètes#

La capacité à suivre plusieurs entités simultanément stimule l'innovation dans plusieurs industries majeures.

• Conduite autonome : Les voitures autonomes dépendent fortement du MOT pour naviguer en toute sécurité. En suivant les piétons, les cyclistes et d'autres véhicules, les autonomous systems peuvent prédire les positions futures pour éviter les collisions. Cela implique souvent de fusionner des données provenant de caméras et de LiDAR sensors pour une fiabilité maximale.
• Analyse de vente au détail : Dans les magasins physiques, les détaillants utilisent l'AI in retail pour cartographier les parcours clients. Les algorithmes de MOT génèrent des heatmaps du trafic piétonnier, aidant les responsables à optimiser la disposition des magasins et à améliorer la queue management pendant les heures de pointe.
• Analyses sportives : Les équipes professionnelles utilisent le MOT pour analyser les mouvements des joueurs et les formations d'équipe. En suivant chaque joueur sur le terrain, les entraîneurs peuvent extraire des mesures détaillées sur la vitesse, la distance parcourue et le positionnement tactique à l'aide de techniques de pose estimation.

Implémentation du MOT avec Python#

Ultralytics permet de mettre en œuvre facilement le suivi avec des modèles de pointe. La méthode track() intègre de manière transparente la logique de détection et de suivi, prenant en charge des algorithmes tels que ByteTrack et BoT-SORT. L'exemple ci-dessous montre le suivi de véhicules dans une vidéo à l'aide du YOLO26 model recommandé.

from ultralytics import YOLO

# Load the official YOLO26 small model
model = YOLO("yolo26s.pt")

# Track objects in a video file (or use '0' for webcam)
# The 'persist=True' argument keeps track IDs consistent between frames
results = model.track(source="traffic_analysis.mp4", show=True, persist=True)

# Print the IDs of objects tracked in the first frame
if results[0].boxes.id is not None:
    print(f"Tracked IDs: {results[0].boxes.id.int().tolist()}")

Défis dans le suivi multi-objets#

Malgré les progrès, le MOT reste un domaine difficile. L'occlusion est une difficulté majeure ; lorsque des objets se croisent ou se cachent derrière des obstacles, le maintien de l'identité est complexe. Les scènes encombrées, telles qu'un marathon animé ou un vol d'oiseaux, testent les limites des algorithmes de data association. De plus, le maintien de vitesses de real-time inference lors du traitement de flux vidéo haute résolution nécessite des architectures de modèle efficaces et souvent du matériel spécialisé tel que des appareils NVIDIA Jetson.

Pour relever ces défis, les chercheurs explorent des approches d'apprentissage profond de bout en bout qui unissent la détection et le suivi en un seul réseau, tout en tirant parti de la Ultralytics Platform pour annoter des jeux de données difficiles et entraîner des modèles personnalisés robustes.