Multi-Object Tracking (MOT)

Multi-Object Tracking (MOT) ist eine dynamische Aufgabe im Computer Vision (CV), bei der mehrere verschiedene Entitäten in einem Videostream erkannt und ihre Identitäten über die Zeit hinweg beibehalten werden müssen. Im Gegensatz zur standardmäßigen Objekterkennung, die jeden Frame als isolierte Momentaufnahme behandelt, führt MOT eine zeitliche Dimension in die Künstliche Intelligenz (AI) ein. Durch die Zuweisung einer eindeutigen Identifikationsnummer (ID) an jedes erkannte Objekt – etwa einen bestimmten Fußgänger in einer Menschenmenge oder ein Fahrzeug auf einer Autobahn – ermöglichen es MOT-Algorithmen Systemen, Trajektorien zu verfolgen, Verhalten zu analysieren und Interaktionen zu verstehen. Diese Fähigkeit ist grundlegend für das moderne Videoverständnis und ermöglicht es Maschinen, Kontinuität in einer sich verändernden Umgebung wahrzunehmen.

Link to this sectionWie MOT funktioniert#

Die meisten modernen Tracking-Systeme arbeiten nach dem „Tracking-by-Detection“-Paradigma. Dieser Ansatz unterteilt den Prozess in zwei Hauptstufen: Identifizierung dessen, was sich im Frame befindet, und anschließende Zuordnung dieser Ergebnisse zu bekannten Objekten aus der Vergangenheit.

1. Detektion: In jedem Frame scannt ein Hochleistungsmodell wie YOLO26 das Bild, um Objekte zu lokalisieren und dabei Bounding Boxes sowie Klassenwahrscheinlichkeiten zu generieren.

2. Bewegungsvorhersage: Um vorherzusehen, wohin sich ein Objekt als Nächstes bewegt, verwenden Algorithmen häufig einen Kalman Filter. Dieses mathematische Werkzeug schätzt den Zustand eines dynamischen Systems – wie Geschwindigkeit und Position – und hilft dabei, den Suchbereich im nachfolgenden Frame einzugrenzen.

3. Datenassoziation: Das System gleicht neue Detektionen mit bestehenden Tracks ab. Optimierungsmethoden wie der Ungarische Algorithmus lösen dieses Zuordnungsproblem durch Minimierung der Zuordnungskosten, wobei häufig auf Intersection over Union (IoU) zurückgegriffen wird, um die räumliche Überlappung zu messen.

4. Re-Identifikation (ReID): Wenn visuelle Hindernisse auftreten – bekannt als Verdeckung (Occlusion) –, nutzen fortgeschrittene Tracker visuelle Embeddings, um das Objekt wiederzuerkennen, sobald es erneut erscheint. Dies hilft, „ID-Wechsel“ zu verhindern und stellt sicher, dass das System weiß, dass das Auto, das aus einem Tunnel kommt, dasselbe ist, das hineingefahren ist.

Link to this sectionUnterscheidung von MOT und Single Object Tracking#

Obwohl die Terminologie ähnlich ist, unterscheidet sich Multi-Object Tracking (MOT) signifikant vom Single Object Tracking (SOT). SOT konzentriert sich auf die Verfolgung eines spezifischen Ziels, das im ersten Frame initialisiert wurde, und ignoriert dabei oft alle anderen Entitäten. Im Gegensatz dazu muss MOT eine unbekannte und schwankende Anzahl von Zielen handhaben, die jederzeit in die Szene eintreten oder sie verlassen können. Dies macht MOT rechnerisch anspruchsvoller, da eine robuste Logik für die Initialisierung von Tracks, deren Beendigung und die komplexen Interaktionen zwischen mehreren sich bewegenden Körpern erforderlich ist.

Link to this sectionPraxisanwendungen#

Die Fähigkeit, mehrere Entitäten gleichzeitig zu verfolgen, treibt Innovationen in zahlreichen wichtigen Branchen voran.

• Autonomes Fahren: Selbstfahrende Autos verlassen sich stark auf MOT, um sicher zu navigieren. Durch das Verfolgen von Fußgängern, Radfahrern und anderen Fahrzeugen können autonome Systeme zukünftige Positionen vorhersagen, um Kollisionen zu vermeiden. Dies beinhaltet oft die Fusion von Daten aus Kameras und LiDAR-Sensoren für maximale Zuverlässigkeit.
• Einzelhandelsanalyse: In physischen Geschäften nutzen Einzelhändler KI im Einzelhandel, um Kundenreisen abzubilden. MOT-Algorithmen generieren Heatmaps des Fußgängerverkehrs, was Managern hilft, Ladengestaltungen zu optimieren und das Warteschlangenmanagement zu Stoßzeiten zu verbessern.
• Sportanalytik: Profiteams nutzen MOT, um Spielerbewegungen und Mannschaftsaufstellungen zu analysieren. Durch das Tracking jedes Spielers auf dem Feld können Trainer detaillierte Kennzahlen zu Geschwindigkeit, zurückgelegter Distanz und taktischer Positionierung mithilfe von Pose Estimation-Techniken gewinnen.

Link to this sectionImplementierung von MOT mit Python#

Ultralytics macht es einfach, Tracking mit modernsten Modellen zu implementieren. Die Methode track() integriert Detektions- und Tracking-Logik nahtlos und unterstützt Algorithmen wie ByteTrack und BoT-SORT. Das folgende Beispiel demonstriert das Tracking von Fahrzeugen in einem Video unter Verwendung des empfohlenen YOLO26-Modells.

from ultralytics import YOLO

# Load the official YOLO26 small model
model = YOLO("yolo26s.pt")

# Track objects in a video file (or use '0' for webcam)
# The 'persist=True' argument keeps track IDs consistent between frames
results = model.track(source="traffic_analysis.mp4", show=True, persist=True)

# Print the IDs of objects tracked in the first frame
if results[0].boxes.id is not None:
    print(f"Tracked IDs: {results[0].boxes.id.int().tolist()}")

Link to this sectionHerausforderungen beim Multi-Object Tracking#

Trotz Fortschritten bleibt MOT ein herausforderndes Feld. Verdeckung (Occlusion) ist eine primäre Schwierigkeit; wenn Objekte sich kreuzen oder hinter Hindernissen verschwinden, ist die Aufrechterhaltung der Identität komplex. Überfüllte Szenen, wie bei einem belebten Marathon oder einem Vogelschwarm, testen die Grenzen von Datenassoziations-Algorithmen. Zudem erfordert die Aufrechterhaltung von Echtzeit-Inferenzgeschwindigkeiten bei der Verarbeitung hochauflösender Videostreams effiziente Modellarchitekturen und oft spezialisierte Hardware wie NVIDIA Jetson-Geräte.

Um diese Herausforderungen anzugehen, erforschen Forscher End-to-End-Deep-Learning-Ansätze, die Detektion und Tracking in einem einzigen Netzwerk vereinen, sowie die Nutzung der Ultralytics Platform, um herausfordernde Datensätze zu annotieren und robuste benutzerdefinierte Modelle zu trainieren.