Multi-Object Tracking (MOT)

Multi-Objekt-Tracking (MOT) ist die Aufgabe der Computer Vision, jedes relevante Objekt gleichzeitig in einem Video zu verfolgen und ihm eine dauerhafte ID zuzuweisen, sodass seine Positionen über die Einzelbilder hinweg eine Bewegungsbahn bilden. Die Anzahl der Objekte ist unbekannt und ändert sich ständig, wenn Personen oder Fahrzeuge ins Bild kommen, es verlassen, sich kreuzen oder hintereinander verschwinden. Deshalb muss ein Tracker in jedem Einzelbild entscheiden, welche Erkennungen bestehenden Tracks zuzuordnen sind, welche neue Tracks beginnen und welche Tracks beendet sind. MOT ist die häufigste Form des Objekt-Trackings. Beim Single-Objekt-Tracking (SOT) wird unabhängig von der Klasse ein Ziel verfolgt, das im ersten Einzelbild ausgewählt wurde.

Wie Multi-Objekt-Tracking funktioniert#

Die meisten MOT-Systeme verwenden Tracking-by-Detection: Ein Objektdetektionsmodell erkennt Objekte in jedem Einzelbild, und ein Tracker verknüpft diese Erkennungen mit den bereits vorhandenen Tracks. Der Tracker sagt mithilfe eines Bewegungsmodells voraus, wo jeder Track erscheinen sollte, üblicherweise mit einem Kalman-Filter. Er erstellt eine Kostenmatrix zwischen den vorhergesagten Tracks und neuen Erkennungen. Dafür verwendet er die Überlappung der Boxen (IoU), die Bewegung und optional Einbettungen des Erscheinungsbilds aus einem Modell zur Objekt-Wiedererkennung (Re-ID). Anschließend löst er die Zuordnung als lineares Zuordnungsproblem mit dem ungarischen Algorithmus. Zugeordnete Tracks behalten ihre IDs, sichere, nicht zugeordnete Erkennungen beginnen neue Tracks, und Tracks ohne Zuordnung bleiben für eine bestimmte Anzahl von Einzelbildern als „verloren“ bestehen, damit sie nach einer Verdeckung wieder aufgenommen werden können.

In Menschenmengen ist die Zuordnung schwierig, weil teilweise verdeckte Personen Erkennungen mit geringer Konfidenz erzeugen, die bei einem einfachen Schwellenwert verworfen würden. ByteTrack behält diese Erkennungen für einen zweiten Zuordnungsdurchlauf bei:

Tracker-Architekturen#

• SORT und seine Nachfolger: SORT (2016) kombinierte einen Kalman-Filter, IoU-Kosten und den ungarischen Algorithmus. DeepSORT ergänzte Merkmale des Erscheinungsbilds, um Identitäten nach einer Verdeckung wiederzufinden. ByteTrack fügte den Durchlauf mit Erkennungen geringer Konfidenz hinzu, OC-SORT machte Bewegungsschätzungen robust gegenüber Verdeckungen, und BoT-SORT ergänzte den Ausgleich von Kamerabewegungen für bewegte Kameras.
• Gemeinsame Erkennung und Einbettung (FairMOT): FairMOT trainiert ein Netzwerk, das Erkennungen und Re-ID-Einbettungen gemeinsam ausgibt. Dadurch benötigen Merkmale des Erscheinungsbilds kein zweites Modell.
• End-to-End-Tracking (MOTR): MOTR und TrackFormer erweitern den DETR-Transformer um Track-Abfragen, die die Identität jedes Objekts von einem Einzelbild zum nächsten mitführen. So wird die Zuordnung während des Trainings gelernt.

Der Track-Modus von Ultralytics YOLO führt Tracking anhand von Erkennungen für jedes YOLO26-Erkennungs-, Segmentierungs-, Posenschätzungs- oder Modell mit orientierten Boxen aus. Über das Argument tracker lassen sich sechs integrierte Tracker auswählen: TrackTrack (Standard), BoT-SORT, ByteTrack, OC-SORT, Deep OC-SORT und FastTracker. Dieses Beispiel verfolgt die Personen in einem kurzen Clip und zählt, über wie viele Einzelbilder jede ID hinweg bestehen bleibt:

from collections import Counter

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
video = "https://github.com/ultralytics/assets/releases/download/v0.0.0/decelera_portrait_min.mov"

# Personen verfolgen (COCO-Klasse 0) und zählen, in wie vielen Einzelbildern jede Track-ID vorkommt
frames_per_id = Counter()
for result in model.track(video, stream=True, classes=[0]):
    if result.boxes.is_track:
        frames_per_id.update(result.boxes.id.int().tolist())

# Die fünf längsten Bewegungsbahnen als (Track-ID, Einzelbilder)
print(frames_per_id.most_common(5))

Jedes Paar besteht aus einer Track-ID und der Anzahl der Einzelbilder, in denen sie erhalten blieb. Eine langlebige ID bedeutet also, dass der Tracker eine Person über viele Einzelbilder hinweg weiterverfolgt hat.

Qualität der Verfolgung messen#

MOT wird anhand von Benchmarks wie MOT17, MOT20 für dichte Menschenmengen und DanceTrack bewertet, bei dem Tänzer ähnlich aussehen und sich unvorhersehbar bewegen. Drei Metriken sind besonders wichtig:

• MOTA: Eins minus der Summe aus übersehenen Objekten, falsch positiven Erkennungen und ID-Wechseln, geteilt durch die Anzahl der Ground-Truth-Objekte. Die Metrik wird daher vor allem von der Erkennungsqualität bestimmt.
• IDF1: Der F1-Wert korrekt identifizierter Erkennungen. Er misst, wie konsequent jedes echte Objekt dieselbe ID behält.
• HOTA: Das geometrische Mittel aus Erkennungsgenauigkeit und Zuordnungsgenauigkeit. Beide Aspekte – Objekte finden und sie miteinander verknüpfen – werden damit gleich gewichtet.

Herausforderungen#

• Verdeckung: Ein Objekt, das viele Einzelbilder lang verdeckt ist, kann mit einer neuen ID zurückkehren, sofern es nicht mithilfe einer Bewegungsvorhersage oder eines Abgleichs des Erscheinungsbilds wiedererkannt wird.
• Menschenmengen und ähnliches Erscheinungsbild: In dichten Menschengruppen oder bei Sportlern in einheitlicher Kleidung sind IoU- und Erscheinungsbildkosten mehrdeutig, sodass IDs vertauscht werden.
• Kamerabewegung: Eine schwenkende oder vibrierende Kamera verschiebt alle Boxen gleichzeitig. Das beeinträchtigt Bewegungsmodelle mit konstanter Geschwindigkeit, sofern der Tracker dies nicht ausgleicht.
• Echtzeitbudgets: Erkennung, Zuordnung und jedes Re-ID-Modell teilen sich das Zeitbudget pro Einzelbild. Ein separates Re-ID-Modell erfordert für jedes erkannte Objekt einen zusätzlichen Netzwerkdurchlauf.