Object Tracking

Objektverfolgung ist ein dynamischer Prozess in der Bildverarbeitung (CV), bei dem bestimmte Entitäten in einem Video identifiziert und ihre Bewegungen über eine Folge von Einzelbildern hinweg verfolgt werden. Im Gegensatz zur statischen Bildanalyse, bei der jeder Schnappschuss isoliert betrachtet wird, führt die Verfolgung die zeitliche Dimension ein. Dadurch können künstliche Intelligenz (AI)-Systeme jedem erkannten Objekt – etwa einem Auto, einer Person oder einem Tier – eine eindeutige Identifikationsnummer (ID) zuweisen und diese Identität beibehalten, während sich das Objekt bewegt, seine Ausrichtung ändert oder vorübergehend verdeckt ist. Diese Fähigkeit bildet die Grundlage für fortschrittliches Videoverständnis und ermöglicht es Maschinen, Verhalten zu analysieren, Trajektorien zu berechnen und aus unbearbeitetem Videomaterial umsetzbare Erkenntnisse abzuleiten.

So funktioniert Objektverfolgung#

Moderne Verfolgungssysteme verwenden im Allgemeinen das Paradigma „Tracking durch Detektion“. Dieser Arbeitsablauf kombiniert leistungsstarke Detektionsmodelle mit spezialisierten Algorithmen, um Detektionen über die Zeit hinweg einander zuzuordnen. Der Prozess umfasst typischerweise drei Hauptphasen:

1. Detektion: In jedem Einzelbild durchsucht ein Objekterkennungsmodell, beispielsweise das hochmoderne Modell YOLO26, das Bild nach relevanten Objekten. Das Modell gibt Begrenzungsrahmen aus, die die räumliche Ausdehnung jedes Objekts definieren.

2. Bewegungsvorhersage: Algorithmen wie der Kalman-Filter schätzen die zukünftige Position eines Objekts anhand seiner aktuellen Geschwindigkeit und Trajektorie. Diese Vorhersage verkleinert den Suchbereich für das nächste Einzelbild und macht das System effizienter.

3. Datenzuordnung: Das System ordnet neue Detektionen mithilfe von Optimierungsmethoden wie dem ungarischen Algorithmus vorhandenen Verfolgungspuren zu. Dabei werden häufig Metriken wie das Verhältnis von Schnittmenge zu Vereinigung (IoU) verwendet, um zu messen, wie stark sich ein vorhergesagter Rahmen mit einer neuen Detektion überschneidet. Fortschrittliche Tracker können außerdem eine visuelle Merkmalsextraktion verwenden, um ähnlich aussehende Objekte erneut zu identifizieren.

Objektverfolgung im Vergleich zur Objekterkennung#

Obwohl diese Begriffe eng miteinander verbunden sind, erfüllen sie innerhalb der Pipeline des maschinellen Lernens (ML) unterschiedliche Funktionen.

• Objekterkennung beantwortet die Frage: „Was ist in diesem Bild vorhanden und wo befindet es sich?“ Sie ist zustandslos, das heißt, sie verfügt über kein Gedächtnis für vorherige Einzelbilder. Fährt ein Auto durch ein Video, erkennt ein Detektor ein „Auto“ in Einzelbild 1 und ein „Auto“ in Einzelbild 2, weiß jedoch nicht, dass es sich um dasselbe Fahrzeug handelt.
• Objektverfolgung beantwortet die Frage: „Wohin bewegt sich dieses bestimmte Objekt?“ Sie ist zustandsbehaftet. Sie verknüpft das „Auto“ in Einzelbild 1 mit dem „Auto“ in Einzelbild 2, sodass das System protokollieren kann, dass sich „Auto-ID Nr. 42“ von links nach rechts bewegt. Dies ist für Aufgaben wie prädiktive Modellierung und Zählen unerlässlich.

Anwendungen in der Praxis#

Die Fähigkeit, die Identität von Objekten beizubehalten, ermöglicht komplexe Anwendungen für Echtzeitinferenz in verschiedenen Branchen.

• Intelligente Verkehrssysteme: Die Verfolgung ist für autonome Fahrzeuge von entscheidender Bedeutung, damit sie sicher navigieren können. Durch die Verfolgung von Fußgängern und anderen Fahrzeugen können Autos mögliche Kollisionen vorhersagen. Darüber hinaus verwenden Verkehrsingenieure diese Systeme zur Geschwindigkeitsschätzung, um Sicherheitsvorschriften durchzusetzen und den Verkehrsfluss zu optimieren.
• Einzelhandelsanalysen: Stationäre Geschäfte nutzen AI im Einzelhandel, um das Verhalten von Kunden zu verstehen. Die Verfolgung ermöglicht es Filialleitern, mithilfe der Objektzählung die Kundenfrequenz zu messen, mithilfe von Heatmaps die Verweildauer vor Auslagen zu analysieren und das Warteschlangenmanagement zu optimieren, um Wartezeiten zu verkürzen.
• Sportanalyse: Im Profisport nutzen Trainer die Verfolgung in Kombination mit der Posenschätzung, um die Biomechanik der Spieler und die Aufstellung der Mannschaft zu analysieren. Diese Daten verschaffen einen Wettbewerbsvorteil, indem sie Muster sichtbar machen, die mit bloßem Auge nicht erkennbar sind.

Objektverfolgung mit Python implementieren#

Ultralytics macht die Implementierung einer leistungsstarken Objektverfolgung einfach. Der Modus track der Bibliothek übernimmt automatisch die Detektion, Bewegungsvorhersage und ID-Zuweisung. Das folgende Beispiel zeigt, wie du das mit der Ultralytics Platform kompatible YOLO26-Modell verwenden kannst, um Objekte in einem Video zu verfolgen.

from ultralytics import YOLO

# Load the official YOLO26n model (nano version for speed)
model = YOLO("yolo26n.pt")

# Track objects in a video file or webcam (source=0)
# 'show=True' displays the video with bounding boxes and unique IDs
results = model.track(source="https://ultralytics.com/images/bus.jpg", show=True)

# Access the unique tracking IDs from the results
if results[0].boxes.id is not None:
    print(f"Detected Track IDs: {results[0].boxes.id.cpu().numpy()}")

Verwandte Konzepte#

Um das Ökosystem der Objektverfolgung vollständig zu verstehen, ist es hilfreich, die Instanzsegmentierung zu untersuchen, bei der die präzisen Konturen eines Objekts auf Pixelebene verfolgt werden und nicht nur ein Rahmen. Darüber hinaus umfassen Herausforderungen zur Verfolgung mehrerer Objekte (MOT) häufig weit verbreitete Benchmarks wie MOTChallenge, um zu bewerten, wie gut Algorithmen mit überfüllten Szenen und Verdeckungen umgehen. Für die Bereitstellung in Produktionsumgebungen verwenden Entwickler häufig Tools wie NVIDIA DeepStream oder OpenCV, um diese Modelle in effiziente Pipelines zu integrieren.