Computer Vision macht die Bewegungsverfolgung zuverlässiger

Wenn du dir ein Theaterstück ansiehst und dein Lieblingsdarsteller über die Bühne geht, kannst du ihm fast ohne bewusste Anstrengung mit den Augen folgen. Für Menschen fühlt sich diese Art der Bewegungsverfolgung ganz natürlich an. Dein Gehirn verbindet automatisch, was du von einem Moment zum nächsten siehst, schließt Lücken und sorgt dafür, dass die Szene zusammenhängend wirkt, während sie sich verändert.

Bei Maschinen ist dieselbe Aufgabe wesentlich komplexer. Eine Kamera nimmt ein Video als Folge einzelner Frames auf. Ein System muss dasselbe Objekt immer wieder Schritt für Schritt erkennen, um abzuschätzen, wohin es sich bewegt hat, und zu entscheiden, ob es weiterhin dasselbe Objekt verfolgen soll.

Diese Herausforderung steht im Mittelpunkt der Bewegungsverfolgung. Dabei wird ein Objekt im Laufe der Zeit durch ein Video verfolgt. Sie spielt in Bereichen wie Sportanalyse, Robotik und mobilen Anwendungen eine wichtige Rolle.

Herkömmliche Verfahren zur Bewegungs- und Kameraverfolgung sind häufig auf manuelle Einrichtung, Trackingpunkte und Keyframes angewiesen. In einfachen Szenen können sie funktionieren, doch bei schnellen Bewegungen oder teilweiser Verdeckung werden sie schnell langsam und unzuverlässig.

Abb. 1. Ein Blick auf ein System zur Bewegungsverfolgung (Quelle)

Neuere Fortschritte im Bereich Computer Vision machen diese Aufgabe deutlich einfacher. Computer Vision ist ein Teilgebiet der KI, das Maschinen dabei hilft, Bilder und Videos zu verstehen. Dadurch wird die Bewegungsverfolgung genauer und weniger abhängig von manueller Arbeit. Indem diese Systeme Objekte in jedem Frame erkennen und ihre Identität über die Zeit hinweg beibehalten, verfolgen sie Bewegungen unter realen Bedingungen zuverlässiger.

In diesem Artikel untersuchen wir, wie Computer Vision die Bewegungsverfolgung effizienter gestalten kann.

Herkömmliche Verfahren zur Bewegungserfassung und -verfolgung und ihre Einschränkungen#

Herkömmliche Verfahren zur Bewegungsverfolgung erfordern oft eine sorgfältige manuelle Einrichtung. Das gilt insbesondere für Arbeitsabläufe in der Videobearbeitung und bei visuellen Effekten (VFX), bei denen Grafiken, Effekte oder Einblendungen an beweglichen Elementen im Filmmaterial befestigt werden sollen.

Viele Arbeitsabläufe beginnen damit, Trackingpunkte an bestimmten Stellen einer Aufnahme zu platzieren. Anschließend verfolgt die Software diese Punkte über mehrere Frames hinweg, um den Bewegungspfad zu bestimmen. Das ist bei Werkzeugen wie After Effects üblich. Ähnliche Abläufe gibt es auch in Premiere Pro mit Funktionen wie der Maskenverfolgung, bei der Bearbeitende eine Maske oder einen Bereich im Zeitverlauf verfolgen.

Match Moving ist eine weitere gängige Methode. Dabei werden digitale Elemente an die tatsächliche Kamerabewegung angepasst, damit Effekte oder Grafiken in einer Liveaufnahme an der richtigen Stelle bleiben. Diese Ansätze können bei einfacheren Szenen gut funktionieren, stoßen aber oft an ihre Grenzen, wenn das Filmmaterial unübersichtlich wird oder sich Objekte schnell bewegen.

Die Verfolgung kann auch scheitern, wenn sich die Lichtverhältnisse ändern oder Motive teilweise verdeckt werden. Dadurch kann die Spur abdriften oder plötzlich springen. Das verlangsamt den Arbeitsablauf und zwingt Bearbeitende dazu, Abschnitte der Aufnahme erneut zu bearbeiten. Ändern Objekte schnell ihre Richtung, kommen ältere Systeme zur Bewegungsverfolgung oft nicht mit. Die Ergebnisse werden dadurch uneinheitlich und weniger verlässlich.

Wie Computer Vision die Bewegungsverfolgung verändert#

Moderne Computer-Vision-Systeme verwenden KI-Modelle, um bewegte Objekte in einem Video zu verfolgen. Statt sich auf ständige manuelle Anpassungen oder anfällige Einzelbild-für-Einzelbild-Verfolgung zu verlassen, lernt das Modell, wie ein Objekt aussieht und wie es sich typischerweise bewegt. Dadurch bleibt die Bewegungsverfolgung stabil, auch wenn Szenen unübersichtlich werden, sich die Beleuchtung ändert oder Objekte kurzzeitig verschwinden.

Computer-Vision-Modelle wie Ultralytics YOLO11 und sein Nachfolger Ultralytics YOLO26 unterstützen beispielsweise die Objektverfolgung, indem sie Objekte in jedem Einzelbild erkennen. Vereinfacht gesagt, identifizieren sie, was sich im Einzelbild befindet und wo es sich befindet, und geben für jedes erkannte Objekt Begrenzungsrahmen und Konfidenzwerte aus.

Abb. 2. Fahrzeuge mithilfe von Ultralytics YOLO11 innerhalb eines Bereichs verfolgen (Quelle)

Interessanterweise verfolgen YOLO-Modelle Objekte nicht selbstständig über die Zeit. Die Verfolgung wird stattdessen über das Ultralytics-Python-Paket ermöglicht, das YOLO-Erkennungen mit Algorithmen zur Verfolgung mehrerer Objekte wie ByteTrack und BoT-SORT verknüpft. In diesem Aufbau erkennt YOLO Objekte Einzelbild für Einzelbild. Der Tracker verknüpft diese Erkennungen über mehrere Einzelbilder hinweg, damit jedes Objekt während seiner Bewegung dieselbe ID behält.

Anwendungen KI-gestützter Bewegungsverfolgung in der Praxis#

Sehen wir uns als Nächstes einige praktische Anwendungen an, bei denen KI-gestützte Bewegungsverfolgung etwas bewirkt.

Sportanalysen und präzise Spielerverfolgung#

Bei einem Fußballspiel beschleunigen die Spieler ständig, halten an und ändern ihre Richtung. Dadurch ist es schwierig, ihre Bewegungen auf dem gesamten Spielfeld genau zu messen. In solchen Situationen versagt die manuelle Verfolgung oft, besonders wenn sich Spieler überschneiden, zusammendrängen oder durch dicht besetzte Bereiche bewegen.

KI-gestützte Bewegungsverfolgung hilft, indem sie alle Spieler während des Spiels verfolgt und ihre Bewegungswege klar und konsistent abbildet. In einer aktuellen Studie verwendeten Forschende beispielsweise YOLO11, um Spieler und den Ball aus mehreren Kameraperspektiven zu erkennen. YOLO11 identifizierte alle Spieler in jedem Frame, während ein Verfolgungssystem diese Erkennungen über die Zeit hinweg verknüpfte, damit die Identität der einzelnen Spieler während ihrer Bewegung erhalten blieb.

Abb. 3. Mehrere Fußballspieler erkennen und verfolgen (Quelle)

Bewegungsverfolgung in erweiterter und virtueller Realität#

Erweiterte Realität (AR) ermöglicht es Apps, digitale Objekte in der realen Welt zu platzieren – zum Beispiel ein Etikett auf einem Produkt, eine Figur auf dem Boden oder eine Einblendung auf deinem Fuß, während du dich bewegst. Damit diese Erlebnisse glaubwürdig wirken, müssen die virtuellen Inhalte an der richtigen Stelle verankert bleiben, wenn du umhergehst, dein Smartphone neigst oder das Objekt selbst bewegst.

Computer Vision spielt dabei eine wichtige Rolle, denn sie hilft einem Mobilgerät zu verstehen, worauf es blickt und wie sich die Kamera durch die Szene bewegt. Anders gesagt ermöglicht sie eine 3D-Verfolgung, indem sie die Position und Ausrichtung eines Objekts im Raum schätzt und diese Position aktualisiert, während sich die nutzende Person bewegt.

Abb. 4. Ein Beispiel für 3D-Verfolgung in einer AR-Anwendung (Quelle)

Virtuelle Realität (VR) beruht auf ähnlichen Ansätzen zur Verfolgung, verfolgt aber ein anderes Ziel. Statt digitale Inhalte in der realen Welt zu verankern, geht es bei VR darum, Kopf und Hände zu verfolgen, damit die virtuelle Welt natürlich auf deine Bewegungen reagiert.

Bewegliche Geräte verfolgen und Prozesse automatisieren#

In industriellen Umgebungen durchlaufen Geräte und Produkte häufig mehrere Prozessschritte. Jeder Schritt hängt von der richtigen zeitlichen Abstimmung und Koordination ab. Die manuelle Verfolgung kann den Anschluss verlieren, weil sich Gegenstände unterschiedlich schnell bewegen, überlagern oder ihre Position rasch verändern.

KI-gestützte Bewegungsverfolgung verschafft Produktionssystemen einen besseren Überblick über die einzelnen Objekte, während diese die Produktionslinie durchlaufen. In einer interessanten Studie verfolgte ein Netzwerk verbundener Kameras Produkte über einen ganzen Produktionszyklus hinweg und aktualisierte in Echtzeit einen digitalen Zwilling – eine virtuelle Kopie des realen Prozesses.

Das System identifizierte jedes Produkt, verfolgte seine Bewegung und sorgte dafür, dass das digitale Modell mit den tatsächlichen Vorgängen in der Produktionshalle übereinstimmte. Dieser Ansatz verbesserte die Überwachung und trug zu einem sichereren Betrieb bei, da er den Mitarbeitenden in jeder Phase einen zuverlässigen Überblick verschaffte. Außerdem zeigte sich, dass Bewegungsverfolgung eine flexiblere und skalierbare Automatisierung ermöglichen kann, wenn konsistente Verfolgungsdaten verfügbar sind.

Vor- und Nachteile der KI-gestützten Bewegungsverfolgung#

Hier sind einige Vorteile der KI-gestützten Bewegungsverfolgung:

• Verbesserte Wiedererkennung nach Verdeckungen: Systeme für visuelle KI können Objektverfolgungen häufig aufrechterhalten oder wieder aufnehmen, wenn sich Objekte überlagern oder kurzzeitig verschwinden.
• Skalierbarkeit: Nach der Bereitstellung können KI-Tracker lange Videoclips und mehrere Kamerastreams verarbeiten, ohne dass jede Aufnahme erneut eingerichtet werden muss.
• Umfangreichere Bewegungsdaten: Die Ergebnisse der Verfolgung lassen sich für Analysen nutzen, um Bewegungswege, Anzahl, Verweildauer und ungefähre Geschwindigkeiten zu messen.

KI-gestützte Verfolgung funktioniert in vielen Fällen gut, lässt sich aber nicht in jeder Umgebung ohne weitere Anpassungen einsetzen. Hier sind einige Einschränkungen, die du berücksichtigen solltest:

• Laufende Wartung: Die Leistung kann sich im Laufe der Zeit verändern, wenn sich Kamerawinkel, Umgebungen oder Workloads ändern. Daher sind regelmäßige Aktualisierungen oft nötig.
• Komplexe Integration: Um Tracker in bestehende Videobearbeitungs-, Analyse- oder Automatisierungssysteme einzubinden, sind möglicherweise Adapter, Kalibrierung und zusätzliche Tests erforderlich.
• Grenzfälle unter extremen Bedingungen: Schwaches Licht, Bewegungsunschärfe, starke Verdeckungen und sehr kleine Objekte können weiterhin zu Fehlern bei der Verfolgung führen.

Die wichtigsten Erkenntnisse#

KI-gestützte Funktionen zur Bewegungsverfolgung entwickeln sich rasch zur praktischeren Lösung für Videos aus der realen Welt, in denen Bewegungen schnell und Szenen unübersichtlich sind und manuelle Korrekturen sich nicht skalieren lassen. Computer Vision entwickelt sich schnell weiter und macht Verfolgungssysteme einfacher einsetzbar und unter schwierigen Bedingungen zuverlässiger. Dadurch wird die Bewegungsverfolgung für Robotik, mobile Apps, Analysen und die Erstellung von Inhalten immer nützlicher.

Werde Teil unserer Community und entdecke die neuesten Entwicklungen im Bereich Vision AI in unserem GitHub-Repository. Auf unseren Lösungsseiten erfährst du, wie Anwendungen wie KI in der Fertigung und Computer Vision im Gesundheitswesen Fortschritte ermöglichen. Sieh dir außerdem unsere Lizenzoptionen an, um deine nächste KI-Lösung umzusetzen.