Computer Vision macht die Bewegungsverfolgung zuverlässiger

Wenn du dir ein Theaterstück ansiehst und dein Lieblingsschauspieler über die Bühne geht, können deine Augen ihm mit sehr wenig bewusster Anstrengung folgen. Für Menschen fühlt sich diese Art der Bewegungsverfolgung natürlich an. Dein Gehirn verbindet automatisch, was du von einem Moment zum nächsten siehst, schließt Lücken und bewahrt ein Gefühl der Kontinuität, während sich die Szene verändert.

Bei Maschinen ist dieselbe Aufgabe deutlich komplexer. Eine Kamera nimmt ein Video als Folge einzelner Bilder auf, und ein System muss Schritt für Schritt wiederholt dasselbe Objekt erkennen, um zu schätzen, wohin es sich bewegt hat, und zu entscheiden, ob es weiterhin das zu verfolgende Objekt ist.

Diese Herausforderung steht im Mittelpunkt der Bewegungsverfolgung. Bei der Bewegungsverfolgung wird ein Objekt über die Zeit hinweg in einem Video verfolgt. Sie spielt in Bereichen wie Sportanalyse, Robotik und mobilen Anwendungen eine wichtige Rolle.

Herkömmliche Bewegungs- und Kameraverfolgung beruhen häufig auf manueller Einrichtung, Tracking-Punkten und Keyframes. In einfachen Szenen kann das funktionieren, aber bei schnellen oder teilweise verdeckten Bewegungen wird es schnell langsam und unzuverlässig.

Abb. 1. Ein Blick auf ein System zur Bewegungsverfolgung (Quelle)

Neuere Fortschritte im Bereich Computer Vision machen das deutlich einfacher. Computer Vision ist ein Teilgebiet der KI, das Maschinen dabei unterstützt, Bilder und Videos zu verstehen, und dadurch die Bewegungsverfolgung genauer und weniger abhängig von manueller Arbeit macht. Indem diese Systeme Objekte in jedem Bild erkennen und ihre Identität über die Zeit hinweg konsistent halten, verfolgen sie Bewegungen unter realen Bedingungen zuverlässiger.

In diesem Artikel sehen wir uns an, wie Computer Vision die Bewegungsverfolgung effizienter machen kann. Legen wir los!

Herkömmliche Methoden zur Bewegungserfassung und -verfolgung und ihre Grenzen#

Herkömmliche Bewegungsverfolgung erfordert häufig eine sorgfältige manuelle Einrichtung, insbesondere bei Workflows für Videobearbeitung und visuelle Effekte, bei denen Grafiken, Effekte oder Overlays an beweglichen Elementen im Filmmaterial befestigt werden sollen.

Viele Workflows beginnen damit, Tracking-Punkte an bestimmten Stellen einer Aufnahme zu platzieren. Anschließend verfolgt die Software diese über mehrere Bilder hinweg, um den Bewegungspfad abzubilden. Das ist in Tools wie After Effects üblich. Ähnliche Workflows gibt es in Premiere Pro bei Funktionen wie der Maskenverfolgung, bei der Editoren eine Maske oder einen Bereich über die Zeit verfolgen.

Matchmoving ist eine weitere gängige Methode. Sie hilft dabei, digitale Elemente an reale Kamerabewegungen anzupassen, damit Effekte oder Grafiken in einer Live-Aufnahme an ihrer Position bleiben. Diese Ansätze können bei einfacheren Szenen gut funktionieren, haben aber oft Schwierigkeiten, wenn das Filmmaterial unübersichtlich wird oder sich Objekte schnell bewegen.

Die Verfolgung kann auch scheitern, wenn sich die Beleuchtung ändert oder Motive teilweise verdeckt werden, was zu einem Drift oder zu plötzlichen Sprüngen in der Verfolgung führen kann. Das verlangsamt den Workflow und zwingt Editoren dazu, Abschnitte der Aufnahme erneut zu bearbeiten. Wenn Objekte schnell die Richtung ändern, können ältere Systeme zur Bewegungsverfolgung Schwierigkeiten haben, Schritt zu halten, wodurch die Ergebnisse inkonsistent und weniger verlässlich werden.

Wie Computer Vision die Bewegungsverfolgung verändert#

Moderne Computer-Vision-Systeme verwenden KI-Modelle, um bewegliche Objekte durch ein Video zu verfolgen. Statt auf ständige manuelle Anpassungen oder fehleranfällige Verfolgung Bild für Bild angewiesen zu sein, lernt das Modell, wie ein Objekt aussieht und wie es sich typischerweise bewegt. Dadurch bleibt die Bewegungsverfolgung stabil, selbst wenn Szenen unübersichtlich werden, sich die Beleuchtung ändert oder Objekte kurzzeitig verschwinden.

Beispielsweise unterstützen Computer-Vision-Modelle wie Ultralytics YOLO11 und das kommende Ultralytics YOLO26 die Objektverfolgung, indem sie Objekte in jedem Bild erkennen. Vereinfacht gesagt identifizieren sie, was sich im Bild befindet und wo es sich befindet, indem sie für jedes erkannte Objekt Begrenzungsrahmen und Konfidenzwerte ausgeben.

Abb. 2. Verfolgung von Fahrzeugen innerhalb einer Zone mit Ultralytics YOLO11 (Quelle)

Interessanterweise verfolgen YOLO-Modelle Objekte nicht eigenständig über die Zeit. Stattdessen wird die Verfolgung über das Ultralytics Python-Paket ermöglicht, das YOLO-Erkennungen mit Algorithmen zur Verfolgung mehrerer Objekte wie ByteTrack und BoT-SORT verbindet. In diesem Aufbau erkennt YOLO Objekte Bild für Bild, während der Tracker diese Erkennungen über mehrere Bilder hinweg verknüpft, um für jedes Objekt eine konsistente ID beizubehalten, während es sich bewegt.

Praktische Anwendungen der KI-gestützten Bewegungsverfolgung#

Als Nächstes sehen wir uns einige praktische Anwendungen an, bei denen die KI-gestützte Bewegungsverfolgung Wirkung zeigt.

Sportanalyse und präzise Spielerverfolgung#

In einem Fußballspiel beschleunigen und bremsen die Spieler ständig und ändern ihre Richtung, wodurch es schwierig wird, ihre Bewegungen auf dem gesamten Spielfeld genau zu messen. Die manuelle Verfolgung versagt in solchen Momenten häufig, insbesondere wenn Spieler sich überschneiden, sich zusammendrängen oder sich durch dicht besetzte Bereiche bewegen.

Die KI-gestützte Bewegungsverfolgung hilft, indem sie jeden Spieler während des Spiels verfolgt und seine Bewegungspfade klar und konsistent hält. In einer aktuellen Studie beispielsweise verwendeten Forschende YOLO11 zur Erkennung von Spielern und des Balls aus mehreren Kameraperspektiven. YOLO11 identifizierte jeden Spieler in jedem Bild, während ein Verfolgungssystem diese Erkennungen über die Zeit hinweg verknüpfte, damit die Identität jedes Spielers während seiner Bewegung konsistent blieb.

Abb. 3. Erkennung und Verfolgung mehrerer Fußballspieler (Quelle)

Bewegungsverfolgung in erweiterter und virtueller Realität#

Erweiterte Realität (AR) ermöglicht es Apps, digitale Objekte in der realen Welt zu platzieren, etwa ein Etikett auf einem Produkt, eine Figur auf dem Boden oder ein Overlay auf deinem Fuß, während du dich bewegst. Damit sich solche Erlebnisse glaubwürdig anfühlen, müssen die virtuellen Inhalte an der richtigen Stelle verankert bleiben, während du umhergehst, dein Smartphone neigst oder das Objekt selbst bewegst.

Computer Vision spielt dabei eine entscheidende Rolle, weil sie einem mobilen Gerät hilft zu verstehen, worauf es blickt und wie sich die Kamera durch die Szene bewegt. Anders gesagt ermöglicht sie die 3D-Verfolgung, indem sie schätzt, wo sich ein Objekt im Raum befindet und wie es ausgerichtet ist, und diese Position anschließend aktualisiert, während du dich bewegst.

Abb. 4. Ein Beispiel für 3D-Verfolgung innerhalb einer AR-Anwendung (Quelle)

Die virtuelle Realität (VR) beruht auf ähnlichen Verfolgungskonzepten, verfolgt aber ein anderes Ziel. Statt digitale Inhalte in der realen Welt zu verankern, konzentriert sich VR auf die Verfolgung deines Kopfes und deiner Hände, damit die virtuelle Welt natürlich auf deine Bewegungen reagiert.

Verfolgung beweglicher Ausrüstung und Prozessautomatisierung#

In industriellen Umgebungen bewegen sich Ausrüstung und Produkte häufig durch mehrere Phasen eines Workflows. Jede Phase hängt von genauer zeitlicher Abstimmung und Koordination ab. Die manuelle Verfolgung kann ins Hintertreffen geraten, weil sich Gegenstände mit unterschiedlichen Geschwindigkeiten bewegen, sich überschneiden oder schnell ihre Position ändern.

Die KI-gestützte Bewegungsverfolgung hilft, indem sie Produktionssystemen eine klarere Sicht auf jedes Objekt während seiner Bewegung durch die Produktionslinie gibt. In einer interessanten Studie verfolgte ein Netzwerk verbundener Kameras Produkte über einen gesamten Produktionszyklus hinweg und aktualisierte in Echtzeit einen digitalen Zwilling, also eine virtuelle Kopie des realen Prozesses.

Das System identifizierte jedes Produkt, verfolgte seine Bewegung und hielt das digitale Modell mit den Vorgängen in der Produktionshalle synchron. Dieser Ansatz verbesserte die Überwachung und unterstützte einen sichereren Betrieb, indem er den Bedienern in jeder Phase eine zuverlässige Übersicht bot. Er zeigte außerdem, wie Bewegungsverfolgung eine flexiblere und skalierbare Automatisierung ermöglichen kann, wenn konsistente Verfolgungsdaten verfügbar sind.

Vor- und Nachteile der KI-gestützten Bewegungsverfolgung#

Hier sind einige Vorteile der KI-gestützten Bewegungsverfolgung:

• Bessere Wiederaufnahme nach Verdeckungen: Systeme für Computer Vision können die Verfolgung häufig aufrechterhalten oder wieder aufnehmen, wenn sich Objekte überschneiden oder kurzzeitig verschwinden.
• Skalierbarkeit: Nach der Bereitstellung können KI-Tracker lange Videoclips und mehrere Kamerastreams verarbeiten, ohne dass für jede Aufnahme eine erneute Einrichtung erforderlich ist.
• Umfangreichere Bewegungsdaten: Die Ergebnisse der Verfolgung können dazu verwendet werden, für Analysen Pfade, Anzahlen, Verweildauern und grundlegende Geschwindigkeitsschätzungen zu messen.

Die KI-gestützte Verfolgung funktioniert in vielen Fällen gut, ist aber nicht für jede Einrichtung sofort einsatzbereit. Hier sind einige Einschränkungen, die du berücksichtigen solltest:

• Laufende Wartung: Die Leistung kann sich im Laufe der Zeit verändern, wenn sich Kamerawinkel, Umgebungen oder Arbeitslasten ändern. Daher sind häufig regelmäßige Aktualisierungen erforderlich.
• Komplexe Integration: Die Einbindung von Trackern in bestehende Videobearbeitungs-, Analyse- oder Automatisierungssysteme kann Adapter, Kalibrierung und zusätzliche Tests erfordern.
• Sonderfälle unter extremen Bedingungen: Schwaches Licht, Bewegungsunschärfe, starke Verdeckungen und sehr kleine Objekte können weiterhin zu Verfolgungsfehlern führen.

Wichtige Erkenntnisse#

Funktionen zur KI-gestützten Bewegungsverfolgung werden schnell zur praktischeren Wahl für reale Videos, in denen Bewegungen schnell sind, Szenen dicht bevölkert sind und manuelle Korrekturen nicht skalieren. Computer Vision entwickelt sich schnell weiter, wodurch sich Systeme zur Bewegungsverfolgung unter anspruchsvollen Bedingungen einfacher bereitstellen lassen und zuverlässiger werden. Dadurch wird die Bewegungsverfolgung in Bereichen wie Robotik, mobilen Apps, Analytik und der Erstellung von Inhalten zunehmend nützlicher.

Werde Teil unserer Community und entdecke die neuesten Entwicklungen im Bereich Computer Vision in unserem GitHub-Repository. Besuche unsere Lösungsseiten und erfahre, wie Anwendungen wie KI in der Fertigung und Computer Vision im Gesundheitswesen den Fortschritt vorantreiben. Sieh dir außerdem unsere Lizenzoptionen an, um deine nächste KI-Lösung zu realisieren.