Optical Flow

Optischer Fluss ist das Muster der scheinbaren Bewegung von Objekten, Oberflächen und Kanten in einer visuellen Szene, das durch die relative Bewegung zwischen einem Beobachter und einer Szene verursacht wird. Im Bereich der Computer Vision ist dieses Konzept grundlegend für das Verständnis zeitlicher Dynamiken innerhalb von Videosequenzen. Durch die Analyse der Verschiebung von Pixeln zwischen zwei aufeinanderfolgenden Bildern erzeugen Algorithmen für optischen Fluss ein Vektorfeld, in dem jeder Vektor die Richtung und das Ausmaß der Bewegung für einen bestimmten Punkt darstellt. Dieses visuelle Signal auf niedriger Ebene ermöglicht es Systemen der künstlichen Intelligenz, nicht nur wahrzunehmen, was sich in einem Bild befindet, sondern auch, wie es sich bewegt, und überbrückt damit die Lücke zwischen der Analyse statischer Bilder und dem dynamischen Videoverständnis.

Grundlegende Mechanismen des optischen Flusses#

Die Berechnung des optischen Flusses beruht im Allgemeinen auf der Annahme der Helligkeitskonstanz. Diese besagt, dass die Intensität eines Pixels auf einem Objekt von einem Bild zum nächsten konstant bleibt, auch wenn es sich bewegt. Algorithmen nutzen dieses Prinzip, um Bewegungsvektoren mithilfe von zwei grundlegenden Ansätzen zu berechnen:

• Sparser optischer Fluss: Bei dieser Methode wird der Bewegungsvektor für eine bestimmte Teilmenge unterscheidbarer Merkmale berechnet, etwa Ecken oder Kanten, die durch Merkmalsextraktion erkannt wurden. Algorithmen wie die Lucas-Kanade-Methode sind recheneffizient und eignen sich ideal für Aufgaben der Echtzeitinferenz, bei denen die Verfolgung bestimmter interessanter Punkte ausreicht.
• Dichter optischer Fluss: Bei diesem Ansatz wird für jedes einzelne Pixel im Bild ein Bewegungsvektor berechnet. Obwohl dies deutlich rechenintensiver ist, liefert die Methode eine umfassende Bewegungskarte, die für detaillierte Aufgaben wie die Bildsegmentierung und die Strukturanalyse unerlässlich ist. Moderne Architekturen des Deep Learning übertreffen bei der Schätzung des dichten optischen Flusses häufig herkömmliche mathematische Methoden, da sie komplexe Bewegungsmuster aus großen Datensätzen lernen.

Optischer Fluss im Vergleich zur Objektverfolgung#

Obwohl optischer Fluss und Objektverfolgung häufig gemeinsam eingesetzt werden, ist es wichtig, sie voneinander zu unterscheiden. Optischer Fluss ist eine Operation auf niedriger Ebene, die die momentane Pixelbewegung beschreibt; er versteht die Identität oder Persistenz von Objekten nicht automatisch.

Im Gegensatz dazu ist Objektverfolgung eine Aufgabe auf hoher Ebene, bei der bestimmte Entitäten lokalisiert und ihnen im Zeitverlauf konsistente IDs zugewiesen werden. Fortschrittliche Tracker, wie sie beispielsweise in Ultralytics YOLO26 integriert sind, führen typischerweise eine Objekterkennung durch, um das Objekt zu finden, und nutzen anschließend Bewegungssignale – die manchmal aus dem optischen Fluss abgeleitet werden –, um Erkennungen über mehrere Bilder hinweg einander zuzuordnen. Der optische Fluss beantwortet die Frage „Wie schnell bewegen sich diese Pixel gerade?“, während die Verfolgung die Frage beantwortet: „Wohin ist Auto Nr. 5 gefahren?“

Anwendungen in der Praxis#

Die Fähigkeit, Bewegungen auf Pixelebene zu schätzen, ermöglicht eine Vielzahl anspruchsvoller Technologien:

• Autonome Fahrzeuge und Robotik: Optischer Fluss wird für die visuelle Odometrie eingesetzt, sodass ein Roboter oder Auto seine eigene Bewegung relativ zur Umgebung schätzen kann. Außerdem unterstützt er die Tiefenschätzung und die Hindernisvermeidung, indem analysiert wird, wie schnell sich Objekte im Sichtfeld vergrößern oder bewegen.
• Videostabilisierung: Kameras und Videoschnittsoftware nutzen Flussvektoren, um unbeabsichtigtes Verwackeln der Kamera zu erkennen. Durch die Kompensation dieser globalen Bewegung können Systeme Aufnahmen digital stabilisieren. Dies ist eine Standardfunktion moderner Unterhaltungselektronik wie Smartphones und Action-Kameras.
• Aktivitätserkennung: In der Sportanalyse und Sicherheitsüberwachung hilft die Analyse des zeitlichen Pixelverlaufs Systemen dabei, komplexe menschliche Handlungen zu erkennen. Beispielsweise können Modelle zur Posenschätzung durch Flussdaten ergänzt werden, um anhand der Geschwindigkeit der Gliedmaßenbewegung zwischen Gehen und Laufen einer Person zu unterscheiden.
• Videokompression: Standards wie die MPEG-Videokodierung stützen sich stark auf die Bewegungsschätzung. Anstatt jedes vollständige Bild zu speichern, speichert der Codec den optischen Fluss (Bewegungsvektoren) und die Differenz (das Residuum) zwischen den Bildern, wodurch die Dateigröße für Streaming und Speicherung deutlich reduziert wird.

Implementierungsbeispiel#

Das folgende Beispiel zeigt, wie sich mithilfe der OpenCV-Bibliothek, einem Standardwerkzeug im Umfeld der Computer Vision, dichter optischer Fluss berechnen lässt. Dieses Snippet verwendet den Farneback-Algorithmus, um eine Flusskarte zwischen zwei aufeinanderfolgenden Bildern zu erzeugen.

import cv2
import numpy as np

# Simulate two consecutive frames (replace with actual image paths)
frame1 = np.zeros((100, 100, 3), dtype=np.uint8)
frame2 = np.zeros((100, 100, 3), dtype=np.uint8)
cv2.rectangle(frame1, (20, 20), (40, 40), (255, 255, 255), -1)  # Object at pos 1
cv2.rectangle(frame2, (25, 25), (45, 45), (255, 255, 255), -1)  # Object moved

# Convert to grayscale for flow calculation
prvs = cv2.cvtColor(frame1, cv2.COLOR_BGR2GRAY)
next = cv2.cvtColor(frame2, cv2.COLOR_BGR2GRAY)

# Calculate dense optical flow
flow = cv2.calcOpticalFlowFarneback(prvs, next, None, 0.5, 3, 15, 3, 5, 1.2, 0)

# Compute magnitude and angle of 2D vectors
mag, ang = cv2.cartToPolar(flow[..., 0], flow[..., 1])

print(f"Max motion detected: {np.max(mag):.2f} pixels")

Für Anwendungen auf hoher Ebene, bei denen die Persistenz von Objekten statt der rohen Pixelbewegung erforderlich ist, sollten Nutzer die in Ultralytics YOLO11 und YOLO26 verfügbaren Verfolgungsmodi in Betracht ziehen. Diese Modelle abstrahieren die Komplexität der Bewegungsanalyse und liefern standardmäßig robuste Objekt-IDs und Trajektorien für Aufgaben, die von der Verkehrsüberwachung bis zur Einzelhandelsanalyse reichen.