Scene Flow

Szenenfluss ist das dreidimensionale Bewegungsfeld einer dynamischen Szene im Zeitverlauf. Es beschreibt, wie sich sichtbare Punkte zwischen Einzelbildern im realen 3D-Raum bewegen, einschließlich seitlicher und vertikaler Bewegungen sowie Bewegungen auf die Kamera zu oder von ihr weg. In der Computer Vision hilft der Szenenfluss Systemen nicht nur zu verstehen, was sich in einem Bild zu bewegen scheint, sondern auch, wie sich die umgebende Geometrie tatsächlich verändert.

Wie der Szenenfluss 3D-Bewegungen darstellt#

Eine Szenenflussschätzung weist jedem beobachteten Szenenpunkt einen 3D-Verschiebungs- oder Geschwindigkeitsvektor zu. Geht beispielsweise ein Fußgänger über eine Straße und nähert sich dabei einer Kamera, beschreiben die entsprechenden Vektoren sowohl die seitliche Bewegung als auch den abnehmenden Abstand zur Kamera.

Das unterscheidet sich vom optischen Fluss, der die scheinbare Pixelbewegung auf der zweidimensionalen Bildebene darstellt. Wie das Carnegie Mellon Scene Flow-Projekt erklärt, lässt sich optischer Fluss als Projektion des 3D-Szenenflusses auf ein Kamerabild verstehen. Daher können sich zwei Punkte im Bild ähnlich bewegen, obwohl sie sich in der Tiefe unterschiedlich bewegen.

Dichter Szenenfluss schätzt die Bewegung der meisten sichtbaren Punkte, während spärlicher Szenenfluss ausgewählte Merkmale, verfolgte Punkte oder LiDAR-Messpunkte erfasst. Eine dichte Ausgabe liefert reichhaltigere geometrische Details, erfordert jedoch mehr Rechenleistung und zuverlässige Zuordnungen zwischen Einzelbildern.

Szenenfluss im Vergleich zu verwandten Konzepten der Bildverarbeitung#

Der Szenenfluss verbindet räumliche Struktur mit zeitlicher Bewegung und liegt damit zwischen mehreren verwandten Aufgaben:

• Schätzung des optischen Flusses mit OpenCV: Schätzt die horizontale und vertikale Pixelverschiebung. Damit lässt sich nicht unabhängig feststellen, ob sich ein Objekt in der Tiefe bewegt hat oder ob die Kamera die scheinbare Bewegung verursacht hat.
• Tiefenschätzung: Bestimmt den Abstand von Oberflächen zur Kamera, normalerweise für ein Einzelbild. Der Szenenfluss beschreibt zusätzlich, wie sich diese 3D-Positionen im Zeitverlauf verändern.
• Stereoskopisches Sehen: Verwendet korrespondierende Pixel synchronisierter Kameras, um die Tiefe zu ermitteln. Der OpenCV-Workflow zur Stereotiefenschätzung erklärt, wie die Disparität zwischen Ansichten die 3D-Rekonstruktion unterstützt.
• Objektverfolgung: Behält Objektidentitäten über mehrere Einzelbilder hinweg bei, üblicherweise mithilfe von Begrenzungsrahmen oder Masken. Der Szenenfluss schätzt stattdessen die Bewegung auf Punkt- oder Pixelebene und kann unterschiedliche Bewegungen innerhalb eines einzelnen verformbaren Objekts darstellen.
• Bewegung von Punktwolken: LiDAR- und RGB-D-Systeme können den Szenenfluss direkt zwischen 3D-Punktmengen schätzen. Der Open3D-Leitfaden zu Punktwolken stellt die geometrische Darstellung vor, die in vielen solchen Verarbeitungsketten zum Einsatz kommt.

Der Szenenfluss hängt außerdem von der Kamerageometrie ab. Eine präzise Kamerakalibrierung mit OpenCV hilft dabei, tatsächliche Szenenbewegungen von Veränderungen durch Kameradrehung, -verschiebung oder Objektivverzeichnung zu unterscheiden.

Anwendungen in der Praxis#

• Autonomes Fahren: Ein Wahrnehmungssystem kann schätzen, ob ein Fahrzeug in der Nähe die Spur wechselt, sich schnell nähert oder im Verkehr mitfährt. Im Gegensatz zur alleinigen 2D-Bewegung ermöglicht der Szenenfluss Abschätzungen der Zeit bis zur Kollision, da er Bewegungen entlang der Tiefenachse einbezieht. Er kann Erkennung, Verfolgung und Tiefenkomponenten in Lösungen für Computer Vision im Automobilbereich ergänzen. Der KITTI-Benchmark für Szenenfluss veranschaulicht die Auswertung von Straßenszenen mit Kamerabewegungen und unabhängig bewegten Objekten, während die NHTSA-Leitlinien zur Sicherheit automatisierter Fahrzeuge einen breiteren Kontext für sicherheitsorientierte Wahrnehmungssysteme bieten.

• Robotik: Ein mobiler Roboter kann den Szenenfluss nutzen, um ein feststehendes Regal von einem sich bewegenden Mitarbeiter zu unterscheiden, die 3D-Bahn eines Hindernisses zu schätzen und seinen Weg anzupassen, bevor es zu einer Kollision kommt. In Lösungen für Computer Vision in der Robotik lassen sich diese Informationen mit Kameras, Tiefensensoren und LiDAR kombinieren. Die Dokumentation zu ROS-Sensornachrichten definiert gängige Schnittstellen für den Austausch von Bildern, Kamerainformationen und Punktwolken zwischen Roboterkomponenten.

Herausforderungen bei der Schätzung und Daten#

Szenenfluss lässt sich aus Stereovideos, RGB-D-Kameras, LiDAR-Sequenzen oder monokularen Videos mit erlernten Tiefen- und Bewegungshinweisen ableiten. Stereo- und aktive Tiefensensoren liefern genauere geometrische Messwerte, während monokulare Systeme den Maßstab erschließen und Mehrdeutigkeiten anhand des visuellen Kontexts auflösen müssen.

Zu den häufigen Fehlerursachen zählen Verdeckungen, Bewegungsunschärfe, reflektierende Oberflächen, texturlose Bereiche, dünne Strukturen, wechselnde Beleuchtung und schnelle Bewegungen zwischen Einzelbildern. Kamerabewegungen stellen eine zusätzliche Herausforderung dar, da das System die Eigenbewegung von unabhängig bewegten Objekten unterscheiden muss. Fehler können zu falschen 3D-Bahnen führen und dadurch nachgelagerte Navigations- oder Kollisionsvorhersagesysteme Geschwindigkeit und Entfernung falsch einschätzen lassen.

Trainingsdaten können RGB-Einzelbilder, Tiefe oder Disparität, optischen Fluss, Segmentierung und Kameraparameter enthalten. Die Freiburg-Datensätze zum Szenenfluss zeigen, wie diese sich ergänzenden Annotationen Geometrie und Bewegung gemeinsam beschreiben können.

Praktischer Workflow#

Ultralytics YOLO26 kann über die dokumentierte Aufgabe zur monokularen Tiefenschätzung die Tiefenkomponente einer Szenenfluss-Verarbeitungskette liefern. Das folgende Beispiel erzeugt eine dichte Tiefenkarte für ein Einzelbild:

from ultralytics import YOLO

# Die 3D-Struktur der Szene auf Pixelebene schätzen.
model = YOLO("yolo26n-depth.pt")
results = model("https://ultralytics.com/images/bus.jpg")

result = results[0]
result.save(filename="depth_result.jpg")

print(result.depth.data.shape)

Dieser YOLO26-Workflow berechnet den Szenenfluss nicht selbst. Er liefert die Tiefe auf Pixelebene, die eine vollständige Verarbeitungskette mit aufeinanderfolgenden Einzelbildern, zeitlichen Zuordnungen und kalibrierten Kameraposen kombinieren kann, um 3D-Verschiebungen zu schätzen. In der Praxis sollten Teams jede Komponente einzeln validieren, bevor sie das vollständige Bewegungsfeld auswerten, insbesondere an Verdeckungen und Tiefengrenzen.