Scene Flow

Scene Flow ist das dreidimensionale Bewegungsfeld einer dynamischen Szene im Zeitverlauf. Es beschreibt, wie sich sichtbare Punkte im realen 3D-Raum zwischen Frames bewegen, einschließlich seitlicher, vertikaler und auf die Kamera zu oder von ihr weg gerichteter Bewegungen. In der computer vision hilft Scene Flow Systemen zu verstehen, was sich in einem Bild scheinbar bewegt und wie sich die umliegende Geometrie tatsächlich verändert.

Wie Scene Flow 3D-Bewegungen darstellt#

Eine Scene-Flow-Schätzung weist jedem beobachteten Szenenpunkt einen 3D-Verschiebungs- oder Geschwindigkeitsvektor zu. Wenn beispielsweise ein Fußgänger eine Straße überquert und sich dabei einer Kamera nähert, beschreiben die entsprechenden Vektoren sowohl die horizontale Bewegung als auch die abnehmende Entfernung zur Kamera.

Dies unterscheidet sich von optical flow, das die scheinbare Pixelbewegung über die zweidimensionale Bildebene darstellt. Wie das Carnegie Mellon Scene Flow project erklärt, kann Optical Flow als die Projektion des 3D-Scene-Flows auf ein Kamerabild verstanden werden. Folglich können zwei Punkte ähnliche Bildbewegungen aufweisen, während sie sich in der Tiefe unterschiedlich bewegen.

Dichter Scene Flow schätzt die Bewegung für die meisten sichtbaren Punkte, während sparsamer Scene Flow ausgewählte Merkmale, verfolgte Punkte oder LiDAR-Rückläufe abdeckt. Eine dichte Ausgabe liefert detailliertere Geometrieinformationen, erfordert jedoch mehr Rechenleistung und eine zuverlässige Korrespondenz zwischen den Frames.

Scene Flow im Vergleich zu verwandten Vision-Konzepten#

Scene Flow kombiniert räumliche Struktur mit temporaler Bewegung und positioniert sich damit zwischen mehreren verwandten Aufgaben:

• Optical flow estimation with OpenCV: Schätzt die horizontale und vertikale Pixelverschiebung. Es kann nicht unabhängig voneinander bestimmen, ob sich ein Objekt durch die Tiefe bewegt hat oder ob die Kamera die scheinbare Bewegung verursacht hat.
• Depth estimation: Bestimmt, wie weit Oberflächen von der Kamera entfernt sind, in der Regel für ein einzelnes Frame. Scene Flow beschreibt zusätzlich, wie sich diese 3D-Positionen im Laufe der Zeit verändern.
• Stereo vision: Verwendet korrespondierende Pixel von synchronisierten Kameras, um die Tiefe wiederherzustellen. Der OpenCV stereo depth workflow erklärt, wie die Disparität zwischen Ansichten die 3D-Rekonstruktion unterstützt.
• Object tracking: Behält die Identitäten von Objekten über Frames hinweg bei, typischerweise unter Verwendung von Bounding Boxes oder Masken. Scene Flow schätzt stattdessen die Bewegung auf Punkt- oder Pixelebene und kann unterschiedliche Bewegungen innerhalb eines sich verformenden Objekts darstellen.
• Punktwolken-Bewegung: LiDAR- und RGB-D-Systeme können Scene Flow direkt zwischen 3D-Punktmengen schätzen. Der Open3D point-cloud guide führt in die geometrische Darstellung ein, die von vielen solchen Pipelines verwendet wird.

Scene Flow hängt auch von der Kamerageometrie ab. Eine genaue OpenCV camera calibration hilft dabei, tatsächliche Szenenbewegungen von Änderungen zu trennen, die durch Kamerarotation, -verschiebung oder Linsenverzerrung verursacht wurden.

Praxisanwendungen#

• Autonomes Fahren: Ein Perzeptionssystem kann abschätzen, ob ein nahegelegenes Fahrzeug die Spur wechselt, sich schnell nähert oder mit dem Verkehr schwimmt. Im Gegensatz zur reinen 2D-Bewegung unterstützt Scene Flow die Kollisionszeit-Berechnung (Time-to-Collision), da es die Bewegung entlang der Tiefenachse einbezieht. Es kann Erkennungs-, Tracking- und Tiefenkomponenten in automotive computer vision solutions ergänzen. Der KITTI scene flow benchmark veranschaulicht die Auswertung von Straßenszenen mit Kamerabewegungen und sich unabhängig bewegenden Objekten, während die NHTSA automated vehicle safety guidance einen breiteren Kontext für sicherheitsorientierte Perzeptionssysteme bietet.

• Robotik: Ein mobiler Roboter kann Scene Flow verwenden, um ein stationäres Regal von einem sich bewegenden Mitarbeiter zu unterscheiden, die 3D-Trajektorie eines Hindernisses abzuschätzen und seinen Pfad vor dem Auftreten einer Kollision zu aktualisieren. In robotics vision solutions können diese Informationen mit Kameras, Tiefensensoren und LiDAR kombiniert werden. Die ROS sensor message documentation definiert gängige Schnittstellen zum Austausch von Bildern, Kamerainformationen und Punktwolken zwischen Roboterkomponenten.

Schätzungsherausforderungen und Daten#

Scene Flow kann aus Stereovideo, RGB-D-Kameras, LiDAR-Sequenzen oder monokularem Video mit gelernten Tiefen- und Bewegungshinweisen abgeleitet werden. Stereo- und aktive Tiefensensoren liefern stärkere geometrische Messungen, während monokulare Systeme Skalierungen ableiten und Mehrdeutigkeiten aus dem visuellen Kontext auflösen müssen.

Häufige Fehlerfälle sind Verdeckungen, Bewegungsunschärfe, reflektierende Oberflächen, texturlose Regionen, dünne Strukturen, sich ändernde Beleuchtung und schnelle Bewegungen zwischen Frames. Kamerabewegungen stellen eine zusätzliche Herausforderung dar, da das System Eigenbewegungen von sich unabhängig bewegenden Objekten trennen muss. Fehler können zu falschen 3D-Trajektorien führen, wodurch nachgelagerte Navigations- oder Kollisionsvorhersagesysteme Geschwindigkeit und Entfernung falsch einschätzen.

Trainingsdaten können RGB-Frames, Tiefe oder Disparität, Optical Flow, Segmentierung und Kameraparameter umfassen. Die Freiburg Scene Flow datasets zeigen, wie diese sich ergänzenden Labels Geometrie und Bewegung gemeinsam beschreiben können.

Praktischer Workflow#

Ultralytics YOLO26 kann die Tiefenkomponente einer Scene-Flow-Pipeline durch seine dokumentierte monocular depth estimation task bereitstellen. Das folgende Beispiel erzeugt eine dichte Tiefenkarte für ein einzelnes Frame:

from ultralytics import YOLO

# Estimate the scene's per-pixel 3D structure.
model = YOLO("yolo26n-depth.pt")
results = model("https://ultralytics.com/images/bus.jpg")

result = results[0]
result.save(filename="depth_result.jpg")

print(result.depth.data.shape)

Dieser YOLO26-Workflow berechnet den Scene Flow nicht eigenständig. Er liefert die Tiefeninformationen pro Pixel, die eine vollständige Pipeline mit aufeinanderfolgenden Frames, temporalen Korrespondenzen und kalibrierten Kamerapositionen kombinieren kann, um die 3D-Verschiebung abzuschätzen. In der Praxis sollten Teams jede Komponente separat validieren, bevor sie das vollständige Bewegungsfeld auswerten, insbesondere im Bereich von Verdeckungen und Tiefengrenzen.