Scene Flow

Scene flow, dinamik bir sahnenin zaman içindeki üç boyutlu hareket alanıdır. Kareler arasında gerçek dünya 3D uzayında görünür noktaların nasıl hareket ettiğini açıklar; buna yana doğru, dikey ve kameraya doğru ya da kameradan uzaklaşan hareket dahildir. Computer vision alanında scene flow, sistemlerin yalnızca bir görüntüde neyin hareket ediyor gibi göründüğünü değil, aynı zamanda çevreleyen geometrinin aslında nasıl değiştiğini anlamasına yardımcı olur.

Scene Flow 3D Hareketi Nasıl Temsil Eder?#

Bir scene flow tahmini, gözlemlenen her sahne noktasına 3D bir yer değiştirme veya hız vektörü atar. Örneğin, bir yaya kameraya yaklaşırken yoldan karşıya geçerse, karşılık gelen vektörler hem yanal hareketi hem de kameraya olan mesafenin azaldığını tanımlar.

Bu durum, iki boyutlu görüntü düzlemi boyunca görünen piksel hareketini temsil eden optical flow kavramından farklıdır. Carnegie Mellon Scene Flow project projesinin açıkladığı gibi, optical flow, 3D scene flow'un bir kamera görüntüsüne izdüşümü olarak anlaşılabilir. Sonuç olarak, iki nokta derinlikte farklı şekillerde hareket ederken benzer görüntü hareketine sahip olabilir.

Yoğun scene flow, görünen noktaların çoğu için hareketi tahmin ederken, seyrek scene flow seçilen özellikleri, izlenen noktaları veya LiDAR dönüşlerini kapsar. Yoğun çıktı daha zengin geometrik detay sağlar ancak daha fazla hesaplama ve kareler arasında güvenilir karşılık bulma gerektirir.

Scene Flow ve İlgili Görüntüleme Kavramları#

Scene flow, uzamsal yapıyı zamansal hareketle birleştirerek onu birkaç ilgili görevin arasına konumlandırır:

• Optical flow estimation with OpenCV: Yatay ve dikey piksel yer değiştirmesini tahmin eder. Bir nesnenin derinlik boyunca hareket edip etmediğini veya kameranın görünür harekete neden olup olmadığını bağımsız olarak belirleyemez.
• Depth estimation: Genellikle tek bir kare için yüzeylerin kameradan ne kadar uzakta olduğunu belirler. Scene flow ayrıca bu 3D konumların zaman içinde nasıl değiştiğini açıklar.
• Stereo vision: Derinliği kurtarmak için senkronize kameradaki karşılık gelen pikselleri kullanır. OpenCV stereo depth workflow iş akışı, görünümler arasındaki eşitsizliğin 3D yeniden oluşturmayı nasıl desteklediğini açıklar.
• Object tracking: Genellikle sınırlayıcı kutular (bounding boxes) veya maskeler kullanarak nesne kimliklerini kareler arasında korur. Scene flow ise bunun yerine nokta veya piksel düzeyinde hareket tahmin eder ve deforme olan tek bir nesne içindeki farklı hareketleri temsil edebilir.
• Nokta bulutu hareketi (Point-cloud motion): LiDAR ve RGB-D sistemleri, 3D nokta kümeleri arasında doğrudan scene flow tahmini yapabilir. Open3D point-cloud guide kılavuzu, bu tür birçok boru hattı (pipeline) tarafından kullanılan geometrik gösterimi tanıtır.

Scene flow ayrıca kamera geometrisine de bağlıdır. Doğru bir OpenCV camera calibration işlemi, gerçek sahne hareketini kamera rotasyonu, translasyonu veya lens bozulmasından kaynaklanan değişikliklerden ayırmaya yardımcı olur.

Gerçek Dünya Uygulamaları#

• Otonom sürüş: Bir algılama sistemi, yakındaki bir aracın şerit değiştirip değiştirmediğini, hızla yaklaşıp yaklaşmadığını veya trafikle birlikte hareket edip etmediğini tahmin edebilir. Yalnızca 2D hareketten farklı olarak scene flow, derinlik ekseni boyunca hareketi içerdiği için çarpışma süresi (time-to-collision) muhakemesini destekler. Automotive computer vision solutions içinde algılama, izleme ve derinlik bileşenlerini tamamlayabilir. KITTI scene flow benchmark testi, kamera hareketi ve bağımsız olarak hareket eden nesneler içeren yol sahnelerindeki değerlendirmeyi gösterirken, NHTSA automated vehicle safety guidance kılavuzu güvenlik odaklı algılama sistemleri için daha geniş bir bağlam sağlar.

• Robotik: Mobil bir robot, sabit bir rafı hareketli bir çalışandan ayırt etmek, bir engelin 3D yörüngesini tahmin etmek ve bir çarpışma gerçekleşmeden önce rotasını güncellemek için scene flow kullanabilir. Robotics vision solutions içinde bu bilgi kameralar, derinlik sensörleri ve LiDAR ile birleştirilebilir. ROS sensor message documentation belgesi, robotik bileşenler arasında görüntüleri, kamera bilgilerini ve nokta bulutlarını değiş tokuş etmek için ortak arayüzleri tanımlar.

Tahmin Zorlukları ve Veriler#

Scene flow; stereo video, RGB-D kameralar, LiDAR dizileri veya öğrenilmiş derinlik ve hareket ipuçlarına sahip monoküler video üzerinden elde edilebilir. Stereo ve aktif derinlik sensörleri daha güçlü geometrik ölçümler sağlarken, monoküler sistemler ölçeği çıkarmak ve görsel bağlamdaki belirsizlikleri çözmek zorundadır.

Yaygın hata durumları arasında tıkanma (occlusion), hareket bulanıklığı, yansıtıcı yüzeyler, dokusuz bölgeler, ince yapılar, değişen aydınlatma ve kareler arasındaki hızlı hareket yer alır. Kamera hareketi ek bir zorluk yaratır çünkü sistem, ego-motion (öz hareket) kavramını bağımsız olarak hareket eden nesnelerden ayırmak zorundadır. Hatalar yanlıştır 3D yörüngeler üretebilir ve bu da aşağı akış (downstream) navigasyon veya çarpışma tahmini sistemlerinin hızı ve mesafeyi yanlış değerlendirmesine neden olabilir.

Eğitim verileri RGB kareleri, derinlik veya eşitsizlik (disparity), optical flow, segmentasyon ve kamera parametrelerini içerebilir. Freiburg Scene Flow datasets veri setleri, bu tamamlayıcı etiketlerin geometriyi ve hareketi birlikte nasıl tanımlayabileceğini gösterir.

Pratik İş Akışı#

Ultralytics YOLO26, belgelenmiş monocular depth estimation task görevi aracılığıyla bir scene flow boru hattının derinlik bileşenini sağlayabilir. Aşağıdaki örnek, tek bir kare için yoğun bir derinlik haritası üretir:

from ultralytics import YOLO

# Estimate the scene's per-pixel 3D structure.
model = YOLO("yolo26n-depth.pt")
results = model("https://ultralytics.com/images/bus.jpg")

result = results[0]
result.save(filename="depth_result.jpg")

print(result.depth.data.shape)

Bu YOLO26 iş akışı, kendi başına scene flow hesaplamaz. Tam bir boru hattının 3D yer değiştirmeyi tahmin etmek için ardışık kareler, zamansal karşılıklar ve kalibre edilmiş kamera pozlarıyla birleştirebileceği piksel başına derinliği sağlar. Pratikte ekipler, özellikle tıkanmalar ve derinlik sınırları etrafında, tam hareket alanını değerlendirmeden önce her bileşeni ayrı ayrı doğrulamalıdır.