Scene Flow

Sahne akışı, dinamik bir sahnenin zaman içindeki üç boyutlu hareket alanıdır. Görünür noktaların kareler arasında gerçek dünyadaki 3B uzayda nasıl hareket ettiğini; yana, dikey yönde ve kameraya doğru ya da kameradan uzağa hareketlerini kapsayacak şekilde açıklar. Bilgisayarlı görü alanında sahne akışı, sistemlerin yalnızca görüntüde neyin hareket ediyor gibi göründüğünü değil, çevredeki geometrinin gerçekte nasıl değiştiğini de anlamasına yardımcı olur.

Sahne Akışı 3B Hareketi Nasıl Temsil Eder?#

Sahne akışı tahmini, gözlemlenen her sahne noktasına bir 3B yer değiştirme veya hız vektörü atar. Örneğin, bir yaya yolda yürürken kameraya yaklaşıyorsa, ilgili vektörler hem yanal hareketi hem de kameraya olan mesafenin azalmasını gösterir.

Bu, iki boyutlu görüntü düzlemindeki görünür piksel hareketini temsil eden optik akıştan farklıdır. Carnegie Mellon Sahne Akışı projesinin açıkladığı gibi, optik akış, 3B sahne akışının bir kamera görüntüsüne izdüşümü olarak anlaşılabilir. Bu nedenle, iki nokta görüntüde benzer şekilde hareket ederken derinlikte farklı biçimlerde hareket edebilir.

Yoğun sahne akışı, görünür noktaların çoğunun hareketini tahmin ederken seyrek sahne akışı seçili özellikleri, izlenen noktaları veya LiDAR dönüşlerini kapsar. Yoğun çıktı daha zengin geometrik ayrıntı sağlar, ancak daha fazla hesaplama ve kareler arasında güvenilir eşleşme gerektirir.

Sahne Akışı ve İlgili Görü İşleme Kavramları#

Sahne akışı, mekânsal yapıyı zamansal hareketle birleştirerek çeşitli ilgili görevler arasında yer alır:

• OpenCV ile optik akış tahmini: Yatay ve dikey piksel yer değiştirmesini tahmin eder. Bir nesnenin derinlik boyunca mı hareket ettiğini yoksa görünür harekete kameranın mı neden olduğunu bağımsız olarak belirleyemez.
• Derinlik tahmini: Genellikle tek bir kare için yüzeylerin kameraya ne kadar uzakta olduğunu belirler. Sahne akışı ayrıca bu 3B konumların zaman içinde nasıl değiştiğini açıklar.
• Stereo görü: Derinliği elde etmek için eşzamanlı kameraların karşılık gelen piksellerini kullanır. OpenCV stereo derinlik iş akışı, görünümler arasındaki paralaks farkının 3B yeniden yapılandırmayı nasıl desteklediğini açıklar.
• Nesne takibi: Genellikle sınırlayıcı kutular veya maskeler kullanarak nesne kimliklerini kareler boyunca korur. Sahne akışı bunun yerine nokta veya piksel düzeyindeki hareketi tahmin eder ve şekil değiştiren tek bir nesne içindeki farklı hareketleri temsil edebilir.
• Nokta bulutu hareketi: LiDAR ve RGB-D sistemleri, sahne akışını doğrudan 3B nokta kümeleri arasında tahmin edebilir. Open3D nokta bulutu kılavuzu, bu tür birçok işlem hattının kullandığı geometrik gösterimi tanıtır.

Sahne akışı ayrıca kamera geometrisine bağlıdır. Doğru OpenCV kamera kalibrasyonu, gerçek sahne hareketini kamera dönüşü, ötelemesi veya mercek bozulmasının neden olduğu değişikliklerden ayırmaya yardımcı olur.

Gerçek Dünya Uygulamaları#

• Otonom sürüş: Bir algı sistemi, yakındaki bir aracın şerit değiştirip değiştirmediğini, hızla yaklaşıp yaklaşmadığını veya trafikle birlikte hareket edip etmediğini tahmin edebilir. Yalnızca 2B hareketin aksine, sahne akışı derinlik ekseni boyunca hareketi içerdiğinden çarpışmaya kalan süre hakkında akıl yürütmeyi destekler. Otomotiv bilgisayarlı görü çözümlerindeki algılama, takip ve derinlik bileşenlerini tamamlayabilir. KITTI sahne akışı kıyaslama testi, kamera hareketi ve bağımsız hareket eden nesneler içeren yol sahnelerindeki değerlendirmeyi gösterirken, NHTSA otomatik araç güvenliği rehberi güvenlik odaklı algı sistemleri için daha geniş bir bağlam sunar.

• Robotik: Mobil bir robot, sabit bir rafı hareket eden bir çalışandan ayırt etmek, bir engelin 3B yörüngesini tahmin etmek ve çarpışma gerçekleşmeden önce rotasını güncellemek için sahne akışını kullanabilir. Robotik görü çözümlerinde bu bilgiler kameralar, derinlik sensörleri ve LiDAR ile birleştirilebilir. ROS sensör mesajı belgeleri, robot bileşenleri arasında görüntü, kamera bilgisi ve nokta bulutlarının alışverişi için yaygın arayüzleri tanımlar.

Tahmin Zorlukları ve Veriler#

Sahne akışı; stereo video, RGB-D kameralar, LiDAR dizileri veya öğrenilmiş derinlik ve hareket ipuçları içeren monoküler videodan elde edilebilir. Stereo ve etkin derinlik sensörleri daha güçlü geometrik ölçümler sağlarken, monoküler sistemlerin ölçeği çıkarsaması ve görsel bağlamdan yararlanarak belirsizlikleri çözmesi gerekir.

Yaygın hata durumları arasında örtülme, hareket bulanıklığı, yansıtıcı yüzeyler, dokusuz bölgeler, ince yapılar, değişen aydınlatma ve kareler arasındaki hızlı hareket yer alır. Kamera hareketi, sistemin öz hareketi bağımsız hareket eden nesnelerden ayırması gerektiği için ek bir zorluk yaratır. Hatalar, hatalı 3B yörüngelere yol açarak sonraki navigasyon veya çarpışma tahmini sistemlerinin hızı ve mesafeyi yanlış değerlendirmesine neden olabilir.

Eğitim verileri RGB kareleri, derinlik veya paralaks, optik akış, segmentasyon ve kamera parametrelerini içerebilir. Freiburg Sahne Akışı veri kümeleri, bu tamamlayıcı etiketlerin geometriyi ve hareketi birlikte nasıl tanımlayabileceğini gösterir.

Uygulamalı İş Akışı#

Ultralytics YOLO26, belgelenmiş monoküler derinlik tahmini görevi aracılığıyla sahne akışı işlem hattının derinlik bileşenini sağlayabilir. Aşağıdaki örnek, tek bir kare için yoğun bir derinlik haritası üretir:

from ultralytics import YOLO

# Sahnenin piksel başına 3B yapısını tahmin et.
model = YOLO("yolo26n-depth.pt")
results = model("https://ultralytics.com/images/bus.jpg")

result = results[0]
result.save(filename="depth_result.jpg")

print(result.depth.data.shape)

Bu YOLO26 iş akışı tek başına sahne akışını hesaplamaz. Piksel başına derinlik sağlar; eksiksiz bir işlem hattı bunu ardışık kareler, zamansal eşleşmeler ve kalibre edilmiş kamera pozlarıyla birleştirerek 3B yer değiştirmeyi tahmin edebilir. Uygulamada ekipler, özellikle örtülmelerin ve derinlik sınırlarının çevresinde, tam hareket alanını değerlendirmeden önce her bileşeni ayrı ayrı doğrulamalıdır.