Scene Flow

تدفق المشهد هو حقل الحركة ثلاثي الأبعاد لمشهد ديناميكي عبر الزمن. ويصف كيفية تحرك النقاط المرئية في الفضاء الحقيقي ثلاثي الأبعاد بين الإطارات، بما يشمل الحركة الجانبية والعمودية والحركة نحو الكاميرا أو بعيدًا عنها. في الرؤية الحاسوبية، يساعد تدفق المشهد الأنظمة على فهم ليس فقط ما يبدو أنه يتحرك في الصورة، بل أيضًا كيفية تغير الهندسة المحيطة فعليًا.

كيف يمثّل تدفق المشهد الحركة ثلاثية الأبعاد#

يسند تقدير تدفق المشهد متجه إزاحة أو سرعة ثلاثي الأبعاد إلى كل نقطة مرصودة في المشهد. على سبيل المثال، إذا سار أحد المشاة عبر طريق مقتربًا من كاميرا، تصف المتجهات المقابلة كلًا من الحركة الجانبية وتناقص المسافة إلى الكاميرا.

يختلف هذا عن التدفق البصري، الذي يمثّل الحركة الظاهرية لوحدات البكسل عبر مستوى الصورة ثنائي الأبعاد. وكما يوضح مشروع تدفق المشهد في جامعة كارنيغي ميلون، يمكن فهم التدفق البصري على أنه إسقاط تدفق المشهد ثلاثي الأبعاد على صورة الكاميرا. وبناءً على ذلك، قد تبدو حركة نقطتين متشابهة في الصورة رغم اختلاف حركتهما في العمق.

تقدّر كثافة تدفق المشهد الحركة لمعظم النقاط المرئية، بينما يغطي تدفق المشهد المتناثر سمات أو نقاطًا متتبعة أو قياسات LiDAR مختارة. ويوفر الناتج الكثيف تفاصيل هندسية أغنى، لكنه يتطلب قدرة حوسبة أكبر ومطابقة موثوقة بين الإطارات.

تدفق المشهد مقارنةً بمفاهيم الرؤية ذات الصلة#

يجمع تدفق المشهد بين البنية المكانية والحركة الزمنية، ويقع بذلك بين عدة مهام ذات صلة:

• تقدير التدفق البصري باستخدام OpenCV: يقدّر إزاحة وحدات البكسل أفقيًا وعموديًا. ولا يستطيع تحديد ما إذا كان جسم ما قد تحرك عبر العمق أم أن الكاميرا تسببت في الحركة الظاهرية.
• تقدير العمق: يحدد بُعد الأسطح عن الكاميرا، عادةً لإطار واحد. ويصف تدفق المشهد، إضافةً إلى ذلك، كيفية تغير تلك المواضع ثلاثية الأبعاد بمرور الزمن.
• الرؤية المجسمة: تستخدم وحدات البكسل المتناظرة من كاميرات متزامنة لاستعادة العمق. ويوضح سير عمل تقدير العمق المجسم باستخدام OpenCV كيف يدعم اختلاف المنظر بين المشاهد إعادة البناء ثلاثية الأبعاد.
• تتبّع الأجسام: يحافظ على هويات الأجسام عبر الإطارات، باستخدام مربعات الإحاطة أو الأقنعة عادةً. أما تدفق المشهد فيقدّر الحركة على مستوى النقطة أو البكسل، ويمكنه تمثيل حركات مختلفة داخل جسم واحد قابل للتشوه.
• حركة السحب النقطية: قد تقدّر أنظمة LiDAR وRGB-D تدفق المشهد مباشرةً بين مجموعات النقاط ثلاثية الأبعاد. ويقدم دليل السحب النقطية في Open3D التمثيل الهندسي الذي تستخدمه كثير من مسارات المعالجة هذه.

يعتمد تدفق المشهد أيضًا على هندسة الكاميرا. ويساعد معايرة الكاميرا باستخدام OpenCV بدقة على فصل حركة المشهد الفعلية عن التغيرات الناتجة عن دوران الكاميرا أو انتقالها أو تشوه العدسة.

تطبيقات في العالم الواقعي#

• القيادة الذاتية: يمكن لنظام الإدراك تقدير ما إذا كانت مركبة قريبة تغيّر مسارها، أو تقترب بسرعة، أو تتحرك مع حركة المرور. وعلى خلاف الحركة ثنائية الأبعاد وحدها، يدعم تدفق المشهد الاستدلال بشأن الزمن المتبقي حتى الاصطدام لأنه يشمل الحركة على محور العمق. ويمكنه استكمال مكونات الكشف والتتبّع والعمق في حلول الرؤية الحاسوبية للسيارات. ويوضح معيار KITTI لتدفق المشهد التقييم على مشاهد الطرق التي تتضمن حركة الكاميرا وأجسامًا تتحرك بصورة مستقلة، بينما توفر إرشادات NHTSA لسلامة المركبات المؤتمتة سياقًا أوسع لأنظمة الإدراك التي تركز على السلامة.

• الروبوتات: يمكن لروبوت متنقل استخدام تدفق المشهد للتمييز بين رف ثابت وعامل متحرك، وتقدير المسار ثلاثي الأبعاد لعائق، وتحديث مساره قبل وقوع تصادم. وفي حلول الرؤية للروبوتات، قد تُدمج هذه المعلومات مع الكاميرات ومستشعرات العمق وLiDAR. وتحدد وثائق رسائل المستشعرات في ROS الواجهات الشائعة لتبادل الصور ومعلومات الكاميرا والسحب النقطية بين مكونات الروبوت.

تحديات التقدير والبيانات#

يمكن اشتقاق تدفق المشهد من فيديو مجسم، أو كاميرات RGB-D، أو تسلسلات LiDAR، أو فيديو أحادي مع إشارات عمق وحركة مستفادة. وتوفر مستشعرات الاستريو والعمق النشط قياسات هندسية أقوى، في حين يتعين على الأنظمة أحادية الكاميرا استنتاج المقياس ومعالجة أوجه الالتباس بالاستناد إلى السياق البصري.

تشمل حالات الإخفاق الشائعة الحجب، وضبابية الحركة، والأسطح العاكسة، والمناطق الخالية من النسيج، والبنى الرقيقة، وتغير الإضاءة، والحركة السريعة بين الإطارات. وتضيف حركة الكاميرا تحديًا آخر، إذ يتعين على النظام فصل الحركة الذاتية عن الأجسام المتحركة بصورة مستقلة. وقد تؤدي الأخطاء إلى مسارات ثلاثية الأبعاد غير صحيحة، ما يجعل أنظمة الملاحة أو التنبؤ بالتصادم اللاحقة تسيء تقدير السرعة والمسافة.

قد تتضمن بيانات التدريب إطارات RGB والعمق أو اختلاف المنظر والتدفق البصري والتقسيم ومعلمات الكاميرا. وتوضح مجموعات بيانات تدفق المشهد في فرايبورغ كيف يمكن لهذه التسميات المتكاملة وصف الهندسة والحركة معًا.

سير العمل العملي#

يمكن لـ Ultralytics YOLO26 توفير مكوّن العمق في مسار معالجة تدفق المشهد من خلال مهمة تقدير العمق أحادي الكاميرا الموثقة. وينتج المثال التالي خريطة عمق كثيفة لإطار واحد:

from ultralytics import YOLO

# ⁨قدّر البنية ثلاثية الأبعاد للمشهد على مستوى كل بكسل.⁩
model = YOLO("yolo26n-depth.pt")
results = model("https://ultralytics.com/images/bus.jpg")

result = results[0]
result.save(filename="depth_result.jpg")

print(result.depth.data.shape)

لا يحسب سير العمل هذا باستخدام YOLO26 تدفق المشهد بمفرده. بل يوفر العمق لكل بكسل، ويمكن لمسار معالجة متكامل أن يدمجه مع إطارات متتالية ومراسلات زمنية ومواضع كاميرا معايرة لتقدير الإزاحة ثلاثية الأبعاد. عمليًا، ينبغي للفرق التحقق من صحة كل مكوّن على حدة قبل تقييم حقل الحركة الكامل، ولا سيما عند مناطق الحجب وحدود العمق.