Scene Flow

تدفق المشهد هو حقل الحركة ثلاثي الأبعاد لمشهد ديناميكي بمرور الوقت. وهو يصف كيف تتحرك النقاط المرئية في الفضاء ثلاثي الأبعاد في العالم الحقيقي بين الإطارات، بما في ذلك الحركة الجانبية، والرأسية، والتي تكون باتجاه الكاميرا أو بعيداً عنها. في رؤية الحاسوب، يساعد تدفق المشهد الأنظمة على فهم ليس فقط ما يبدو أنه يتحرك في الصورة، بل كيف تتغير الهندسة المحيطة فعلياً.

كيف يمثل تدفق المشهد الحركة ثلاثية الأبعاد#

يخصص تقدير تدفق المشهد إزاحة ثلاثية الأبعاد أو متجهة سرعة لكل نقطة مرصودة في المشهد. على سبيل المثال، إذا كان أحد المشاة يسقط عبر طريق بينما يقترب من الكاميرا، فإن المتجهات المقابلة تصف كلاً من الحركة الجانبية والمسافة المتناقصة إلى الكاميرا.

يختلف هذا عن التدفق البصري، الذي يمثل حركة البكسل الظاهرة عبر مستوي الصورة ثنائي الأبعاد. وكما يوضح مشروع تدفق المشهد في جامعة كارنيجي ميلون، يمكن فهم التدفق البصري على أنه إسقاط لتدفق المشهد ثلاثي الأبعاد على صورة الكاميرا. ونتيجة لذلك، قد يكون لنقطتين حركة صورة متشابهة بينما تحركان بشكل مختلف في العمق.

يقدر تدفق المشهد الكثيف الحركة لمعظم النقاط المرئية، بينما يغطي تدفق المشهد المتفرق الميزات المحددة، أو النقاط المتتبعة، أو عائدات LiDAR. يوفر الناتج الكثيف تفاصيل هندسية أغنى ولكنه يتطلب حوسبة أكثر وتطابقاً موثوقاً بين الإطارات.

تدفق المشهد مقابل مفاهيم الرؤية ذات الصلة#

يجمع تدفق المشهد بين البنية المكانية والحركة الزمنية، مما يضعه بين عدة مهام ذات صلة:

• تقدير التدفق البصري باستخدام OpenCV: يقدر إزاحة البكسل الأفقية والرأسية. ولا يمكنه تحديد ما إذا كان الكائن قد تحرك عبر العمق بشكل مستقل أم أن الكاميرا تسببت في الحركة الظاهرة.
• تقدير العمق: يحدد مدى بعد الأسطح عن الكاميرا، عادةً لإطار واحد. يصف تدفق المشهد بالإضافة إلى ذلك كيف تتغير تلك المواضع ثلاثية الأبعاد بمرور الوقت.
• الرؤية المجسمة (ستيريو): تستخدم بكسلات مقابلة من كاميرات متزامنة لاستعادة العمق. يوضح سير عمل العمق المجسم لـ OpenCV كيف يدعم التباين بين العروض إعادة البناء ثلاثية الأبعاد.
• تتبع الكائنات: يحافظ على هويات الكائنات عبر الإطارات، عادةً باستخدام مربعات الإحاطة أو الأقنعة. يقدر تدفق المشهد بدلاً من ذلك الحركة على مستوى النقاط أو البكسلات ويمكنه تمثيل حركات مختلفة داخل كائن تشوه واحد.
• حركة السحاب النقطي: قد تقدر أنظمة LiDAR و RGB-D تدفق المشهد مباشرة بين مجموعات النقاط ثلاثية الأبعاد. يقدم دليل السحاب النقطي Open3D التمثيل الهندسي الذي تستخدمه العديد من هذه الخطوط والأنابيب.

يعتمد تدفق المشهد أيضاً على هندسة الكاميرا. يساعد معايرة كاميرا OpenCV الدقيقة في فصل حركة المشهد الفعلية عن التغييرات الناتجة عن دوران الكاميرا، أو انتقالها، أو تشوه العدسة.

تطبيقات العالم الحقيقي#

• القيادة الذاتية: يمكن لنظام الإدراك تقدير ما إذا كانت مركبة مجاورة تغير مسارها، أو تقترب بسرعة، أو تتحرك مع حركة المرور. على عكس الحركة ثنائية الأبعاد وحدها، يدعم تدفق المشهد الاستدلال على الوقت حتى الاصطدام لأنه يتضمن الحركة على محور العمق. يمكنه تكملة مكونات الكشف، والتتبع، والعمق في حلول رؤية الحاسوب للسيارات. يوضح معيار تدفق المشهد KITTI التقييم على مشاهد الطرق التي تحتوي على حركة الكاميرا والكائنات التي تتحرك بشكل مستقل، بينما يوفر إرشادات سلامة المركبات الآلية من NHTSA سياقاً أوسع لأنظمة الإدراك التي تركز على السلامة.

• الروبوتات: يمكن لروبوت متنقل استخدام تدفق المشهد لتمييز رف ثابت عن عامل يتحرك، وتقدير المسار ثلاثي الأبعاد لعائق، وتحديث مساره قبل حدوث اصطدام. في حلول رؤية الروبوتات، قد يتم دمج هذه المعلومات مع الكاميرات، ومستشعرات العمق، و LiDAR. تحدد وثائق رسائل مستشعر ROS الواجهات الشائعة لتبادل الصور، ومعلومات الكاميرا، والسحب النقطية بين مكونات الروبوت.

تحديات التقدير والبيانات#

يمكن استخلاص تدفق المشهد من فيديو استريو، أو كاميرات RGB-D، أو تسلسلات LiDAR، أو فيديو أحادي العين مع إشارات العمق والحركة المتعلمة. توفر مستشعرات الاستريو والعمق النشط قياسات هندسية أقوى، بينما يجب على الأنظمة أحادية العين استنتاج النطاق وحل الغموض من السياق البصري.

تشمل حالات الفشل الشائعة الاحتجاب، وضبابية الحركة، والأسطح العاكسة، والمناطق الخالية من النسيج، والهياكل الرقيقة، والإضاءة المتغيرة، والحركة السريعة بين الإطارات. تخلق حركة الكاميرا تحدياً إضافياً لأن النظام يجب أن يفصل الحركة الذاتية عن الكائنات التي تتحرك بشكل مستقل. يمكن أن تنتج الأخطاء مسارات ثلاثية الأبعاد غير صحيحة، مما يتسبب في قيام أنظمة الملاحة أو التنبؤ بالاصطدام في المصب بسوء تقدير السرعة والمسافة.

قد تتضمن بيانات التدريب إطارات RGB، أو العمق أو التباين، أو التدفق البصري، أو التجزئة، أو معاملات الكاميرا. توضح مجموعات بيانات تدفق المشهد Freiburg كيف يمكن لهذه التسميات التكميلية وصف الهندسة والحركة معاً.

سير العمل العملي#

يمكن لـ Ultralytics YOLO26 توفير مكون العمق لخط أنابيب تدفق المشهد من خلال مهمة تقدير العمق أحادي العين الموثقة الخاصة به. ينتج المثال التالي خريطة عمق كثيفة لإطار واحد:

from ultralytics import YOLO

# Estimate the scene's per-pixel 3D structure.
model = YOLO("yolo26n-depth.pt")
results = model("https://ultralytics.com/images/bus.jpg")

result = results[0]
result.save(filename="depth_result.jpg")

print(result.depth.data.shape)

سير عمل YOLO26 هذا لا يحسب تدفق المشهد بمفرده. فهو يزود بالعمق لكل بكسل، والذي يمكن أن يجمعه خط أنابيب كامل مع الإطارات المتتالية، والتطابقات الزمنية، وأوضاع الكاميرا المعايرة لتقدير الإزاحة ثلاثية الأبعاد. في الممارسة العملية، يجب على الفرق التحقق من كل مكون بشكل منفصل قبل تقييم حقل الحركة الكامل، خاصة حول الاحتجاب وграницы العمق.