Stereo Vision
تقيس الرؤية المجسّمة العمق بمطابقة كل نقطة بين كاميرتين متباعدتين، ثم تثليث الإزاحة بين المنظورين، كما في الروبوتات والسيارات والمركبات الجوالة.
الرؤية المجسمة هي تقنية في الرؤية الحاسوبية لاستخلاص العمق من صورتين للمشهد نفسه تلتقطهما كاميرتان تفصل بينهما مسافة معلومة. تظهر نقطة على جسم قريب في موضعين مختلفين بوضوح في الصورة اليسرى والصورة اليمنى، بينما تظهر نقطة بعيدة في الموضع نفسه تقريبًا؛ ويتحول هذا الانزياح الأفقي، المعروف باسم التفاوت، مباشرةً إلى مسافة عن طريق التثليث. تعمل الرؤية الثنائية لدى البشر بالطريقة نفسها، إذ تفصل بين العينين مسافة تقارب 6 سم. وتتيح منظومات الكاميرات المجسمة لأنظمة الروبوتات والسيارات والطائرات المسيّرة والمركبات الجوالة الكوكبية تقدير العمق بكثافة باستخدام كاميرات سلبية عادية.
آلية عمل الرؤية المجسمة#
يحتاج النظام المجسّم أولًا إلى معايرة الكاميرا: أي تحديد البعد البؤري وتشوه العدسة لكل كاميرا، إلى جانب الدوران والإزاحة بين الكاميرتين. ثم تُصحّح الصورتان هندسيًا بحيث تأخذ الهندسة الإبيبولارية أبسط أشكالها، إذ يقع تطابق كل نقطة على الصف نفسه في الصورة الأخرى. وهذا يحوّل مسألة المطابقة، أي العثور على نقطة المشهد نفسها في المنظرين، إلى بحث أحادي البعد على امتداد صف. وبالنسبة إلى بكسل مطابق ذي اختلاف منظر d، يُحسب العمق وفق Z = f × B / d، حيث f هو البعد البؤري بالبكسل، وB هو خط الأساس، أي المسافة بين الكاميرتين.
يشغّل هذا المثال خوارزمية المطابقة شبه العالمية في OpenCV على زوج من الصور المصححة هندسيًا من معيار Middlebury 2014 للرؤية المجسّمة، المرفق مع scikit-image إلى جانب قيم الحقيقة الأساسية لاختلاف المنظر الدقيقة دون البكسل، والمقاسة باستخدام الضوء المنظّم:
import cv2
import numpy as np
from skimage import data
# Rectified Middlebury stereo pair with ground-truth disparity (focal length 995 px, baseline 0.193 m)
left, right, true_disp = data.stereo_motorcycle()
left, right = cv2.cvtColor(left, cv2.COLOR_RGB2GRAY), cv2.cvtColor(right, cv2.COLOR_RGB2GRAY)
# Semi-global matching searches each pixel's row in the other image; OpenCV returns 1/16-pixel units
sgbm = cv2.StereoSGBM_create(minDisparity=0, numDisparities=80, blockSize=5, P1=200, P2=800, uniquenessRatio=10)
disp = sgbm.compute(left, right).astype(np.float32) / 16
# Score the pixels that have ground truth and a confident match
valid = np.isfinite(true_disp) & (disp > 0)
good = np.abs(disp - true_disp)[valid] < 1
print(f"Matched {valid.mean():.0%} of pixels, {good.mean():.1%} of them within 1 px of ground truth")
# Triangulate depth: Z = focal * baseline / (disparity + offset between the two principal points)
depth, true_depth = (994.978 * 0.193 / (d + 31.086) for d in (disp, true_disp))
print(f"Depth at the image center: {depth[250, 370]:.2f} m (ground truth {true_depth[250, 370]:.2f} m)")يطبع Matched 79% of pixels, 91.0% of them within 1 px of ground truth وعمقًا مقداره 2.40 m عند مركز الصورة، وهو ما يطابق الحقيقة الأساسية. وتتكون معظم وحدات البكسل غير المطابقة من شريط بعرض 80 بكسل على الحافة اليسرى، حيث سيتجاوز البحث عبر 80 قيمة لاختلاف المنظر حدود الصورة اليمنى.
خوارزميات المطابقة والدقة#
تفشل مقارنة نوافذ البكسلات الصغيرة عندما تفتقر النافذة إلى النسيج، أو يتكرر فيها نمط، أو تعبر حافة جسم. وتضيف المطابقة شبه العالمية، التي قدمها هيكو هيرشمولر عام 2005 ونُفّذت بصيغة معدّلة باسم StereoSGBM في OpenCV، عقوبةً على القفزات في اختلاف المنظر، وتجمعها على امتداد عدة مسارات أحادية البعد عبر الصورة؛ ما يملأ المناطق ضعيفة النسيج مع الحفاظ على حدة حواف الأجسام. وتستبدل أساليب التعلم العميق تكاليف المطابقة المُصمَّمة يدويًا بـخرائط ميزات متعلّمة وحجم تكلفة يغطي قيم اختلاف المنظر المحتملة، بينما تحسّن RAFT-Stereo مجال اختلاف المنظر بتحديثات تكرارية على غرار شبكات التدفق البصري. وتُقارن الأساليب على معيار Middlebury للرؤية المجسّمة، الذي أطلقه دانيال شارشتاين وريتشارد سيزلِسكي عام 2002، وعلى مشاهد القيادة في KITTI ذات الحقيقة الأساسية المستمدة من LiDAR.
تتراجع الدقة بسرعة مع زيادة المسافة. ويؤدي اشتقاق صيغة العمق إلى خطأ في العمق يقارب Z² / (f × B) لكل بكسل من خطأ التفاوت، لذا فإن الخطأ البالغ بكسلًا واحدًا يعني 3 سم عند 2.4 م و52 سم عند 10 م، مع وجود الكاميرا في الأعلى. تؤدي زيادة المسافة بين الكاميرتين أو طول البعد البؤري إلى توسيع النطاق المفيد، على حساب زيادة الحد الأدنى للمسافة وزيادة المناطق التي لا تراها إلا كاميرا واحدة. وتُسقط كاميرات الستيريو النشطة، مثل سلسلة Intel RealSense D400، نمطًا من النقاط بالأشعة تحت الحمراء على المشهد، ما يمنح الجدران الخالية من المعالم النسيج الذي تحتاج إليه المطابقة.
الرؤية المجسمة مقارنةً بالعمق أحادي العين والمستشعرات النشطة#
يتنبأ تقدير العمق أحادي العين بالعمق من صورة واحدة باستخدام إشارات متعلمة مثل المنظور وحجم الجسم والحجب، لذا يأتي مقياسه من بيانات التدريب، بينما يقيس الاستريو المقياس هندسيًا من خط الأساس. وتسلك نماذج تقدير العمق من Ultralytics YOLO26 المسار أحادي العين، فتتنبأ بخريطة عمق بالأمتار من صورة RGB واحدة، ويضبط model.calibrate() مقياسها المتري ليتوافق مع كاميرا محددة باستخدام مجموعة صغيرة من الصور ذات أعماق مقاسة. وتقيس كاميرات LiDAR ووقت الرحلة المسافة مباشرةً عبر توقيت الضوء المنبعث، وتجمعها مركبات كثيرة مع الاستريو عبر دمج المستشعرات. ويُستخدم العمق الاستريوي أيضًا في اكتشاف الأجسام ثلاثية الأبعاد وإعادة البناء ثلاثية الأبعاد وSLAM البصري، وتؤدي إضافة الزمن إلى تدفق المشهد، أي الحركة ثلاثية الأبعاد لكل نقطة.
تطبيقات عملية#
- مساعدة السائق: يستخدم نظام EyeSight من Subaru كاميرتين مثبتتين قرب مرآة الرؤية الخلفية لقياس المسافة إلى المركبات والمشاة أمام السيارة، وذلك للتحكم التكيفي في ثبات السرعة والكبح التلقائي في حالات الطوارئ.
- التقاط الروبوتات للأشياء: تحدد كاميرات العمق المجسم المثبتة على أذرع الروبوتات مواقع القطع في الصناديق وعلى السيور الناقلة، وتوفر الموضع والاتجاه ثلاثيي الأبعاد اللذين تحتاج إليهما الماسكة.
- الطائرات المسيّرة: تكشف الطائرات المسيّرة الاستهلاكية، مثل سلسلة Mavic من DJI، العوائق باستخدام مستشعرات رؤية ثنائية العينين الموجهة في عدة اتجاهات.
- المركبات الجوالة الكوكبية: تقود مركبة Perseverance الجوالة التابعة لوكالة NASA نفسها عبر سطح المريخ، بإنشاء خرائط ثلاثية الأبعاد للتضاريس على متنها انطلاقًا من كاميرات الملاحة المجسمة.










