Visual SLAM (Simultaneous Localization and Mapping)
ينشئ SLAM البصري خريطة لمساحة مجهولة، ويتتبّع في الوقت نفسه وضعية الكاميرا داخلها انطلاقًا من الصور. يتناول هذا النص التتبّع وإغلاق الحلقة والمقياس وSLAM العميق.
تتمثل مشكلة SLAM المرئي (التحديد المتزامن للموقع ورسم الخرائط) في بناء خريطة لبيئة مجهولة مع تتبّع موضع الكاميرا واتجاهها داخلها، باستخدام الصور بوصفها المستشعر الرئيسي. يعتمد الشقان أحدهما على الآخر: فتحديد موقع الكاميرا يتطلب خريطة، وإنشاء الخريطة يتطلب معرفة موضع الكاميرا. تستخدم أنظمة SLAM المرئي كاميرا واحدة (أحادية)، أو زوجًا من الكاميرات المجسمة، أو كاميرا RGB-D تقيس العمق أيضًا، وتدمج أنظمة كثيرة منها وحدة قياس القصور الذاتي (IMU) كذلك؛ ويُسمّى هذا الدمج SLAM المرئي-القصوري أو، في غياب خريطة دائمة، التقدير الحركي المرئي-القصوري. وتستخدم الهواتف وسماعات الرأس هذه التقنية لتثبيت محتوى الواقع المعزز، كما يفعل ARKit من Apple عبر دمج سمات الكاميرا مع بيانات مستشعر الحركة، وتستخدمها الروبوتات والطائرات المسيّرة للتنقل في الأماكن التي لا يتوفر فيها GPS.
آلية عمل Visual SLAM#
يشغّل النظام النموذجي عمليات التتبّع ورسم الخرائط وإغلاق الحلقة بالتوازي. وقد فصل نظام الواقع المعزز PTAM، الذي ظهر عام 2007، التتبّع عن رسم الخرائط بهذه الطريقة، ويتبع التصميم نفسه كل من ORB-SLAM3 ومعظم الأنظمة اللاحقة المعتمدة على السمات:
- التتبّع: في كل إطار، تكتشف الواجهة الأمامية سمات مثل زوايا ORB، وتطابقها مع الخريطة أو الإطار السابق، وتقدّر وضع الكاميرا بدرجات الحرية الست. ويُسمّى هذا التقدير من إطار إلى آخر وحده التقدير الحركي البصري. أما الطرق المباشرة مثل DSO فتتجاوز السمات وتحاذي شدة البكسلات بدلاً منها.
- رسم الخرائط المحلي: تضيف الإطارات المفتاحية المختارة نقاطاً ثلاثية الأبعاد جديدة عبر تثليث السمات المتطابقة، كما يحسّن ضبط الحزمة أوضاع الكاميرات والنقاط القريبة معاً لتقليل خطأ إعادة الإسقاط.
- إغلاق الحلقة: تتراكم الأخطاء الصغيرة لتشكّل انحرافاً. وعندما يتعرّف النظام على مكان رآه من قبل، عادةً بمقارنة واصفات المظهر المدمجة للإطارات المفتاحية، يضيف قيداً بين الزيارتين ويحسّن المسار بأكمله كي تتطابق الخريطة مجدداً.
الحركة من منظورين ومشكلة المقياس#
يعتمد جوهر خطوة التتبّع على هندسة المنظورين المستمدة من الهندسة الإهليلجية: فاستناداً إلى السمات المتطابقة بين إطارين، ترمّز المصفوفة الأساسية دوران الكاميرا واتجاه انتقالها. ويُسقط مثال OpenCV هذا معالم ثلاثية الأبعاد اصطناعية على إطارين مع إضافة ضوضاء، ثم يستعيد الحركة بينهما:
import cv2
import numpy as np
rng = np.random.default_rng(0)
K = np.array([[500.0, 0, 320], [0, 500.0, 240], [0, 0, 1]]) # camera intrinsics for a 640x480 image
points = rng.uniform([-1.8, -1.4, 3], [1.8, 1.4, 6], (200, 3)) # static 3D landmarks 3-6 m ahead
# Between frames the camera turns 5 degrees and moves 0.3 m to the right
R_true = cv2.Rodrigues(np.array([0.0, np.radians(5), 0.0]))[0]
t_true = np.array([-0.3, 0.0, 0.0])
def project(X, R, t):
"""Project 3D points to pixels and add 0.5 px of feature-detection noise."""
x = (K @ (X @ R.T + t).T).T
return x[:, :2] / x[:, 2:] + rng.normal(0, 0.5, (len(X), 2))
pts1, pts2 = project(points, np.eye(3), np.zeros(3)), project(points, R_true, t_true)
# Two-view motion estimate: essential matrix from matched features, then the relative pose
E, inliers = cv2.findEssentialMat(pts1, pts2, K, method=cv2.RANSAC, threshold=1.0)
_, R, t, _ = cv2.recoverPose(E, pts1, pts2, K, mask=inliers)
print(f"Rotation: {np.degrees(np.linalg.norm(cv2.Rodrigues(R)[0])):.2f} deg (true 5.00)")
print(f"Translation: {t.ravel().round(2).tolist()}, length {np.linalg.norm(t):.2f} (true length 0.30 m)")يستعيد دوراناً مقداره 5.72 درجات مقابل القيمة الحقيقية البالغة 5.00، واتجاه انتقال [-1.0, -0.09, 0.02] مقابل [-1, 0, 0] الحقيقي، لكن طول الانتقال يظل دائماً 1. ولا تستطيع كاميرا واحدة التمييز بين حركة 0.3 متر بمحاذاة أجسام قريبة وحركة 3 أمتار بمحاذاة أجسام أبعد بعشرة أضعاف؛ لذا يثبّت SLAM أحادي العدسة المقياس اعتباطياً عند بدء التشغيل، ثم ينجرف المقياس بمرور الوقت. ويوفر خط أساس مجسم أو مستشعر عمق أو IMU المقياس المتري.
المشاهد الديناميكية وSLAM الدلالي#
تفترض معظم مسارات SLAM عالماً ساكناً، لذا تؤدي السمات الموجودة على أشخاص يمشون وسيارات عابرة إلى انحراف تقدير الوضع. وتستخدم أنظمة SLAM الدلالية التجزئة لاكتشاف الأجسام القابلة للحركة وتجاهل السمات الموجودة عليها؛ ففي عام 2018، أضاف DynaSLAM أقنعة Mask R-CNN إلى ORB-SLAM2 لهذا الغرض. ويؤدي نموذج تجزئة Ultralytics YOLO26 المهمة نفسها بمعدلات إطارات آنية، منتجاً قناعاً يقصر استخراج السمات على المشهد الساكن:
import cv2
import numpy as np
from ultralytics import YOLO
model = YOLO("yolo26n-seg.pt")
results = model("https://ultralytics.com/images/bus.jpg", classes=[0, 1, 2, 3, 5, 7]) # people and vehicles
result = results[0]
# Static-scene mask: 255 where SLAM may extract features, 0 on objects that can move
static = np.full(result.orig_shape, 255, np.uint8)
for polygon in result.masks.xy:
cv2.fillPoly(static, [polygon.astype(np.int32)], 0)
orb = cv2.ORB_create()
gray = cv2.cvtColor(result.orig_img, cv2.COLOR_BGR2GRAY)
keypoints = orb.detect(gray, None)
on_moving = sum(static[int(k.pt[1]), int(k.pt[0])] == 0 for k in keypoints)
print(f"{on_moving} of {len(keypoints)} ORB features fall on people or vehicles")
# The SLAM front-end extracts features only where the mask allows
static_keypoints = orb.detect(gray, static)
cv2.imwrite("static_features.jpg", cv2.drawKeypoints(result.orig_img, static_keypoints, None))يمثّل العدد المطبوع نسبة السمات التي كان مصدرها سيكون أجساماً متحركة، ويعرض static_features.jpg السمات المتبقية للتتبّع. كما تتيح الأقنعة الموسومة لـرسم الخرائط الدلالي إلحاق فئات الأجسام بالخريطة نفسها.
SLAM المرئي والتقنيات ذات الصلة#
- SLAM المعتمد على LiDAR: يقيس المسافات مباشرةً باستخدام نبضات الليزر، لذا يوفر مقياساً مترياً ويعمل في الظلام، لكنه أعلى كلفة واستهلاكاً للطاقة من ناحية المستشعر. ويستخدم SLAM المرئي كاميرات رخيصة ويلتقط المظهر، ما يساعد على التعرّف على الأماكن التي زارها النظام من قبل، لكنه يواجه صعوبات في الإضاءة الخافتة وضبابية الحركة والمشاهد الخالية من الملمس، مثل الجدران السادة.
- التقدير الحركي البصري: الواجهة الأمامية للتتبّع وحدها، وتقدّر الحركة لكنها لا تحتفظ بخريطة عامة ولا تستطيع تصحيح الانحراف عبر إغلاق الحلقة.
- إعادة بناء البنية من الحركة (SfM): تعيد بناء مشهد دون اتصال بالإنترنت انطلاقاً من مجموعة صور غير مرتبة، بينما يعالج SLAM الإطارات بترتيب وصولها.
- تتبّع الأجسام: يتتبّع أجساماً محددة عبر إطارات الفيديو. أما SLAM فيتتبّع الكاميرا نفسها بالنسبة إلى العالم الساكن.
الأساليب التقليدية والمتعلّمة#
لا تزال الأنظمة القائمة على السمات مثل ORB-SLAM3، التي تدعم الإعدادات أحادية العدسة والمجسمة وRGB-D والمرئية-القصورية، واسعة الاستخدام لسرعتها ودقتها في المشاهد الغنية بالملمس. وتستبدل الأنظمة المتعلّمة الأجزاء المصممة يدوياً بـشبكات عصبية: إذ تكرّر DROID-SLAM (2021) تحديثات التدفق البصري الكثيف عبر طبقة لضبط الحزمة قابلة للتفاضل. وتخزّن أنظمة حديثة أخرى الخريطة على هيئة لطخات غاوسية أو حقول إشعاع عصبية، منتجةً خرائط واقعية ضوئياً يمكن تصييرها من وجهات نظر جديدة. ويبني MASt3R-SLAM، الذي حظي باهتمام في CVPR 2025، على MASt3R، وهو نموذج متعلّم لإعادة البناء الثلاثي الأبعاد من منظورين، لتشغيل SLAM أحادي العدسة الكثيف بمعدل 15 FPS من دون افتراض نموذج كاميرا معلمي ثابت.










