Semantic Mapping

رسم الخرائط الدلالية هو عملية إنشاء خريطة مكانية لبيئة ما تحمل فيها كل نقطة معنى أو تسمية فئة، مثل طريق أو رصيف أو جدار أو باب أو كرسي أو شخص، إلى جانب وصفها الهندسي. وتحدد الخريطة الهندسية مواضع الأسطح، بينما تحدد الخريطة الدلالية ماهية تلك الأسطح أيضًا، ما يتيح للروبوت تنفيذ طلب مثل «اذهب إلى طاولة المطبخ»، أو تجنّب العشب، أو توقع وجود مشاة قرب ممر عبور. وتجمع الخرائط الدلالية بين التقسيم الدلالي أو اكتشاف الأجسام واستشعار العمق وتحديد الموقع، وهي عنصر أساسي في الإدراك لدى الروبوتات والمركبات ذاتية القيادة والحوسبة المكانية.

آلية عمل الإنشاء الدلالي للخرائط#

تمر كل لقطة جديدة من الكاميرا بثلاث خطوات. يضع نموذج التقسيم تسمية فئة لكل بكسل. ويرفع العمق، المستمد من LiDAR أو كاميرا مجسمة أو كاميرا RGB-D أو تقدير العمق أحادي العين، وحدات البكسل المصنفة إلى نقاط ثلاثية الأبعاد؛ ثم يضع موضع الروبوت، المقدّر بواسطة تحديد الموقع ورسم الخرائط المتزامنين المرئي أو قياس المسافة، تلك النقاط في خلايا خريطة مشتركة. وأخيرًا، يدمج دمج المستشعرات عبر الزمن التسميات الجديدة مع كل ما جمعته الخلايا حتى الآن، وتُعالج الأجسام المتحركة بصورة منفصلة كي لا يتحول الشخص المار إلى جدار دائم.

تضع نماذج التقسيم الدلالي Ultralytics YOLO26 المدرّبة مسبقًا على Cityscapes تسمية لكل بكسل من بين 19 فئة حضرية، تشمل الطريق والرصيف والمبنى والغطاء النباتي والشخص والسيارة؛ وهي مدخلات كل إطار التي يدمجها مخطط دلالي على مستوى الشارع.

الدمج هو ما يحوّل التنبؤات الصاخبة على مستوى الإطار إلى خريطة موثوقة. وقد احتفظ SemanticFusion، الذي طوّره جون مكورماك وزملاؤه في كلية إمبريال لندن عام 2017، بتوزيع احتمالي للفئات لكل عنصر سطحي، وضربه في كل تنبؤ جديد للشبكة ضمن تحديث بايزي تكراري. وتحاكي هذه المحاكاة التحديث نفسه على خريطة من 1,000 خلية رصدها نموذج تقسيم يصيب في 70% من الحالات:

import numpy as np

rng = np.random.default_rng(0)
num_cells, num_classes = 1000, 4  # map cells; classes such as road, sidewalk, building, vegetation
truth = rng.integers(0, num_classes, num_cells)

# Sensor model: segmentation labels a cell correctly 70% of the time, otherwise picks another class
likelihood = np.full((num_classes, num_classes), 0.1)
np.fill_diagonal(likelihood, 0.7)
log_belief = np.zeros((num_cells, num_classes))  # uniform prior in every cell

for frame in range(1, 11):
    # A new frame observes every cell from a new viewpoint, with independent errors
    wrong = rng.random(num_cells) > 0.7
    labels = np.where(wrong, (truth + rng.integers(1, num_classes, num_cells)) % num_classes, truth)

    # Recursive Bayesian update: add the log-likelihood of this observation to each cell's belief
    log_belief += np.log(likelihood[labels])
    if frame in (1, 3, 10):
        print(f"Frame {frame:>2}: {(log_belief.argmax(axis=1) == truth).mean():.1%} of cells correct")

تبلغ دقة الخريطة 69.6% بعد إطار واحد، و80.6% بعد ثلاثة إطارات، و98.2% بعد عشرة. وتعتمد المكاسب على اختلاف الأخطاء بين المشاهدات، لذا يفيد الدمج أكثر عندما يرى الروبوت كل موقع من زوايا متنوعة، بينما يظل الخطأ الذي يكرره النموذج من كل زاوية في الخريطة. وأبلغ SemanticFusion عن النمط نفسه، مع تحسن أكبر مقارنة بتسميات الإطار الواحد في مجموعة بيانات ذات تنوع أكبر في زوايا الرؤية.

تمثيلات الخرائط والمفاهيم ذات الصلة#

تتدرج الخرائط الدلالية من شبكات ثنائية الأبعاد، تخزّن فيها كل خلية من خريطة الإشغال فئة أيضًا، إلى سحب نقاط ثلاثية الأبعاد ذات تسميات، وفوكسلات، وشبكات مضلعية. وينشئ مشروع Kimera في MIT شبكة مضلعية ثلاثية الأبعاد تجمع بين المقاييس والدلالات في الزمن الحقيقي، بينما تنظم الرسوم البيانية للمشاهد ثلاثية الأبعاد المعلومات نفسها في أجسام وغرف ومبانٍ تربط بينها علاقات. وتخزّن الخرائط ذات المفردات المفتوحة تضمينات CLIP بدلًا من فئات ثابتة، بحيث يستطيع الروبوت البحث في خريطته عن أي استعلام نصي، مثل «مطفأة حريق».

يعتمد رسم الخرائط الدلالية على عدة مهام ذات صلة. ويوفر تحديد الموقع ورسم الخرائط المتزامنين المرئي أوضاع الكاميرا والخريطة الهندسية. ويسجل رسم خرائط الإشغال ما إذا كانت المساحة خالية أو مشغولة أو مجهولة فحسب. ويفصل كل من تقسيم الحالات والتقسيم الشامل الأجسام الفردية، وهو ما تحتاج إليه الخرائط على مستوى الأجسام لإحصاء الكراسي أو تتبّع السيارات المتوقفة. أما البحث الدلالي فهو أسلوب استرجاع غير ذي صلة لا يشترك معها إلا في الكلمة.

تطبيقات عملية#

• القيادة الذاتية: تسجل الخرائط عالية الدقة المسارات وممرات عبور المشاة وإشارات المرور والأرصفة بدقة تصل إلى مستوى السنتيمتر، كما ينشئ رسم الخرائط الدلالية الآني خريطة من منظور علوي للعناصر نفسها اعتمادًا على مستشعرات السيارة.
• الروبوتات المتنقلة: توفر حزمة الملاحة ROS 2، المسماة Nav2، طبقة لخريطة كلفة تستند إلى التقسيم الدلالي وتعيّن كلفة اجتياز لكل فئة، كي يخطط الروبوت لمسارات فوق الأسطح المفضلة.
• الزراعة: ترسم الروبوتات والطائرات المسيّرة الحقلية خرائط للمحاصيل والأعشاب الضارة صفًا بعد صف، بهدف الرش الموجّه وتقدير الغلة.
• الواقع المعزز: يصنّف ARKit من Apple كل وجه من شبكة الغرفة التي يعيد بناءها إلى جدار أو أرضية أو سقف أو طاولة أو مقعد أو نافذة أو باب أو لا شيء.