Semantic Mapping
تعرف على كيفية دمج رسم الخرائط الدلالي بين التقسيم الدلالي، والعمق، والتوطين، ودمج المستشعرات لتوجيه الروبوتات بشكل ذكي باستخدام Ultralytics YOLO26.
التخطيط الدلالي هو عملية بناء تمثيل مكاني للبيئة وإرفاق تسميات فئات ذات معيار دلالي - مثل الطريق، الجدار، المدخل، الشخص، الرف، أو الغطاء النباتي - بالمواقع داخلها. في مجال الذكاء الاصطناعي والروبوتات، يجيب الخريطة الدلالية عن السؤالين "أين يوجد الشيء؟" و"ما هو هذا الشيء؟". بدلاً من تمثيل المشهد فقط كمساحة مشغولة وفارغة، فإنه يوفر معلومات سياقية تدعم التنشيط والتخطيط والتفاعل وفهم المشهد.
كيف يعمل التخطيط الدلالي#
عادةً ما يجمع نظام التخطيط الدلالي بين الإدراك، الهندسة، التحديد الموضعي، والدمج الزمني. أولاً، يقوم نموذج التجزيء الدلالي بتصنيف كل بكسل في الصورة. فجميع البكسلات المسماة "طريق"، على سبيل المثال، تشكل منطقة طريق، بينما تحدد البكسلات المسماة "سيارة" مناطق المركبات. ويوضح مقدمة NVIDIA لتجزيء الصور في الروبوتات كيف تدعم هذه التسميات لكل بكسل إدراك الروبوت.
تظل تسميات البكسل وحدها مرتبطة بصورة كاميرا ثنائية الأبعاد. ويحتاج النظام إلى معلومات هندسية، غالبًا من أجهزة LiDAR، أو الكاميرات المجسمة، أو تقدير العمق، لربط البكسلات بالمواقع الفيزيائية. ويوضح سير عمل صور Open3D RGB-D كيف يمكن لصور الألوان والعمق المسجلة إنتاج سحاب نقاط ثلاثي الأبعاد.
يعتمد الإسقاط الدقيق أيضًا على المعلمات الداخلية والخارجية للكاميرا. تشرح وثائق معايرة كاميرا OpenCV المعلمات المستخدمة لربط بكسلات الصورة بالنقاط ثلاثية الأبعاد، بينما توحد تعريف رسالة CameraInfo في ROS معلومات المعايرة هذه في الأنظمة الروبوتية.
أخيرًا، يجمع دمج المستشعرات الملاحظات بمرور الوقت. تضع وضعيات الروبوت والتحويلات الإحداثية كل ملاحظة مسماة في إطار خريطة مشترك. توفر تحويلات إحداثيات ROS tf2 آلية شائعة واحدة للحفاظ على هذه العلاقات.
المفاهيم ذات الصلة والاختلافات الرئيسية#
يتداخل التخطيط الدلالي مع العديد من مفاهيم الرؤية الحاسوبية والروبوتات، لكنها تحل مشكلات مختلفة:
- تقدر الخريطة والتوطين المتزامن البصري (Visual SLAM) موضع الكاميرا أو الروبوت أثناء بناء خريطة هندسية. يضيف التخطيط الدلالي معنى الفئة إلى تلك الهندسة. لذلك قد يستخدم النظام SLAM لتقدير الوضع والإدراك الدلالي للتسمية.
- تصف خريطة الاشغال ما إذا كانت الخلايا حرة، أو مشغولة، أو غير معروفة. يوضح دليل التخطيط والتوطين لـ Nav2 كيف تدعم شبكات الاشغال تخطيط المسار. يمكن للخريطة الدلالية بالإضافة إلى ذلك التمييز بين الجدار والشخص أو الطريق القابل للقيادة والرصيف.
- يفصل التجزيء المثيل (Instance segmentation) الأجسام الفردية، مثل سيارتين مختلفتان. بينما يجمع التجزيء الدلالي كلا السيارتين تحت فئة بكسل واحدة. قد تستخدم الخرائط الدلالية أي تمثيل اعتمادًا على ما إذا كان يجب الحفاظ على هوية الكائن.
- ينظم البحث الدلالي المعلومات حسب التشابه المفاهيمي، في حين يربط التخطيط الدلالي في الروبوتات المعاني بالمواقع الفيزيائية.
تطبيقات العالم الحقيقي#
التنقل المستقل: يمكن لروبوت التوصيل تسمية الأرضيات بأنها قابلة للعبور، والجدران والحواف كعوائق، والأشخاص كمخاطر ديناميكية. يمكن ترجمة هذه التسميات إلى تكاليف تنقل بحيث يفضل المخطط الأسطح الآمنة بدلاً من معاملة كل منطقة مرئية بشكل متطابق. يوضح البرنامج التعليمي للتنقل بالتجزيء الدلالي لـ Nav2 كيف يمكن لأقنعة الفئات ونحاب النقاط المسجلة تحديث خريطة التكلفة الخاصة بالروبوت.
القيادة الحضرية: يمكن لمركبة ذاتية القيادة إسقاط توقعات الطريق، والرصيف، والمبنى، والغطاء النباتي، والمشاة، والمركبة في خريطة عالمية مستمرة. يساعد هذا النظام على فهم حدود المسارات، والتعرف على المناطق غير القابلة للقيادة، والاستدلال حول مكان ظهور مستخدمي الطريق المعرضين للخطر. توفر مجموعة بيانات Cityscapes الحضري للمشاهد الرسمية صور شوارع مصنفة بكثافة لتطوير هذا النوع من فهم المشهد.
الإدراك الدلالي مع Ultralytics YOLO#
ينتج سير عمل التجزيء الدلالي لـ Ultralytics التالي خريطة فئة كثيفة باستخدام YOLO26. يمكن إسقاط هذا الناتج لاحقًا في شبكة ثنائية الأبعاد أو نظام إحداثيات عالمي ثلاثي الأبعاد بواسطة خط أنابيب تخطيط.
from ultralytics import YOLO
# Load a pretrained semantic segmentation model
model = YOLO("yolo26n-sem.pt")
# Predict a per-pixel class map
results = model("https://ultralytics.com/images/bus.jpg")
# Select the first result and inspect its map dimensions
result = results[0]
class_map = result.semantic_mask.data
print(class_map.shape)
result.save(filename="semantic_scene.jpg")يحتوي semantic_mask على معرف فئة واحد لكل بكسل في الصورة. وهو يوفر طبقة الإدراك الدلالي، بينما لا تزال هناك حاجة إلى العمق، والمعايرة، والتوطين، والدمج الزمني لبناء خريطة مكانية مستمرة. يمكن تسمية مجموعات بيانات مستوى البكسل المخصصة وإدارتها باستخدام أدوات تعليق بيانات منصة Ultralytics.
اعتبارات التصميم العملية#
تتطلب الخرائط الدلالية الموثوقة تعريفات فئات متسقة، ومعايرة دقيقة للمستشعرات، وطوابع زمنية متزامنة، وبيانات تدريب تمثيلية. يمكن أن يضع انحراف الوضع التسميات الصحيحة في مواقع غير صحيحة، بينما قد تؤدي أخطاء التجزيء إلى تمييز العوائق كمساحة قابلة للعبور. تتطلب الأجسام الديناميكية أيضًا قواعد انتهاء الصلاحية أو التتبع حتى لا تبقى مركبة متوقفة أو أحد المشاة مدمجًا بشكل دائم في الخريطة.
يجب على الفرق التحقق من صحة دقة الإدراك والتساقط المكاني، واختبار الحدود الصعبة والهياكل الصغيرة، والاحتفاظ بثقة التنبؤ حيثما أمكن، وتحديد كيفية تحديث الملاحظات المتعارضة. من أجل التنقل الحرج من حيث الأمان، يجب أن تكمل المعلومات الدلالية - ولا تحل محلها تلقائيًا - استشعار العوائق الهندسية وفحوصات الاصطدام.
