Sensor Fusion

يجمع دمج المستشعرات قياسات من مستشعرات متعددة لتكوين فهم للبيئة أدق وأشمل وأكثر موثوقية مما يستطيع أي مستشعر منفرد تقديمه. وفي الرؤية الحاسوبية، يعني ذلك غالباً دمج صور الكاميرات مع LiDAR أو الرادار أو GPS أو الميكروفونات أو وحدات القياس بالقصور الذاتي. ويدعم مفهوم دمج المستشعرات الأوسع الآلات المستقلة بموازنة نقاط القوة المتكاملة؛ فالكاميرات، مثلاً، تلتقط الألوان والتفاصيل الدلالية، بينما يقيس الرادار المسافة والسرعة بموثوقية عند ضعف الرؤية.

آلية عمل دمج المستشعرات#

يبدأ مسار دمج البيانات بمزامنة قراءات المستشعرات، وتحويلها إلى نظام إحداثيات مشترك، وتقدير عدم اليقين في كل قياس. ثم تُدمج المعلومات على أحد ثلاثة مستويات:

• الدمج المبكر يدمج المدخلات الخام قبل المعالجة، فيحتفظ بالتفاصيل لكنه يتطلب محاذاة دقيقة.
• يجمع دمج مستوى السمات التمثيلات المتعلَّمة بعد استخراج السمات. وتستخدم أنظمة حديثة مثل دمج الرادار والكاميرا في RCBEVDet ودمج LiDAR والكاميرا في GAFusion سمات العرض من منظور علوي والانتباه لمواءمة الأنماط.
• الدمج المتأخر يجمع المخرجات مثل صناديق كشف الكائنات أو تقديرات العمق أو احتمالات الفئات. وهو أسلوب معياري يمكنه مواصلة العمل عند تعطل أحد المستشعرات.

تشمل الطرق التقليدية لتقدير الحالة مرشح كالمان ومرشح كالمان الموسع. وتتعلّم أنظمة التعلم العميق الحديثة أوزانًا تكيفية بصورة متزايدة، بحيث يكون إسهام المستشعرات غير الموثوقة أقل.

تطبيقات عملية#

• المركبات ذاتية القيادة: تحدد الكاميرات المشاة وإشارات المرور، ويوفر LiDAR هندسة ثلاثية الأبعاد، ويقدّر الرادار الحركة. وفي فبراير 2026، وصفت Waymo الجيل السادس من Waymo Driver بأنه يستخدم دمجًا قائمًا على التعلم الآلي لمدخلات الكاميرا وLiDAR والرادار والصوت لتوفير التكرار الاحتياطي في الظروف الجوية الصعبة.
• الروبوتات: تدمج الروبوتات المتنقلة بيانات الكاميرا ومشفّر العجلات وIMU ومدى المسافة لأغراض الملاحة. ويساعد الجمع بين الإدراك وتحديد الموقع ورسم الخرائط البصري المتزامن الروبوت على تحديد موقعه أثناء رسم خرائط البيئات المتغيرة.
• أنظمة الرؤية الصناعية: تجمع المصانع بين مستشعرات RGB والحرارة والاهتزاز والعمق لاكتشاف العيوب أو أعطال المعدات التي قد لا تظهر في الصور العادية.

دمج المستشعرات باستخدام Ultralytics YOLO#

يمكن أن توفر Ultralytics YOLO26 فرع إدراك الكاميرا في نظام الدمج. وينشئ هذا المثال اكتشافات يمكن ربطها بقياسات الرادار أو العمق المتزامنة:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
result = model("https://ultralytics.com/images/bus.jpg")[0]

for box in result.boxes:
    label = result.names[int(box.cls)]
    print(label, box.xyxy[0].tolist(), box.conf.item())

بالنسبة إلى الفيديو، يمكن أن يحافظ وضع التتبع في YOLO على هويات الكائنات قبل دمج تقديرات المدى أو الحركة.

الأبحاث الحالية وأفضل الممارسات#

تركز الأبحاث من 2024 إلى 2026 على الدمج المراعي للطقس، وتمثيلات المنظور العلوي، والسياق الزمني، والتدهور التدريجي. وتستكشف الأبحاث الحديثة دمج LiDAR ورادار 4D في الطقس السيئ، والدمج المتكيف مع المستشعرات، والمتانة أمام بيانات المستشعرات القديمة أو المتأخرة.

تشمل أفضل الممارسات المعايرة المكانية الدقيقة والطوابع الزمنية للأجهزة والترجيح الواعي بعدم اليقين واختبار انقطاع المستشعرات والتحقق في مختلف أحوال الطقس والإضاءة. ويُعد تزامن الوقت واتساق تهيئة المستشعرات ضروريين، فيما تدعم مجموعات بيانات مثل MSU-4S الاختبار عبر الفصول.

يختلف دمج المستشعرات عن تكامل المستشعرات، الذي يقتصر أساسًا على ربط المستشعرات بالنظام، وعن التعلم متعدد الوسائط، الذي قد يجمع مدخلات غير حسية مثل النص. ويمكن للفرق استخدام منصة Ultralytics لإضافة تعليقات توضيحية إلى بيانات الرؤية، وتدريب النماذج، ونشر مكونات الإدراك، ومراقبتها ضمن مسار دمج أوسع.