Merged Reality

الواقع المدمج مرادف للواقع المختلط (MR): تجربة تظهر فيها أجسام افتراضية ضمن محيط المستخدم الحقيقي وتتفاعل معه، فتستقر على الطاولات الحقيقية، وتختفي خلف الأشخاص الحقيقيين، وترتد عن الجدران الحقيقية. وقدّمت Intel هذا الاسم عام 2016 مع Project Alloy، وهو نموذج أولي لسماعة رأس مستقلة جلبت كاميرات العمق RealSense فيه يدي المستخدم وغرفته إلى التجارب الافتراضية. والفكرة الأساسية أقدم من ذلك: فقد وضع تصنيف Paul Milgram وFumio Kishino لشاشات الواقع المختلط عام 1994 البيئتين الحقيقية والافتراضية عند طرفي متصل الواقع والافتراضية، وسمّى كل ما بينهما واقعًا مختلطًا. وما يميز الواقع المدمج عن التراكب البسيط هو فهم البيئة المحيطة، لذا يعتمد على الرؤية الحاسوبية والحوسبة المكانية لمعرفة موضع كل سطح وشخص.

الواقع المدمج مقارنةً بالواقع المعزز والواقع الافتراضي#

• الواقع المعزز (AR) يضيف محتوى رقميًا إلى مشهد العالم الحقيقي، بدءًا من التسميات النصية على شاشة الهاتف وصولًا إلى النماذج ثلاثية الأبعاد في النظارات. والواقع المختلط هو واقع معزز يُثبّت محتواه في المشهد الحقيقي ويتفاعل معه، ويتداخل المصطلحان كثيرًا في الاستخدام العملي.
• الواقع الافتراضي (VR) يستبدل العالم الحقيقي بالكامل. أما الافتراضية المعززة، وهي الجانب الذي استهدفه Project Alloy من المتصل، فتنطلق من عالم افتراضي وتُدخل إليه عناصر حقيقية مثل يدي المستخدم.
• الواقع الممتد (XR) مصطلح شامل يغطي AR وMR وVR.

تصل سماعات الرأس إلى العالم الحقيقي بطريقتين. تضيف أجهزة الرؤية البصرية المباشرة، مثل Microsoft HoloLens 2، ضوءًا إلى مجال رؤية المستخدم المباشر عبر شاشات شفافة، لذا لا يمكن أن تكون الأجسام الافتراضية أغمق مما وراءها. أما أجهزة العرض المرئي المارّ، مثل Meta Quest 3 وApple Vision Pro، فتصوّر الغرفة بكاميرات موجّهة إلى الخارج وتعرض المشهد المركّب على شاشات معتمة، ما يتيح للأجسام الحقيقية حجب الافتراضية بالكامل، على حساب زمن تأخير الكاميرا.

كيف يعمل الواقع المدمج#

يجمع كل إطار معروض، بمعدل 72 إلى 120 إطارًا في الثانية في سماعات الرأس الحالية، بين وضعية الجهاز ونموذج للمشهد ومحتوى افتراضي مُصيّر، لذا تحتاج نماذج الإدراك إلى استدلال آني على معالجات الذكاء الاصطناعي الطرفي الخاصة بسماعة الرأس. وتتتبع تقنية تحديد الموقع ورسم الخرائط المرئي المتزامن (Visual SLAM) سماعة الرأس، وتقيس مستشعرات العمق أو تقدير العمق المسافة إلى كل سطح حقيقي لإجراء إعادة بناء ثلاثية الأبعاد للغرفة، ويصنّف التقسيم الدلالي الأرضيات والجدران والطاولات، ويحدد اكتشاف الأجسام الأثاث والأشخاص، ويتتبع تقدير الوضعية النقاط المفتاحية لليد من أجل الإيماءات. ويُعد الحجب أكثر ما يلاحظه المستخدمون عند تعطل النظام: فالجسم الافتراضي الذي يطفو أمام شخص أقرب إلى الكاميرا يبدد الوهم فورًا، وقد قسّم ARKit من Apple الأشخاص لغرض الحجب منذ عام 2019.

تقدم أقنعة التقسيم نسخة مبسطة من اختبار الحجب هذا. يستخدم المثال نموذج Ultralytics YOLO26 لـتقسيم المثيلات للعثور على الأشخاص في صورة شارع، ويُبقي بكسلاتهم أمام لوحة افتراضية موضوعة بينهم وبين الحافلة:

import cv2
import numpy as np
from ultralytics import YOLO

model = YOLO("yolo26n-seg.pt")
result = model("https://ultralytics.com/images/bus.jpg")[0]
camera = result.orig_img

# ⁨إظهار جسم افتراضي: لوحة خضراء تقف بين الأشخاص والحافلة⁩
virtual = camera.copy()
cv2.rectangle(virtual, (50, 450), (760, 650), (0, 200, 0), thickness=-1)

# ⁨الأشخاص أقرب إلى الكاميرا من اللوحة، لذا يجب أن تحجبها بكسلاتهم⁩
occluder = np.zeros(camera.shape[:2], np.uint8)
for cls, polygon in zip(result.boxes.cls, result.masks.xy):
    if result.names[int(cls)] == "person":
        cv2.fillPoly(occluder, [polygon.astype(np.int32)], 255)

merged = np.where(occluder[..., None] > 0, camera, virtual)
cv2.imwrite("merged_reality.jpg", merged)

في الصورة المحفوظة، تغطي اللوحة الحافلة لكنها تمر خلف كل مشاة جرى كشفهم، لأن بكسلات الكاميرا تتقدم حيثما وُجد قناع شخص. تتخذ أنظمة الإنتاج القرار نفسه لكل بكسل باستخدام العمق المتري، الذي يتعامل أيضًا مع الطاولات والجدران والأسطح الأخرى التي لا تغطيها أي قائمة فئات.

تطبيقات عملية#

• التدريب والصيانة الصناعية: يرى الفنيون تعليمات خطوة بخطوة وقيم عزم الدوران وتعليقات خبير عن بُعد مثبتة على الآلة أمامهم، كما يتدرب المتدربون على الإجراءات باستخدام معدات افتراضية موضوعة في ورشة حقيقية.
• التصميم والهندسة المعمارية: تراجع الفرق تصاميم افتراضية بالحجم الكامل لمقصورات السيارات أو نماذج المباني داخل غرفة حقيقية، وتتجول حولها وتقارنها بالأجزاء المادية.
• الألعاب: تمسح ألعاب الواقع المختلط على Quest 3 غرفة اللاعب، فتتسلق الشخصيات الافتراضية الجدران الحقيقية وتقفز الكرات عن الأثاث الحقيقي.
• الجراحة: يعرض نظام Augmedics xvision Spine System، الذي أجازته إدارة الغذاء والدواء الأمريكية عام 2019، تشريح المريض المستند إلى التصوير المقطعي المحوسب ومسار البرغي المخطط له في سماعة الجرّاح أثناء إجراءات العمود الفقري.