Merged Reality

Birleşik gerçeklik, karma gerçekliğin (MR) eş anlamlısıdır: sanal nesnelerin kullanıcının gerçek çevresinde göründüğü ve bu çevreyle etkileşim kurduğu bir deneyimdir. Sanal nesneler gerçek masaların üzerine yerleşir, gerçek insanların arkasında kaybolur ve gerçek duvarlardan sekebilir. Intel bu adı 2016'da, RealSense derinlik kameraları kullanıcının ellerini ve odasını sanal deneyimlere taşıyan kablosuz bir başlık prototipi Project Alloy ile tanıttı. Temel fikir daha eskidir: Paul Milgram ve Fumio Kishino'nun 1994 tarihli karma gerçeklik ekranları sınıflandırması, gerçek ve sanal ortamları gerçeklik-sanal gerçeklik sürekliliğinin iki ucuna yerleştirip aradaki her şeyi karma gerçeklik olarak adlandırdı. Birleşik gerçekliği basit bir bindirmeden ayıran unsur çevreyi anlamasıdır; bu nedenle her yüzeyin ve kişinin nerede olduğunu bilmek için bilgisayarlı görüye ve uzamsal bilişime dayanır.

Birleşik Gerçeklik, AR ve VR#

• Artırılmış gerçeklik (AR), telefon ekranındaki metin etiketlerinden gözlüklerdeki 3B modellere kadar, gerçek dünya görüntüsüne dijital içerik ekler. Karma gerçeklik, içeriği gerçek sahneye sabitleyip sahneyle etkileştiren AR'dır; uygulamada bu iki terim büyük ölçüde örtüşür.
• Sanal gerçeklik (VR), gerçek dünyanın yerini tamamen alır. Project Alloy'nin hedeflediği sürekliliğin sanal gerçeklik tarafı olan artırılmış sanallık, sanal bir dünyadan başlayıp kullanıcının elleri gibi gerçek unsurları bu dünyaya taşır.
• Genişletilmiş gerçeklik (XR), AR, MR ve VR'yi kapsayan şemsiye terimdir.

Başlıklar gerçek dünyayı iki yoldan biriyle gösterir. Microsoft HoloLens 2 gibi optik geçirgen cihazlar, saydam ekranlar aracılığıyla kullanıcının doğrudan görüşüne ışık ekler; bu nedenle sanal nesneler, arkalarındaki görüntüden daha koyu olamaz. Meta Quest 3 ve Apple Vision Pro gibi video geçişli cihazlar odayı dışa bakan kameralarla görüntüler ve birleştirilmiş sonucu opak ekranlarda gösterir. Bu sayede gerçek nesneler sanal nesneleri tamamen gizleyebilir; bunun bedeli kamera gecikmesidir.

Birleşik Gerçeklik Nasıl Çalışır#

Güncel başlıklarda saniyede 72 ila 120 kez görüntülenen her kare; cihazın pozunu, sahne modelini ve işlenmiş sanal içeriği bir araya getirir. Bu nedenle algı modellerinin başlığın kendi uç AI işlemcilerinde gerçek zamanlı çıkarım yapması gerekir. Görsel SLAM başlığın konumunu izler; derinlik sensörleri veya derinlik kestirimi, odanın 3B yeniden yapılandırılması için her gerçek yüzeye olan mesafeyi ölçer; anlamsal segmentasyon zeminleri, duvarları ve masaları etiketler; nesne algılama mobilyaları ve insanları bulur; poz kestirimi ise hareketleri tanımak için el anahtar noktalarını izler. Kullanıcılar en çok örtüşme başarısız olduğunda fark eder: kameraya daha yakın duran bir kişinin önünde süzülen sanal nesne, illüzyonu anında bozar. Apple'ın ARKit'i 2019'dan beri örtüşme için insanları segmentlere ayırıyor.

Segmentasyon maskeleri, bu örtüşme testinin basit bir sürümünü sağlar. Bu örnekte, bir sokak fotoğrafındaki insanları bulmak için Ultralytics YOLO26 örnek segmentasyonu modeli kullanılıyor ve insanların pikselleri, otobüsle insanlar arasına yerleştirilen sanal panelin önünde tutuluyor:

import cv2
import numpy as np
from ultralytics import YOLO

model = YOLO("yolo26n-seg.pt")
result = model("https://ultralytics.com/images/bus.jpg")[0]
camera = result.orig_img

# Sanal bir nesne oluştur: İnsanlarla otobüsün arasına yerleştirilmiş yeşil bir panel
virtual = camera.copy()
cv2.rectangle(virtual, (50, 450), (760, 650), (0, 200, 0), thickness=-1)

# İnsanlar kameraya panelden daha yakın; bu yüzden pikselleri paneli gizlemeli
occluder = np.zeros(camera.shape[:2], np.uint8)
for cls, polygon in zip(result.boxes.cls, result.masks.xy):
    if result.names[int(cls)] == "person":
        cv2.fillPoly(occluder, [polygon.astype(np.int32)], 255)

merged = np.where(occluder[..., None] > 0, camera, virtual)
cv2.imwrite("merged_reality.jpg", merged)

Kaydedilen görüntüde panel otobüsü kaplar, ancak algılanan her yayanın arkasında kalır; çünkü kişi maskesinin bulunduğu yerde kamera pikselleri öne çıkar. Üretim sistemleri aynı kararı metrik derinlik kullanarak piksel başına verir; bu yöntem sınıf listesinin kapsamadığı masa, duvar ve diğer yüzeyleri de işler.

Gerçek Dünya Uygulamaları#

• Endüstriyel eğitim ve bakım: Teknisyenler, önlerindeki makineye sabitlenmiş adım adım talimatları, tork değerlerini ve uzaktaki bir uzmanın açıklamalarını görür; stajyerler de gerçek bir atölyeye yerleştirilen sanal ekipman üzerinde işlemleri uygular.
• Tasarım ve mimari: Ekipler gerçek bir odada tam ölçekli sanal otomobil iç tasarımlarını veya bina modellerini inceler, çevrelerinde dolaşır ve bunları fiziksel parçalarla karşılaştırır.
• Oyun: Quest 3'teki karma gerçeklik oyunları oyuncunun odasını tarar; böylece sanal karakterler gerçek duvarlardan çıkar ve toplar gerçek mobilyalardan seker.
• Cerrahi: ABD Gıda ve İlaç Dairesi'nin 2019'da kullanımına onay verdiği Augmedics xvision Spine System, omurga ameliyatları sırasında hastanın BT görüntülerine dayalı anatomisini ve planlanan vida güzergâhını cerrahın başlığında gösterir.