Merged Reality

マージドリアリティ（MR）は、ミックスドリアリティとも広く呼ばれ、物理世界とコンピュータ生成のデジタルコンテンツの融合を指します。厳密な仮想環境や拡張環境とは異なり、マージドリアリティは物理オブジェクトとデジタルオブジェクトが共存し、リアルタイムで相互作用するシームレスな空間を作り出します。この技術は、高度なcomputer visionと空間コンピューティングに大きく依存して現実世界の環境を正確にマッピングし、デジタル成果物を物理的な表面に固定して物理的な変化に応答できるようにします。センサー、カメラ、ディープラーニングアルゴリズムを活用することで、MRシステムは深度、幾何学模様、照明を理解し、ユーザーの実際の環境に根ざした、実体的と感じられる没入型体験を作り出します。

AI および機械学習における関連性#

マージドリアリティの進化は、人工知能の進歩と本質的に結びついています。デジタル世界と物理世界を正常に融合させるためには、システムが環境を高度に理解している必要があります。ここでvisual perception tasksが極めて重要になります。object detectionなどの手法により、システムは家具や人を認識できるようになり、一方SLAM (Simultaneous Localization and Mapping)により、デバイスはそれらのオブジェクトに対する自身の位置を追跡できるようになります。

現代のMRアプリケーションは、複雑なセンサデータを即座に処理するためにdeep learning modelsを活用しています。たとえば、pose estimationはジェスチャーコントロールのための手の動きを追跡するために使用され、物理的なコントローラーの必要性をなくします。さらに、semantic segmentationは、システムが床、壁、テーブルを区別するのに役立ち、デジタルキャラクターがテーブルをすり抜けるのではなく、床を歩くようにします。

実社会での応用#

merged reality は、没入型シミュレーションを通じて生産性とトレーニングを強化することにより、産業を変革しています。

• 産業用メンテナンスとトレーニング: manufacturingにおいて、作業員は物理的な機械にデジタルの概略図を重ね合わせるMRヘッドセットを着用します。作業員が特定のエンジン部品を見ると、システムはreal-time inferenceを使用して部品を識別し、修理手順やトルク仕様を部品上に直接表示します。このハンズフリーのガイダンスにより、エラーが削減され、複雑なタスクが迅速化されます。
• 医療手術と計画: 外科医は、手術中に患者の体に3Dのmedical imagingスキャン（MRIやCTデータなど）を直接重ね合わせるためにMRを利用します。これにより、大きな切開を行わずに内部の解剖学的構造を正確に視覚化できます。segmentation modelsを統合することにより、システムは特定の臓器や腫瘍をリアルタイムで強調表示し、ナビゲーションを支援して手術結果を改善できます。

主要な用語の区別#

Merged Reality を「XR」（Extended Reality）スペクトルにおける関連概念と区別することは重要です。

• Augmented Reality (AR): ARは通常、深い空間的相互作用なしに、デジタル情報をカメラフィード（スマートフォンフィルターなど）に重ね合わせます。MRはさらに一歩進んで、デジタルオブジェクトが現実世界と物理的に相互作用するようにします（例：デジタルボールが実際のテーブルで跳ね返る）。
• Virtual Reality (VR): VRは完全に合成された環境を作り出し、物理世界を完全に遮断します。MRは、ユーザーを物理環境に維持しながらそれを拡張します。

MR のための Computer Vision の適用#

デジタルコンテンツを固定するためのサーフェスやオブジェクトの検出など、MRシステムの基本コンポーネントを構築するために、開発者は高速検出モデルをよく使用します。Ultralytics YOLO26モデルは、現実感の錯覚を維持するために不可欠な低レイテンシーと高精度を備えているため、この目的に特に適しています。

次の例は、ビデオストリームでinstance segmentationを実行する方法を示しています。MRの文脈では、このピクセルレベルのマスクがデジタルキャラクターの「歩行可能」な領域を定義する可能性があります。

from ultralytics import YOLO

# Load the YOLO26 segmentation model
model = YOLO("yolo26n-seg.pt")

# Predict on a video source to identify physical objects and their boundaries
# This data helps anchor digital assets to real-world objects
results = model.predict(source="room_scan.mp4", show=True, stream=True)

for result in results:
    # Process masks to determine occlusion or physics interactions
    if result.masks:
        print(f"Detected {len(result.masks)} physical segments for interaction.")

Merged Reality の未来#

ハードウェアが軽量になり、edge computingの機能が向上するにつれて、MRは普及すると予想されます。generative AIの統合により、MR環境が動的に自身を人口構成し、現実世界の空間のdigital twinsを自動的に作成できるようになるでしょう。Ultralytics Platformのようなツールを使用することで、開発者はこれらのマージされた環境内で特定のオブジェクトを認識するカスタムモデルを簡単にトレーニングでき、三次元空間での情報との対話の限界を押し広げることができます。