Merged Reality

複合現実（MR）は、ミックスドリアリティとしても広く知られており、物理世界とコンピューター生成のデジタルコンテンツの融合を指します。厳密に仮想的な環境や拡張環境とは異なり、複合現実は、物理オブジェクトとデジタルオブジェクトがリアルタイムで共存し、相互作用するシームレスな空間を作り出します。このテクノロジーは、高度なコンピュータービジョンと空間コンピューティングに大きく依存しており、現実世界の環境を正確にマッピングすることで、デジタルアーティファクトを物理的な表面に固定し、物理的な変化に応答できるようにします。センサー、カメラ、ディープラーニングアルゴリズムを活用することで、MRシステムは深度、形状、照明を理解し、ユーザーが実際にいる周囲の環境に根ざした、実体感のある没入型体験を生み出します。

AIと機械学習における関連性#

複合現実の進化は、人工知能の進歩と密接に結び付いています。デジタル世界と物理世界を正常に融合するには、システムが環境を高度に理解していなければなりません。ここで視覚認識タスクが重要になります。物体検出などの手法により、システムは家具や人を認識できます。一方、SLAM（同時自己位置推定・地図作成）によって、デバイスはそれらの物体に対する自身の位置を追跡できます。

現代のMRアプリケーションでは、複雑なセンサーデータを瞬時に処理するためにディープラーニングモデルを利用します。たとえば、姿勢推定はジェスチャー操作のための手の動きの追跡に使用され、物理コントローラーが不要になります。さらに、セマンティックセグメンテーションによって、システムは床、壁、テーブルを区別できます。これにより、デジタルキャラクターがテーブルの中を浮遊するのではなく、床の上を歩くことが可能になります。

実世界での利用例#

複合現実は、没入型シミュレーションによって生産性とトレーニングを向上させ、さまざまな業界を変革しています。

• 産業メンテナンスとトレーニング: 製造現場では、技術者が物理的な機械にデジタル回路図を重ねて表示するMRヘッドセットを装着します。作業員が特定のエンジン部品を見ると、システムはリアルタイム推論を使用して部品を識別し、修理手順やトルク仕様を部品上に直接表示します。このハンズフリーのガイダンスにより、エラーが減少し、複雑な作業を迅速に進められます。
• 医療手術と計画: 外科医は手術中、MRを使用して3Dの医用画像スキャン（MRIやCTのデータなど）を患者の身体に直接重ねて表示します。これにより、大きな切開を行わずに体内の解剖構造を正確に可視化できます。セグメンテーションモデルを統合すると、システムは特定の臓器や腫瘍をリアルタイムで強調表示でき、ナビゲーションを支援して手術結果を改善できます。

主要用語の違い#

複合現実と、「XR（拡張現実）」スペクトラムに含まれる関連概念を区別することが重要です。

• 拡張現実（AR）: ARは通常、カメラ映像（スマートフォンのフィルターなど）にデジタル情報を重ねて表示しますが、空間との深い相互作用はありません。MRはさらに進んで、デジタルオブジェクトが現実世界と物理的に相互作用するようにします（たとえば、デジタルボールが現実のテーブルで跳ね返るなど）。
• 仮想現実（VR）: VRは完全に合成された環境を作り出し、物理世界を完全に遮断します。MRはユーザーを物理環境にとどめたまま、その環境を拡張します。

MRへのコンピュータービジョンの適用#

デジタルコンテンツを固定するために表面や物体を検出するなど、MRシステムの基本コンポーネントを構築する際、開発者は高速な検出モデルをよく使用します。Ultralytics YOLO26モデルは、現実感の維持に不可欠な低レイテンシーと高精度を備えているため、特に適しています。

次の例では、ビデオストリームに対してインスタンスセグメンテーションを実行する方法を示します。MRのコンテキストでは、このピクセルレベルのマスクによって、デジタルキャラクターの「歩行可能」な領域を定義できます。

from ultralytics import YOLO

# Load the YOLO26 segmentation model
model = YOLO("yolo26n-seg.pt")

# Predict on a video source to identify physical objects and their boundaries
# This data helps anchor digital assets to real-world objects
results = model.predict(source="room_scan.mp4", show=True, stream=True)

for result in results:
    # Process masks to determine occlusion or physics interactions
    if result.masks:
        print(f"Detected {len(result.masks)} physical segments for interaction.")

複合現実の未来#

ハードウェアが軽量化し、エッジコンピューティングの機能が向上するにつれて、MRは広く普及すると予想されます。生成AIの統合により、MR環境は動的に自らを構成し、現実世界の空間のデジタルツインを自動的に作成できるようになる可能性があります。Ultralytics Platformのようなツールを使用すれば、開発者はこれらの複合環境内にある特定の物体を認識するカスタムモデルを簡単にトレーニングでき、3次元空間における情報との関わり方の可能性をさらに広げられます。