複合現実

マージド・リアリティ（MR）は、人間がデジタル・コンテンツに接する方法を高度に進化させ、物理的な世界とバーチャルな世界が密接に結びついた環境を作り出すものである。 物理的な世界とバーチャルな世界が表裏一体となった環境を創造する。拡張現実（AR）に見られる基本的なオーバーレイとは異なり 拡張現実（AR）に見られる基本的なオーバーレイとは異なり AR（拡張現実）に見られる基本的なオーバーレイとは異なり、マージド・リアリティでは、デジタル・オブジェクトがユーザーの視界に表示されるだけでなく、現実世界の環境と物理的に相互作用します。 現実の環境と物理的に相互作用する。MRのシナリオでは、バーチャル・ボールが物理的なテーブルから転がり落ち、現実の床でバウンドする、 デジタル・キャラクターが現実のソファの後ろに隠れたりすることで、奥行き、オクルージョン、物理的境界を理解することができます。 物理的境界の理解を示すことができる。このシームレスな統合は、高度な コンピュータ・ビジョン（CV）と 人工知能（AI）に大きく依存しています。 に大きく依存している。

イマージョンを支える技術

マージド・リアリティを説得力のあるものにするためには、システムが物理世界を深く意味的に理解していなければならない。これは これは、LiDARセンサーや深度カメラなどの特殊なハードウェアと LiDARセンサーや深度カメラなどの特殊なハードウェアと、強力なソフトウェア アルゴリズムの組み合わせによって達成される。核となる技術には、次のようなものがある。 同時ローカライゼーションとマッピング（SLAM）：未知の環境のマップを構築しながら、デバイスが自身の動きをtrack することを可能にする。

このパイプラインの中で、ディープラーニング（DL）モデル が重要な役割を果たす。具体的には オブジェクト検出は、シーン内のアイテムを特定する、 インスタンスのセグメンテーションは インスタンスのセグメンテーションは、その境界を正確に特定する。このピクセルレベルの精度は、「オクルージョン」（現実の物体が仮想の物体の視界を遮り、奥行きの錯覚を維持する視覚効果）にとって極めて重要である。 オクルージョン」（現実のオブジェクトが仮想のオブジェクトの視界を遮り、奥行きの錯覚を維持する視覚効果）には、このピクセルレベルの精度が不可欠です。のような高性能モデル Ultralytics YOLO11のような高性能モデルが採用されることが多い。 このようなインタラクションを が採用されることが多い。

複合現実と関連概念

空間コンピューティングの用語を理解するのは難しい。このようなテクノロジーを次のような概念でとらえるとよい。 バーチャリティの連続体

• 拡張現実（AR）：デジタル要素が現実世界に重ね合わされるが、多くの場合、空間認識が欠如している。 空間認識が欠けていることが多い。携帯電話の画面上に浮かぶGPSの矢印が典型的な例だ。
• バーチャルリアリティ（VR）：ユーザーは人工的なデジタル環境に完全に没入し、物理的な世界との視覚的な接触を断ち切る。 物理的な世界との視覚的な接触を遮断する。
• マージド・リアリティ（MR）：しばしば複合現実と同じ意味で使われるが、この用語は特に 現実世界の物理や照明に対するバーチャル・オブジェクトのインタラクティブ性と応答性を強調する。これにより デジタル・ツイン（Digital Twin）を作成する。 コンテンツを安全に固定する。

実際のアプリケーション

マージド・リアリティは、デジタルデータと物理的行動のギャップを埋めることで、産業を変革する。

1. 高度な外科手術ナビゲーション：内 ヘルスケアのAIでは、MRヘッドセットによって外科医が患者を「透視」することができる。 患者を「透視」できる。3D MRIやCTスキャン データを患者の体に直接重ね合わせることで、医師は血管や腫瘍などの内部構造を視覚化できる、 切開する前に。これには正確な ポーズ推定が必要です。 手術台上の患者の実際の位置に合わせるための正確な姿勢推定が必要です。
2. 産業メンテナンスとトレーニング製造におけるAI 製造業のAI分野では、技術者がMRを使って複雑な機械を修理する。 を使用して複雑な機械を修理する。紙のマニュアルを参照する代わりに、技術者はインタラクティブでステップバイステップの3Dを見ることができる。 を見ることができる。部品の交換が必要な場合、システムは特定のボルトを強調表示することができる。 ボルトを取り外すことができる。このロボット工学と人間による の応用は、トレーニング時間とエラーを大幅に削減します。

MRのための知覚の実装

マージド・リアリティ・システムの基本的な構成要素は、バーチャル・コンテンツが反応できるように、現実世界の物体をdetect し、位置を特定する能力である。 バーチャル・コンテンツがそれらに反応できるようにすることです。次の例は ultralytics リアルタイムでオブジェクトを検出し、仮想アセットの固定に必要な座標データを提供する。 仮想資産の固定に必要な座標データを提供します。

from ultralytics import YOLO

# Load a pre-trained YOLO11 model
model = YOLO("yolo11n.pt")

# Perform inference on an image (or video frame from an MR headset)
results = model("path/to/scene.jpg")

# Display results
# In an MR app, the bounding box coordinates (results[0].boxes.xyxy)
# would be used to anchor 3D graphics to the detected object.
results[0].show()

今後の方向性

マージド・リアリティの未来は、エッジAIの発展と密接に結びついている。 エッジAIの開発と密接に結びついている。ヘッドセットやメガネが軽量化されるにつれ ヘッドセットやメガネが軽量化されるにつれて、視覚データを処理する重労働は、ラグを最小限に抑えるためにデバイス上で直接行われる必要がある。モデル量子化の進歩により モデルの量子化における進歩により、複雑なニューラルネットワーク をモバイル・ハードウェア上で効率的に実行できるようになる。さらに さらに、ジェネレイティブAIの統合により、ダイナミックなバーチャル のビジョンに近づくことができる。 空間コンピューティング 物理とデジタルの区別がつかないような空間コンピューティングの普及というビジョンに近づいている。