Merged Reality

融合现实（MR），也广为人知的是混合现实，描述了物理世界与计算机生成的数字内容之间的融合。与纯粹的虚拟环境或增强现实环境不同，融合现实创造了一个无缝的空间，使物理对象和数字对象能够共存并实时交互。这项技术高度依赖先进的 计算机视觉 和空间计算来准确映射现实世界环境，从而使数字工件能够锚定在物理表面并对物理变化做出响应。通过利用传感器、摄像头和深度学习算法，MR 系统可以理解深度、几何结构和光照，创造出感觉真实且扎根于用户实际周围环境的沉浸式体验。

Link to this section在 AI 和机器学习中的相关性#

融合现实的发展与人工智能的进步密不可分。为了成功融合数字世界和物理世界，系统必须具备对环境的复杂理解能力。这就是 视觉感知任务 变得至关重要的地方。诸如 目标检测 等技术使系统能够识别家具或人员，而 SLAM (同步定位与映射) 则使设备能够跟踪其相对于这些物体的位置。

现代 MR 应用利用 深度学习模型 即时处理复杂的感知数据。例如，姿态估计 被用于跟踪手部动作以进行手势控制，从而无需物理控制器。此外，语义分割 有助于系统区分地面、墙壁和桌子，确保数字角色走在地面上，而不是穿过桌子漂浮。

Link to this section实际应用#

融合现实通过增强生产力和沉浸式模拟培训，正在改变各行各业。

• 工业维护与培训： 在 制造业 中，技术人员佩戴 MR 头显，将数字原理图叠加到物理机械上。如果工人查看特定的发动机部件，系统会使用 实时推理 来识别该组件，并将维修说明或扭矩规格直接显示在部件上。这种免提引导减少了错误并加快了复杂任务的处理速度。
• 外科手术与规划： 外科医生利用 MR 在手术过程中将 3D 医学影像 扫描结果（如 MRI 或 CT 数据）直接叠加到患者身体上。这可以在不进行大切口的情况下精确观察内部解剖结构。通过集成 分割模型，系统可以实时突出显示特定的器官或肿瘤，从而辅助导航并改善手术效果。

Link to this section区分关键术语#

将融合现实与“XR”（扩展现实）领域中的相关概念区分开来非常重要：

• 增强现实 (AR)： AR 通常将数字信息叠加在摄像头画面上（如智能手机滤镜），而没有深层的空间交互。MR 更进一步，确保数字对象与现实世界进行物理交互（例如，一个数字球从真实的桌子上弹起）。
• 虚拟现实 (VR)： VR 创建了一个完全合成的环境，完全阻隔了物理世界。MR 则让用户保持在物理环境中，同时对其进行增强。

Link to this section应用计算机视觉实现 MR#

为了构建 MR 系统的基本组件（例如检测表面或物体以锚定数字内容），开发者通常使用高速检测模型。Ultralytics YOLO26 模型非常适合此任务，因为它具有低延迟和高精度的特点，这对于维持现实错觉至关重要。

以下示例演示了如何对视频流执行 实例分割。在 MR 环境中，这种像素级遮罩可以定义数字角色的“可行走”区域。

from ultralytics import YOLO

# Load the YOLO26 segmentation model
model = YOLO("yolo26n-seg.pt")

# Predict on a video source to identify physical objects and their boundaries
# This data helps anchor digital assets to real-world objects
results = model.predict(source="room_scan.mp4", show=True, stream=True)

for result in results:
    # Process masks to determine occlusion or physics interactions
    if result.masks:
        print(f"Detected {len(result.masks)} physical segments for interaction.")

Link to this section融合现实的未来#

随着硬件变得更轻便以及 边缘计算 能力的提升，MR 有望变得无处不在。生成式 AI 的集成可能会使 MR 环境能够动态地填充自身，自动创建现实空间中的 数字孪生。借助像 Ultralytics Platform 这样的工具，开发者可以轻松训练自定义模型以识别这些融合环境中的特定物体，从而拓展我们与三维空间信息交互的边界。