Merged Reality

融合现实（MR），也广泛称为混合现实，描述了物理世界与计算机生成的数字内容的融合。与完全虚拟或增强的环境不同，融合现实创造了一个无缝空间，让物理对象和数字对象能够共存并实时交互。这项技术高度依赖先进的计算机视觉和空间计算，以准确映射真实世界环境，使数字对象能够锚定在物理表面上，并对物理变化作出响应。通过利用传感器、摄像头和深度学习算法，MR 系统可以理解深度、几何结构和光照，创造出身临其境的体验，让人感觉真实有形，并与用户实际所处的环境紧密融合。

在人工智能和机器学习中的相关性#

融合现实的发展与人工智能的进步密不可分。要成功融合数字世界和物理世界，系统必须具备对环境的复杂理解能力。这正是视觉感知任务发挥关键作用的地方。目标检测等技术可以让系统识别家具或人员，而同步定位与建图（SLAM）则使设备能够追踪自身相对于这些对象的位置。

现代 MR 应用利用深度学习模型即时处理复杂的传感数据。例如，姿态估计可用于追踪手部动作以实现手势控制，从而无需使用实体控制器。此外，语义分割可帮助系统区分地面、墙壁和桌子，确保数字角色在地面上行走，而不是穿过桌子漂浮。

实际应用#

融合现实正通过沉浸式模拟提升生产力和培训水平，推动各行业转型。

• 工业维护与培训： 在制造业中，技术人员佩戴 MR 头显，将数字原理图叠加到实体机械上。如果工作人员查看某个特定的发动机部件，系统会利用实时推理识别该部件，并直接在部件上显示维修说明或扭矩规格。这种免手操作的指导可以减少错误，并加快复杂任务的完成速度。
• 医学手术与规划： 外科医生利用 MR 在手术过程中，将 3D 医学成像扫描结果（如 MRI 或 CT 数据）直接叠加到患者身体上。这种方式无需进行大切口，就能精确呈现内部解剖结构。通过集成分割模型，系统可以实时突出显示特定器官或肿瘤，帮助医生进行导航并改善手术效果。

关键术语辨析#

区分融合现实与“XR”（扩展现实）领域中的相关概念非常重要：

• 增强现实（AR）： AR 通常将数字信息叠加到摄像头画面上（例如智能手机滤镜），但不会进行深度的空间交互。MR 更进一步，确保数字对象能够与现实世界进行物理交互（例如数字球从真实桌面上弹起）。
• 虚拟现实（VR）： VR 创建一个完全合成的环境，将物理世界彻底隔绝在外。MR 则让用户继续处于物理环境中，同时对其进行增强。

将计算机视觉应用于 MR#

为了构建 MR 系统的基础组件（例如检测表面或对象以锚定数字内容），开发者通常会使用高速检测模型。Ultralytics YOLO26模型非常适合这一用途，因为其低延迟和高精度对于维持现实感至关重要。

以下示例演示了如何对视频流执行实例分割。在 MR 场景中，这种像素级掩码可以定义数字角色的“可行走”区域。

from ultralytics import YOLO

# Load the YOLO26 segmentation model
model = YOLO("yolo26n-seg.pt")

# Predict on a video source to identify physical objects and their boundaries
# This data helps anchor digital assets to real-world objects
results = model.predict(source="room_scan.mp4", show=True, stream=True)

for result in results:
    # Process masks to determine occlusion or physics interactions
    if result.masks:
        print(f"Detected {len(result.masks)} physical segments for interaction.")

融合现实的未来#

随着硬件变得更轻便，并且边缘计算能力不断提升，MR 有望得到普及。生成式 AI的集成可能会让 MR 环境动态地自我填充，自动创建真实世界空间的数字孪生。借助Ultralytics Platform等工具，开发者可以轻松训练自定义模型，以识别这些融合环境中的特定对象，从而拓展我们在三维空间中与信息交互的边界。