融合现实

融合现实 (MR)，也广为人知为混合现实，描述了物理世界与计算机生成的数字内容的融合。与严格的虚拟或增强环境不同，融合现实创造了一个无缝空间，其中物理和数字对象可以实时共存和交互。这项技术高度依赖先进的计算机视觉和空间计算来精确映射真实世界环境，从而使数字内容能够锚定到物理表面并响应物理变化。通过利用传感器、摄像头和深度学习算法，MR系统能够理解深度、几何和光照，创造出沉浸式体验，让用户感觉真实且根植于实际环境。

在 AI 和机器学习中的相关性

融合现实的演进与人工智能的进步密不可分。要成功融合数字和物理世界，系统必须对环境有复杂的理解。这正是视觉感知任务变得至关重要的地方。诸如目标检测之类的技术使系统能够识别家具或人物，而SLAM（同步定位与建图）则使设备能够跟踪自身相对于这些对象的位置。

现代MR应用利用深度学习模型即时处理复杂的感官数据。例如，姿势估计用于跟踪手部动作以实现手势控制，从而无需物理控制器。此外，语义分割帮助系统区分地板、墙壁和桌子，确保数字角色在地板上行走，而不是穿过桌子漂浮。

实际应用

融合现实通过沉浸式模拟提高生产力和培训效果，正在改变各行各业。

• 工业维护与培训：在制造业中，技术人员佩戴MR头显，将数字示意图叠加到物理机械上。如果工人查看特定的发动机部件，系统会使用实时推理来识别组件，并直接在部件上显示维修说明或扭矩规格。这种免提指导减少了错误并加快了复杂任务的完成速度。
• 外科手术与规划：外科医生利用MR（混合现实）在手术过程中将3D医学影像扫描（如MRI或CT数据）直接叠加到患者身体上。这使得无需进行大切口即可精确可视化内部解剖结构。通过集成segmentation模型，系统可以实时高亮显示特定器官或肿瘤，辅助导航并改善手术结果。

区分关键术语

区分融合现实与“XR”（扩展现实）谱系中的相关概念非常重要：

• 增强现实 (AR): AR通常将数字信息叠加到摄像头画面上（如智能手机滤镜），但没有深度的空间交互。MR则更进一步，确保数字对象与现实世界进行物理交互（例如，一个数字球在真实桌子上弹跳）。
• 虚拟现实 (VR): VR 创建一个完全合成的环境，完全隔绝物理世界。MR 让用户置身于其物理环境中，同时对其进行增强。

计算机视觉在MR中的应用

为了构建MR系统的基本组件，例如检测表面或对象以锚定数字内容，开发人员通常使用高速检测模型。Ultralytics YOLO26模型因其低延迟和高精度而特别适合此用途，这对于维持现实的幻觉至关重要。

以下示例演示了如何对视频流执行实例分割。在MR环境中，这种像素级掩码可以定义数字角色的“可行走”区域。

from ultralytics import YOLO

# Load the YOLO26 segmentation model
model = YOLO("yolo26n-seg.pt")

# Predict on a video source to identify physical objects and their boundaries
# This data helps anchor digital assets to real-world objects
results = model.predict(source="room_scan.mp4", show=True, stream=True)

for result in results:
    # Process masks to determine occlusion or physics interactions
    if result.masks:
        print(f"Detected {len(result.masks)} physical segments for interaction.")

融合现实的未来

随着硬件变得更轻巧，以及边缘计算能力的提升，MR有望变得无处不在。生成式AI的集成可能会使MR环境动态地自我填充，自动创建真实世界空间的数字孪生。借助Ultralytics Platform等工具，开发人员可以轻松训练自定义模型，以识别这些融合环境中的特定对象，从而拓展我们与三维空间信息交互的界限。