融合现实

融合现实（MR），亦广为人知的混合现实，描述了物理世界与计算机生成数字内容的融合。不同于纯粹的虚拟或增强环境，融合现实创造了一个无缝空间，其中物理与数字对象实时共存并互动。 该技术高度依赖先进的计算机视觉与空间计算能力，可精确映射现实环境，使数字元素能锚定于物理表面并响应物理变化。通过整合传感器、摄像头及深度学习算法，MR系统能解析深度、几何结构与光照条件，在用户真实环境中创造出触手可及的沉浸式体验。

在 AI 和机器学习中的相关性

融合现实的演进与人工智能的发展密不可分。要成功融合数字世界与物理世界，系统必须具备对环境的深度理解。这正是视觉感知任务至关重要的所在。 诸如物体检测等技术 使系统能够识别 家具或人物，而 SLAM（同步定位与建图） 则让设备能够track 相对于这些物体的位置。

现代MR应用利用深度学习模型即时处理复杂的感官数据。例如姿势估计 用于track 动作以实现手势控制，从而无需物理控制器。此外，语义分割功能帮助系统区分地板、墙壁和桌子，确保数字角色行走于地面而非穿过桌面漂浮。

实际应用

融合现实正通过增强沉浸式模拟训练来提升生产力，从而改变各行各业。

• 工业维护与培训： 在制造业中，技术人员佩戴混合现实头戴设备，该设备能将数字化示意图叠加在实体机械上。当工人注视特定发动机部件时，系统通过实时推理识别该组件，并将维修说明或扭矩规格直接显示在部件上。这种免提式指导既能减少操作失误，又能加速复杂任务的完成。
• 外科手术与规划：外科医生在手术过程中利用MR技术，将三维医学影像扫描（如MRI或CT数据）直接叠加到患者身体上。这使得无需进行大范围切口即可精确观察内部解剖结构。通过整合分割模型，该系统能实时突出显示特定器官或肿瘤，辅助导航并提升手术效果。

区分关键术语

区分融合现实与"XR"（扩展现实）范畴中的相关概念至关重要：

• 增强现实（AR）： AR通常将数字信息叠加在摄像头画面上（如智能手机滤镜），不涉及深度空间交互。 混合现实（MR）则更进一步，确保数字对象与现实世界发生物理交互（例如数字球体在真实桌面上弹跳）。
• 虚拟现实（VR）：VR创造一个完全合成的环境，彻底隔绝物理世界。混合现实（MR）则让用户保持身处物理环境的同时增强其体验。

应用计算机视觉于MR

要构建MR系统的基础组件（例如检测表面或物体以锚定数字内容），开发者通常采用高速检测模型。Ultralytics 尤其适合此类应用，其低延迟与高精度的特性对于维持真实感至关重要。

以下示例演示了如何对视频流执行实例分割。在混合现实环境中，这种像素级遮罩可为数字角色定义"可通行"区域。

from ultralytics import YOLO

# Load the YOLO26 segmentation model
model = YOLO("yolo26n-seg.pt")

# Predict on a video source to identify physical objects and their boundaries
# This data helps anchor digital assets to real-world objects
results = model.predict(source="room_scan.mp4", show=True, stream=True)

for result in results:
    # Process masks to determine occlusion or physics interactions
    if result.masks:
        print(f"Detected {len(result.masks)} physical segments for interaction.")

融合现实的未来

随着硬件日益轻量化 边缘计算能力不断提升，混合现实技术有望 实现无处不在的应用。生成式人工智能的融合将使MR环境能够动态生成内容，自动创建现实空间的数字孪生体。Ultralytics 等工具，开发者可轻松训练定制模型以识别融合环境中的特定物体，从而拓展我们在三维空间中与信息交互的边界。