遇见 YOLO26: 下一代视觉 AI。
Ultralytics
返回 Ultralytics 词汇表

Visual SLAM (Simultaneous Localization and Mapping)

了解视觉 SLAM 如何实现自主测绘。学习通过 Ultralytics YOLO26 提高精度,并通过 Ultralytics Platform 部署解决方案。

视觉 SLAM (同时定位与地图构建是一项核心计算机视觉) 技术,它使机器人或移动设备等智能体能够仅使用摄像头输入,在构建未知环境地图的同时确定其在空间中的位置。与依赖昂贵激光传感器的传统 SLAM 系统不同,视觉 SLAM 利用标准的单目、双目或 RGB-D 摄像头。通过在连续图像帧中提取并跟踪视觉特征,系统可以计算摄像头的轨迹,同时逐步构建周围环境的 3D 点云或稠密地图。这项技术是实现机器自主导航和空间感知的基础。

Link to this section视觉 SLAM 的工作原理#

典型的视觉 SLAM 流水线包含两个主要组件:前端和后端。前端处理传感器数据,执行视觉特征提取(识别不同的角点或边缘)并将这些特征在不同帧之间进行匹配,以估计摄像头随时间的运动。后端利用这些里程计数据,并执行优化算法,例如束调整,以纠正漂移并优化环境地图及摄像头的预估位姿。

2024 年和 2025 年的最新突破将范式从传统手工特征(如遗留框架 ORB-SLAM3 中使用的特征)转向了深度学习方法。现代系统现在利用神经网络进行稠密光流和特征匹配,使其对运动模糊和低纹理环境具有极高的鲁棒性。此外,结合 3D 高斯泼溅 (3D Gaussian Splatting)神经辐射场 (NeRFs) 的新型渲染技术,正在实现能够捕捉比标准点云更复杂几何细节的实时、照片级真实感稠密建图。

Link to this section视觉 SLAM 与 LiDAR SLAM 与对象跟踪的对比#

了解建图技术与跟踪技术之间的区别,对于部署正确的解决方案至关重要:

  • 视觉 SLAM 与 LiDAR SLAM 的对比: 虽然视觉 SLAM 依赖低成本摄像头传感器来感知丰富的视觉纹理,但 LiDAR SLAM 使用激光束来精确测量物理距离。LiDAR 精度极高但昂贵且耗电,而视觉 SLAM 则性价比高并能提供颜色信息,但在光照条件不佳的情况下可能会遇到困难。
  • 视觉 SLAM 与对象跟踪的对比: 对象跟踪旨在隔离并跟踪视频帧中特定实体的运动。另一方面,视觉 SLAM 跟踪摄像头相对于静态环境的运动以构建地图。然而,这两个概念在语义 SLAM 中融合,其中对象检测模型识别动态对象,从而有目的地将其从静态地图中剔除。

Link to this section实际应用#

视觉 SLAM 已深度集成到现代人工智能体和空间计算系统中。

  • 机器人与自主无人机 送货机器人和无人机使用视觉 SLAM 在无 GPS 环境(如仓库或密集的城市峡谷)中导航。通过构建实时地图,它们可以自主进行路径规划并避开障碍物。
  • 增强现实 (AR) 和虚拟现实 (VR):商用智能眼镜严重依赖视觉 SLAM 来理解房间的几何结构。这使得 AR 系统能够将数字对象(如虚拟监视器)精确锚定在物理表面上,从而在用户移动时保持稳定。
  • 辅助导航系统 深度学习驱动的语义 SLAM 的最新进展正被用于为视障人士创建可穿戴导航辅助工具,确保他们能绕过动态物理障碍物,实现安全的实时路线引导。

Link to this section语义 SLAM 与 YOLO26 集成#

视觉 SLAM 面临的最大挑战之一是如何处理动态环境,因为移动对象会污染地图。语义 SLAM 通过将传统的 SLAM 流水线与高速视觉模型配对解决了这个问题。通过使用 Ultralytics YOLO26 进行实例分割或检测,系统可以对场景进行语义标注并滤除移动对象,从而显著提高定位精度。

下方的代码块演示了如何使用 YOLO26 来识别动态对象(如人和汽车)的坐标,以便 SLAM 特征匹配引擎可以将它们显式忽略:

from ultralytics import YOLO

# Load Ultralytics YOLO26 to detect dynamic objects in the scene
model = YOLO("yolo26n.pt")
results = model("robot_camera_view.jpg")

# Extract bounding boxes of dynamic objects to exclude them from SLAM maps
for box in results[0].boxes:
    if int(box.cls) in [0, 2]:  # Example: Class 0 is person, Class 2 is car
        print(f"Ignore dynamic feature region at coordinates: {box.xyxy[0]}")

通过利用现代边缘 AI 硬件(如 NVIDIA Jetson)并通过 Ultralytics Platform 集成模型,开发者可以直接在 SLAM 流水线旁边训练和部署轻量级视觉算法。如需进一步探索自主建图架构,请查阅 IEEE XplorearXiv 上的最新文献,并了解如何在 Ultralytics 文档中优化连续视觉流水线。

Explore solutions

Real-time AI that works with your team

机器人技术中的 AI

使用 Ultralytics YOLO 模型为智能机器赋能。机器人技术中的视觉 AI 可推动自主导航、感知、物体跟踪和实时控制。
了解更多
Real-time AI that works with your team

物流中的 AI

使用 Ultralytics YOLO 模型简化物流。视觉 AI 可实现包裹检查、分拣、车辆跟踪和实时仓库安全监控。
了解更多
Real-time AI that works with your team

零售业 AI

使用 Ultralytics YOLO 模型重塑零售业。视觉 AI 推动库存跟踪、货架监控、队列管理和更智能的客户洞察。
了解更多
Real-time AI that works with your team

医疗保健中的 AI

利用 Ultralytics YOLO 模型构建医疗保健解决方案。医疗保健中的视觉 AI 可助力更快速的医学影像分析、更智能的诊断和患者监测。
了解更多
Real-time AI that works with your team

制造业中的 AI

使用 Ultralytics YOLO 模型优化制造业。视觉 AI 推动质量控制、缺陷检测、PPE 合规性和装配线自动化。
了解更多
Real-time AI that works with your operation

汽车中的 AI

将计算机视觉应用于汽车行业,并配合 Ultralytics YOLO 模型。汽车视觉 AI 可提升道路安全、辅助驾驶和车辆自动化,打造更智能的道路。
了解更多
Real-time AI tailored to your operation

农业中的 AI

借助 Ultralytics YOLO 模型,将视觉 AI 引入智慧农业。赋能作物监测、牲畜追踪和精准农业,实现更高、更智能的产量。
了解更多
Real-time AI that works with your team

机器人技术中的 AI

使用 Ultralytics YOLO 模型为智能机器赋能。机器人技术中的视觉 AI 可推动自主导航、感知、物体跟踪和实时控制。
了解更多
Real-time AI that works with your team

物流中的 AI

使用 Ultralytics YOLO 模型简化物流。视觉 AI 可实现包裹检查、分拣、车辆跟踪和实时仓库安全监控。
了解更多
Real-time AI that works with your team

零售业 AI

使用 Ultralytics YOLO 模型重塑零售业。视觉 AI 推动库存跟踪、货架监控、队列管理和更智能的客户洞察。
了解更多
Real-time AI that works with your team

医疗保健中的 AI

利用 Ultralytics YOLO 模型构建医疗保健解决方案。医疗保健中的视觉 AI 可助力更快速的医学影像分析、更智能的诊断和患者监测。
了解更多
Real-time AI that works with your team

制造业中的 AI

使用 Ultralytics YOLO 模型优化制造业。视觉 AI 推动质量控制、缺陷检测、PPE 合规性和装配线自动化。
了解更多
Real-time AI that works with your operation

汽车中的 AI

将计算机视觉应用于汽车行业,并配合 Ultralytics YOLO 模型。汽车视觉 AI 可提升道路安全、辅助驾驶和车辆自动化,打造更智能的道路。
了解更多
Real-time AI tailored to your operation

农业中的 AI

借助 Ultralytics YOLO 模型,将视觉 AI 引入智慧农业。赋能作物监测、牲畜追踪和精准农业,实现更高、更智能的产量。
了解更多
Real-time AI that works with your team

机器人技术中的 AI

使用 Ultralytics YOLO 模型为智能机器赋能。机器人技术中的视觉 AI 可推动自主导航、感知、物体跟踪和实时控制。
了解更多
Real-time AI that works with your team

物流中的 AI

使用 Ultralytics YOLO 模型简化物流。视觉 AI 可实现包裹检查、分拣、车辆跟踪和实时仓库安全监控。
了解更多
Real-time AI that works with your team

零售业 AI

使用 Ultralytics YOLO 模型重塑零售业。视觉 AI 推动库存跟踪、货架监控、队列管理和更智能的客户洞察。
了解更多
Real-time AI that works with your team

医疗保健中的 AI

利用 Ultralytics YOLO 模型构建医疗保健解决方案。医疗保健中的视觉 AI 可助力更快速的医学影像分析、更智能的诊断和患者监测。
了解更多
Real-time AI that works with your team

制造业中的 AI

使用 Ultralytics YOLO 模型优化制造业。视觉 AI 推动质量控制、缺陷检测、PPE 合规性和装配线自动化。
了解更多
Real-time AI that works with your operation

汽车中的 AI

将计算机视觉应用于汽车行业,并配合 Ultralytics YOLO 模型。汽车视觉 AI 可提升道路安全、辅助驾驶和车辆自动化,打造更智能的道路。
了解更多
Real-time AI tailored to your operation

农业中的 AI

借助 Ultralytics YOLO 模型,将视觉 AI 引入智慧农业。赋能作物监测、牲畜追踪和精准农业,实现更高、更智能的产量。
了解更多

让我们一起构建 AI 的未来!

开启你的机器学习未来之旅