计算机视觉如何引导 AMR、AGV 和自动叉车

计算机视觉可帮助自主移动机器人、自动导引车和自动叉车感知人员、托盘、货架、负载、标志、地面区域和其他车辆。Ultralytics YOLO 可以在该感知堆栈中提供检测、分割、姿态和跟踪观测结果。它不能替代定位、路径规划、车辆控制或经过验证的安全系统。

最佳架构通常是传感器融合。摄像头提供语义理解和丰富的外观信息。激光雷达和深度传感器提供几何形状和距离。编码器和惯性传感器提供运动信息。导航系统根据车辆、环境和风险评估组合这些输入。

AMR、AGV 和自动叉车的要求各不相同#

AGV 通常遵循固定或半固定路线，并依赖于标记、反射器或地图路径等基础设施。AMR 通常在地图环境中的变化障碍物周围进行规划。自动叉车则增加了负载处理、门架和货叉几何形状、高处负载以及围绕托盘和货架的交互。

不要用这些标签来替代需求。请定义：

• 操作区域和允许的路线。
• 车速、停止行为和载荷范围。
• 必须感知的人员、车辆和对象类别。
• 室内和室外照明、天气、灰尘和地面条件。
• 所需的定位和地图行为。
• 由车辆和负载产生的盲区。
• 网络可用性和机载计算限制。
• 适用的机械、车辆和工作场所安全要求。

计算机视觉的作用#

导航应用程序应消费明确的、带时间戳的观测结果。它需要了解每个结果的摄像头帧、模型版本、置信度和时效，以便拒绝陈旧或不一致的数据。

摄像头、激光雷达和深度传感器相辅相成#

单目摄像头在硬件复杂度相对较低的情况下提供颜色和纹理，但不能直接测量公制深度。立体和主动深度摄像头在其工作范围内估计距离。激光雷达提供直接的几何测量，并且在外观变化的情况下仍然有用，尽管材料、天气和几何形状仍然很重要。

传感器的选择应遵循故障分析。询问如果某个传感器被阻挡、饱和、污染或不可用，会漏掉哪些危险或导航功能。只有在故障模式充分独立且融合逻辑能够处理分歧时，冗余才有帮助。

摄像头安放位置必须考虑到转弯、倒车、货叉位置和不断变化的负载。使用允许的最大负载和每个门架状态验证视野。将清洁、检查和对齐检查纳入维护程序。

从路线而不是孤立的图像构建感知数据集#

收集跨站点、班次、过道类型、交叉口、码头区域、人员和车辆交通、负载状态和维护条件的完整路线条件。包括困难的负面样本，例如海报、反射、人体模型、堆叠材料以及类似于目标类别的部分视图。

按路线、时间或站点划分评估数据，以避免在训练和测试中出现接近重复的视频帧。按距离、遮挡、光照、运动和对象类型报告性能。单一平均值可能会掩盖交叉口或对接区域附近最重要的情况。

Ultralytics Platform 可以支持自定义 Ultralytics YOLO 感知模型的标注、训练和版本管理。导出的模型可以在为车辆的计算和延迟限制所选的受支持机载或边缘运行时上运行。

将感知与 ROS 2 或其他机器人堆栈集成#

机器人集成通常发布带有时间戳和坐标系信息的检测结果或掩码。转换层将摄像头坐标关联到车辆。导航或行为层将观测结果与地图、距离传感器、里程计和任务状态结合使用。

为以下内容进行设计：

• 传感器之间的时间同步。
• 有界延迟和陈旧消息拒绝。
• 摄像头健康状况和模型健康状况。
• 当传感器意见不一致时的明确行为。
• 足以重现事件的记录数据。
• 版本化的消息架构和模型输出。
• 感知、定位和规划之间的资源争用。

避免将导航直接耦合到未记录的模型输出。稳定的接口使感知能够在不以静默方式改变车辆行为的情况下发展。

安全边界#

通用计算机视觉可以支持意识和操作决策，但不应将其描述为经认证的保护设备。车辆停止、保护场、紧急功能和安全验证属于适用的安全架构和主管工程流程。

记录当模型、摄像头、计算或网络发生故障时会发生什么。根据系统设计，安全状态可能需要降低速度、受控停止、路线限制或转移到另一种操作模式。在完整车辆上验证这些行为。

评估计划#

分别以及联合测试感知、导航和操作。

感知测试#

• 按距离、方向、光照和遮挡进行的检测和定位。
• 通过交叉口和临时障碍物的跟踪连续性。
• 来自背景物体和反射的误报。
• 摄像头变脏、移位、模糊或部分受阻时的性能。
• 目标计算上的端到端延迟和资源使用情况。

导航测试#

• 交叉口、窄过道、合流、超车、倒车和对接。
• 具有代表性速度的静态和移动障碍物。
• 地图更改、临时障碍和路线关闭。
• 传感器意见不一致、消息延迟和输入丢失。
• 从定位丢失或不可用的感知组件中恢复。

操作测试#

• 跨托盘变体的负载提取、运输和放置。
• 带有高处或视野受阻负载时的行为。
• 换班、充电、启动、关机和维护。
• 事件重构和模型回滚。

衡量任务完成情况、人工干预、路线延迟、不可用时间、感知错误和恢复行为。切勿仅从模型准确性推断导航安全性。

部署选择#

机载推理可最大限度地减少对网络连接的依赖，并可以将高频传感器数据保留在车辆上。它需要在整个车队中进行受控的软件更新、资源监控、存储管理和硬件支持。

集中式服务可以简化模型管理并聚合审核数据，但实时车辆行为应考虑网络延迟和丢失。混合设计可以在机载运行即时感知的同时，集中管理经批准的模型工件、元数据和选定的审核示例。

使用分阶段发布。在广泛推广之前，从录制的重放开始，然后是测试区、影子观测、受限操作和受控的车队子集。保留已知良好的模型和配置以便回滚。