计算机视觉如何引导 AMR、AGV 和自动驾驶叉车

计算机视觉帮助自主移动机器人、自动导引车和自动叉车感知人员、托盘、货架、载荷、标志、地面区域及其他车辆。Ultralytics YOLO 可以在感知堆栈中提供检测、分割、姿态和跟踪结果。它不能取代定位、路径规划、车辆控制或经过验证的安全系统。

最佳架构通常是传感器融合。摄像头提供语义理解和丰富的外观信息。激光雷达和深度传感器提供几何信息和距离。编码器和惯性传感器提供运动信息。导航系统会根据车辆、环境和风险评估来组合这些输入。

AMR、AGV 和自动叉车的要求各不相同#

AGV 通常沿固定或半固定路线行驶，并依赖标记、反光板或地图路径等基础设施。AMR 通常会在已建图的环境中规划路线，绕开不断变化的障碍物。自动叉车还涉及货物搬运、门架和货叉几何结构、升高的载荷，以及与托盘和货架周围环境的交互。

不要用这些称谓代替具体要求。请明确以下内容：

• 作业区域和允许通行的路线。
• 车辆速度、停车行为和载荷范围。
• 必须感知的人员、车辆和物体类别。
• 室内外照明、天气、灰尘和地面状况。
• 定位和地图行为要求。
• 车辆和载荷造成的盲区。
• 网络可用性和车载计算能力限制。
• 适用的机械、车辆和工作场所安全要求。

计算机视觉能提供什么#

导航应用应使用带有明确时间戳的观测数据。它需要知道相机帧、模型版本、置信度以及每个结果的时效，以便拒绝过期或不一致的数据。

相机、激光雷达和深度传感器各有优势，彼此互补#

单目相机能够以相对较低的硬件复杂度提供颜色和纹理信息，但无法直接测量具有度量尺度的深度。双目相机和主动深度相机可在各自的工作范围内估算距离。激光雷达能提供直接的几何测量，在外观变化的情况下仍可能发挥作用，但材料、天气和几何形状仍会影响结果。

传感器选择应以故障分析为依据。要考虑：如果某个传感器被遮挡、饱和、污染或无法使用，会漏掉哪些危险或导航特征？只有在故障模式足够独立且融合逻辑能够处理分歧时，冗余才有帮助。

相机安装位置必须考虑转弯、倒车、货叉位置和载荷变化。要在允许的最大载荷和每种门架状态下验证视野。将清洁、检查和校准检查纳入维护规程。

根据路线构建感知数据集，而不是收集孤立图像#

跨站点、班次、通道类型、交叉路口、装卸区、人员与车辆流量、载荷状态和维护状况，收集完整路线条件下的数据。加入困难负样本，例如海报、反光、人体模型、堆叠的材料，以及容易被误认为目标类别的局部视图。

按路线、时间或站点划分评估数据，避免训练集和测试集中出现近乎重复的视频帧。按距离、遮挡、照明、运动和物体类型报告性能。单一平均值可能掩盖交叉路口或装卸区附近最重要的情况。

Ultralytics Platform 可用于自定义 Ultralytics YOLO 感知模型的标注、训练和版本管理。导出的模型可在根据车辆计算能力和延迟限制选定的受支持车载或边缘运行时上运行。

与 ROS 2 或其他机器人技术栈集成#

机器人集成通常会发布带有时间戳和坐标系信息的检测结果或掩码。转换层负责建立相机坐标与车辆坐标之间的关系。导航或行为层会将这些观测数据与地图、测距传感器、里程计和任务状态结合使用。

设计时要考虑：

• 传感器之间的时间同步。
• 有界延迟和过期消息拒绝机制。
• 相机健康状态和模型健康状态。
• 传感器意见不一致时的明确行为。
• 足以重现事件的记录数据。
• 带版本管理的消息架构和模型输出。
• 感知、定位和规划之间的资源争用。

避免让导航直接依赖未记录的模型输出。稳定的接口能让感知模块持续演进，而不会悄然改变车辆行为。

安全边界#

通用计算机视觉可辅助态势感知和运行决策，但不应将其描述为经过认证的保护装置。车辆制动、保护区域、紧急功能和安全验证，应由适用的安全架构和具备相应能力的工程流程负责。

记录模型、相机、计算设备或网络发生故障时的处理方式。根据系统设计，安全状态可能要求降低速度、受控停车、限制路线或切换到其他运行模式。要在整车上验证这些行为。

评估计划#

分别并联合测试感知、导航和运行流程。

感知测试#

• 按距离、方向、照明和遮挡评估检测与定位。
• 测试目标在交叉通行和临时遮挡过程中的跟踪连续性。
• 评估背景物体和反光造成的误报。
• 测试相机脏污、偏移、模糊或部分受遮挡时的性能。
• 在目标计算设备上测试端到端延迟和资源使用情况。

导航测试#

• 测试交叉路口、狭窄通道、汇合、超车、倒车和停靠。
• 以有代表性的速度测试静态和移动障碍物。
• 测试地图变化、临时障碍物和路线封闭。
• 测试传感器分歧、消息延迟和输入缺失。
• 测试从定位丢失或感知组件不可用状态中恢复。

运行测试#

• 测试不同托盘类型下的取货、运输和放置。
• 测试载荷升高或阻挡视野时的行为。
• 测试换班、充电、启动、关机和维护。
• 测试事件重建和模型回滚。

衡量任务完成率、人工干预次数、路线延误、不可用时间、感知错误和恢复行为。不要仅凭模型准确率推断导航安全性。

部署选择#

车载推理可最大限度减少对网络连接的依赖，并将高频传感器数据保留在车辆上。这需要受控的软件更新、资源监控、存储管理，以及对整个车队硬件的支持。

集中式服务可简化模型管理并汇总审核数据，但车辆的实时行为应考虑网络延迟和连接中断。混合式设计可在车载端运行即时感知，同时集中管理经批准的模型文件、元数据和选定的审核样例。

采用分阶段发布。先从记录回放开始，然后依次经过测试区域、影子观测、受限运行和受控的小规模车队，最后再全面部署。保留已验证可用的模型和配置，以便回滚。