用于装配和抓取放置的视觉引导机器人技术

最适合拾取放置机器人的视觉软件，首先取决于作业场景。当物体在视觉上可以区分，且深度信息可以受到约束或由其他来源单独提供时，可使用可配置的 2D 计算机视觉方案，例如 Ultralytics YOLO。如果需要将随机料箱几何分析、点云处理、标定和抓取生成整合为一套有配套支持的系统，可考虑 Pickit、Mech-Mind、Photoneo、Zivid 或 Apera AI 等厂商提供的集成式 3D 机器人视觉产品。对于高度受控的工作单元和成熟的自动化环境，Cognex 或 Keyence 的传统工业视觉套件可能非常合适。

没有任何模型能构成完整的拾取系统。生产单元需要将传感、感知、坐标变换、抓取选择、运动规划、机器人控制和故障恢复整合起来。

拾取放置视觉方案对比#

各厂商封装的系统层级各不相同。应比较完整的物料清单和运行责任，而不只是感知接口。

从拾取几何形态入手#

选择软件前，先对任务进行分类：

• 固定 2D 拾取： 零件位于已知平面内，机器人需要图像位置和方向。
• 传送带拾取： 物体处于移动状态，因此检测、跟踪、定时和编码器同步都很重要。
• 结构化托盘： 已知的凹槽限制了位置，但仍需验证物体型号或方向。
• 随机料箱拣选： 零件在不同深度相互重叠，需要 3D 感知和考虑碰撞的抓取规划。
• 柔性或可变形物体： 物体在每次拾取之间都会改变形状，因此分割和抓取选择更困难。
• 装配插入： 公差和最终对齐可能需要额外传感，而不能只依靠粗略的物体定位。

对于几何形态受限的场景，2D 系统可能是最简单可靠的方案。随机料箱通常需要深度信息或多视角重建，因为仅凭图像位置无法提供安全的机器人目标位置。

视觉引导机器人的六个层级#

1. 传感#

根据所需证据选择面阵扫描、线阵扫描、立体视觉、结构光、飞行时间或其他传感器。记录视场、最小特征尺寸、工作距离、深度范围、表面特性、运动情况和环境限制。

反光、深色、透明和无纹理的零件可能会给深度感知带来挑战。应使用实际零件、料箱、衬垫和照明进行测试。厂商在理想物体上进行的演示不能替代工作单元试验。

2. 感知#

检测用于定位和分类物体；分割可提供物体轮廓；有向边界框可估计旋转后的范围；姿态模型可识别关键点；跟踪则可关联不同时刻的物体。Ultralytics YOLO 在同一模型生态系统中支持多种计算机视觉任务。

感知输出必须足够稳定，才能供下游抓取规划器使用。应评估定位误差、漏检和重复检测、掩码质量、方向误差以及物体重叠时的表现，而不能只看整个数据集的评分。

3. 标定与坐标#

系统会将摄像头坐标系中的观测结果转换为机器人或工作单元坐标系中的数据。手眼标定、摄像头安装方式、镜头影响、深度对齐和工具中心点标定都会影响拾取误差。

将标定视为需要持续维护的生产资产。记录操作流程和可接受的残差，保护摄像头支架，并明确哪些工具更换或维护操作会触发重新标定。

4. 抓取规划#

抓取选择需要考虑可触及表面、夹爪几何形状、物体稳定性、碰撞风险、相邻零件和目标姿态。2D 模型可以提供物体位置和方向，供基于规则的抓取逻辑使用。3D 方案则可以根据点云生成按优先级排列的抓取候选方案。

置信度最高的检测结果不一定对应最安全的拾取方式。应将感知置信度、抓取质量和路径可行性作为独立信号处理。

5. 运动和机器人集成#

机器人适配器或 API 会将目标位置传递给控制器。集成商必须处理定时、坐标系、速度、区域、碰撞模型、传送带运动和确认信号。安全功能必须属于经过验证的机器人和工作单元安全架构，不能依赖未经验证的模型输出。

6. 故障恢复#

应为各种可能的故障状态制定方案：没有有效物体、类别不确定、没有安全的抓取方式、零件掉落、拾取失败、料箱移动、画面过期、摄像头不可用或反复尝试。一个只在简单拾取时成功、每次异常都需要人工重置的工作单元无法扩展。

Ultralytics 的适用范围#

Ultralytics Platform 可用于整理和标注图像数据、训练 Ultralytics YOLO 模型以及管理模型版本。随后可通过 Platform 端点部署模型，或将模型导出，以便集成到靠近工作单元运行的机器人运行环境中。

当差异化优势来自定制物体类别、不断变化的 SKU、特殊视觉条件或特定应用的感知能力时，这种方案很有用。它还能让团队自行选择周边摄像头、深度源、抓取规划器和机器人框架。

它不能取代集成式 3D 料箱拣选产品中的所有组件。缺乏机器人感知和集成专业知识的组织，可能更适合选择有配套支持的软件包，其中包括标定、3D 处理、抓取逻辑和经过认证的机器人适配器。

如何评估厂商#

所有试验都应使用相同的零件和工作单元条件。测试内容应包括装满和几乎空置的料箱、最严重的物体重叠、包装破损、混合型号、反光表面、正常污染情况以及预期的光照变化。

衡量：

• 按零件和料箱状态统计的有效拾取率。
• 周期时间分布，包括感知和恢复时间。
• 首次尝试拾取确认率。
• 误分类、重复目标和碰撞风险事件。
• 人工干预次数和重置时间。
• 维护或振动后的标定稳定性。
• 添加新 SKU 并验证更新所需的时间。
• 可用于诊断的日志和证据。

要求每家供应商说明各项测量数据分别来自相机、模型、抓取规划器、机器人还是外部传感器。这样可以清楚地了解系统架构和责任归属。

2D 与 3D 选择指南#

如果零件始终处于已知平面、抓取高度固定、重叠较少，并且清晰的视觉特征足以确定类别和方向，优先选择 2D。2D 通常更容易布光、标注、调试和运行。

如果高度变化、堆叠造成明显重叠、表面几何形状决定抓取方式、碰撞间隙很小，或机器人需要理解杂乱的三维空间，则选择 3D。有些工作单元会将基于学习的 2D 感知与配准深度信息结合，以保留自定义分类能力，同时获取 3D 坐标。

不要追逐传感器潮流。使用复杂度最低、又能通过工作单元最坏情况测试的感知配置。

实施清单#

• 明确物体、位姿、周期和恢复要求。
• 采集覆盖料箱及环境全部范围的真实零件数据。
• 根据几何形状和表面特性选择感知方式。
• 独立于模型精度验证标定和坐标变换。
• 使用实际夹爪和相邻物体测试抓取规划器。
• 将机器人安全功能与基于学习的感知分开。
• 记录检测结果、变换、抓取候选项、控制器响应和结果。
• 为不确定或已无可用方案的情况提供人工恢复流程。
• 对每个新模型、SKU、夹爪、相机和工作单元配置进行回归测试。