用于组装和拾取放置的视觉引导机器人技术

用于抓取分拣机器人的最佳视觉软件首先取决于场景。当物体视觉上清晰可辨且深度可控或可单独提供时，请使用可配置的 2D 计算机视觉技术栈，例如 Ultralytics YOLO。当需要将随机料仓几何形状、点云处理、标定和抓取生成作为单一支持系统交付时，可以考虑来自 Pickit、Mech-Mind、Photoneo、Zivid 或 Apera AI 等供应商的集成式 3D 机器人视觉产品。来自 Cognex 或 Keyence 的传统工业视觉套件非常适合严格控制的工位和成熟的自动化环境。

没有任何单一模型能构成完整的抓取系统。生产工位将传感、感知、坐标变换、抓取选择、运动规划、机器人控制以及故障恢复集成为一体。

抓取分拣视觉方案对比#

各家供应商封装了不同的层级。应对比完整的物料清单与运营权责，而不应只看感知接口。

从抓取几何形状入手#

在选择软件之前对任务进行分类：

• 固定 2D 抓取： 零件位于已知的平面上，机器人需要获取图像位置和方向。
• 输送带抓取： 物体处于运动状态，因此检测、跟踪、定时和编码器同步至关重要。
• 结构化料盘： 已知的槽位限制了位置，但仍需验证变体或方向。
• 随机散乱分拣： 零件在不同深度重叠，需要 3D 感知加具备防碰撞功能的抓取规划。
• 柔性或易变形物体： 形状在抓取过程中会发生变化，这使得分割和抓取选择更加困难。
• 装配插拔： 公差和最终对齐可能需要超出粗略物体定位范围的额外传感。

对于受限制的几何形状，2D 系统可能是最简单的可靠选择。随机料仓通常需要深度或多视角重建，因为单纯的图像位置无法提供安全的机器人目标点。

视觉引导机器人的六个层级#

1. 传感#

根据所需证据，选择面阵扫描、线阵扫描、立体视觉、结构光、飞行时间 (ToF) 或其他传感器。记录视场、最小特征、工作距离、深度范围、表面属性、运动以及环境限制。

反光、深色、透明和无纹理零件可能会给深度传感带来挑战。请对实际零件、料仓、内衬和光照进行测试。使用理想对象进行的供应商演示无法替代现场工位测试。

2. 感知#

检测用于定位和分类物体；分割提供物体轮廓；旋转边界框用于估计旋转范围；姿态模型可以识别关键点；跟踪则在时间维度上关联物体。Ultralytics YOLO 在一个模型生态系统中支持其中多项计算机视觉任务。

感知输出必须足够稳定，以供下游抓取规划器使用。不仅要看数据集级别的评分，还要评估定位误差、漏检与重复检测、掩膜质量、方向误差以及在重叠情况下的表现。

3. 标定与坐标#

系统将相机坐标系中的观测结果转换到机器人或工位坐标系中。手眼标定、相机安装、镜头畸变、深度对齐以及工具中心点标定都会影响抓取误差。

应将标定视为一项需要维护的生产资产。记录操作步骤和可接受的残差，保护相机支架，并明确何时需要因工具更换或维护而重新标定。

4. 抓取规划#

抓取选择需考量可及表面、夹爪几何形状、物体稳定性、碰撞风险、相邻零件以及目标姿态。2D 模型可以为基于规则的抓取逻辑提供物体位置和方向。3D 解决方案则可以从点云生成排序后的抓取候选点。

置信度最高的检测未必是最安全的抓取。应将感知置信度、抓取质量和路径可行性作为独立的信号进行处理。

5. 运动与机器人集成#

机器人适配器或 API 将目标点传递给控制器。集成商必须管理定时、坐标系、速度、区域、碰撞模型、输送带运动以及应答。安全功能应归入经过验证的机器人与工位安全架构中，而不是放在未经验证的模型输出中。

6. 恢复#

设计预期的故障状态：无有效物体、类别不确定、无安全抓取点、掉落零件、抓取失败、料仓位移、帧陈旧、相机不可用或重复尝试。如果在处理简单抓取时成功，但在每次异常后都需要人工重置，这种工位将无法规模化。

Ultralytics 的契合点#

Ultralytics Platform 可以组织和标注图像数据、训练 Ultralytics YOLO 模型并管理模型版本。然后，可以通过 Platform 端点部署模型，或者将其导出以集成到靠近工位的机器人运行时中。

当差异化在于自定义物体类别、不断变化的 SKU、不寻常的视觉条件或特定应用感知时，这种方法非常有用。它还允许团队自主选择周边的相机、深度源、抓取规划器和机器人框架。

它并不能替代集成式 3D 散乱分拣产品的每一个组件。缺乏机器人感知和集成专业知识的组织可能会更倾向于选择包含标定、3D 处理、抓取逻辑和认证机器人适配器的成套方案。

如何评估供应商#

在每次测试中使用相同的零件和工位条件。包括满载和近乎空载的料仓、最坏情况下的重叠、受损包装、混合变体、反光表面、正常污染物以及预期的光照变化。

测量指标：

• 按零件和料仓状态划分的有效抓取率。
• 节拍时间分布，包含感知和恢复时间。
• 首次尝试拾取确认。
• 错误分类、重复目标和碰撞风险事件。
• 人工干预和重置时间。
• 维护或振动后的标定稳定性。
• 添加新 SKU 并验证更新所需的时间。
• 可用于诊断的日志和证据。

要求每家供应商指出各项测量结果分别来自相机、模型、抓取规划器、机器人还是外部传感器。这使得架构和责任归属一目了然。

2D 与 3D 决策指南#

当零件停留在已知平面上、抓取高度固定、重叠有限且可通过清晰的视觉特征确定类别和方向时，应优先选择 2D。它通常更容易进行光照配置、打标签、调试和操作。

当高度变化、堆叠产生严重重叠、表面几何形状决定抓取点、碰撞间隙狭窄，或者机器人必须对杂乱的空间进行推理时，应选择 3D。某些工位会将 2D 学习感知与注册深度相结合，在保留自定义分类的同时获取 3D 坐标。

切勿盲目追赶传感器潮流。应使用能够通过工位最坏情况测试的最低复杂度传感配置。

实施检查清单#

• 明确物体、姿态、节拍和恢复要求。
• 在整个料仓和环境范围内采集真实零件数据。
• 根据几何形状和表面特性选择传感方案。
• 独立于模型准确率来验证标定和坐标变换。
• 使用实际夹爪和相邻物体测试抓取规划器。
• 将机器人安全功能与学习感知分开。
• 记录检测结果、坐标变换、抓取候选点、控制器响应以及执行结果。
• 针对不确定或无法处理的情况提供人工恢复机制。
• 对每个新模型、SKU、夹爪、相机和工位配置进行回归测试。