Robótica guiada por visión para montaje y recogida y colocación

El mejor software de visión para un robot de recogida y colocación depende primero de la escena. Utiliza un conjunto de visión artificial 2D configurable como Ultralytics YOLO cuando los objetos sean visualmente distinguibles y la profundidad se pueda acotar o suministrar por separado. Considera productos integrados de visión robótica en 3D de proveedores como Pickit, Mech-Mind, Photoneo, Zivid o Apera AI cuando la geometría de contenedores aleatorios, el procesamiento de nubes de puntos, la calibración y la generación de agarres deban integrarse en un único sistema compatible. Los conjuntos de visión industrial tradicionales de Cognex o Keyence pueden encajar muy bien en celdas estrechamente controladas y entornos de automatización establecidos.

Ningún modelo constituye un sistema de recogida completo. Una celda de producción combina sensórica, percepción, transformaciones de coordenadas, selección de agarres, planificación de movimientos, control de robots y recuperación de fallos.

Comparativa de opciones de visión para recogida y colocación#

Los proveedores empaquetan diferentes capas. Compara la lista de materiales completa y la responsabilidad operativa, no solo la interfaz de percepción.

Empieza por la geometría de recogida#

Clasifica la tarea antes de elegir el software:

• Recogida 2D fija: Las piezas se encuentran en planos conocidos y el robot necesita la ubicación en la imagen junto con la orientación.
• Recogida en cinta transportadora: Los objetos se mueven, por lo que la detección, el seguimiento, la sincronización temporal y el codificador importan.
• Bandeja estructurada: Los huecos conocidos limitan la posición, pero las variantes o la orientación siguen requiriendo verificación.
• Recogida aleatoria en contenedores: Las piezas se solapan a diferentes profundidades y requieren percepción 3D además de una planificación de agarre consciente de colisiones.
• Objetos flexibles o deformables: La forma cambia entre recogidas, lo que dificulta la segmentación y la selección de agarres.
• Inserción en ensamblaje: La tolerancia y la alineación final pueden requerir sensórica adicional más allá de la localización gruesa de objetos.

Un sistema 2D puede ser la opción más sencilla y fiable para geometrías acotadas. Los contenedores aleatorios suelen necesitar profundidad o reconstrucción multi-vista porque la posición en la imagen por sí sola no proporciona un objetivo seguro para el robot.

Las seis capas de un robot guiado por visión#

1. Sensórica#

Elige sensores de exploración de área, exploración lineal, estéreo, luz estructurada, tiempo de vuelo u otros según la evidencia requerida. Registra el campo de visión, la característica más pequeña, la distancia de trabajo, el rango de profundidad, las propiedades de la superficie, el movimiento y las restricciones ambientales.

Las piezas reflectantes, oscuras, transparentes y sin textura pueden suponer un reto para la detección de profundidad. Prueba las piezas reales, los contenedores, los revestimientos y la iluminación. Las demostraciones de los proveedores con objetos favorables no sustituyen a una prueba en celda.

2. Percepción#

La detección localiza y clasifica objetos; la segmentación proporciona los contornos de los objetos; las cajas delimitadoras orientadas estiman las extensiones rotadas; los modelos de pose pueden identificar puntos clave; el seguimiento asocia objetos a lo largo del tiempo. Ultralytics YOLO admite varias de estas tareas de visión artificial en un único ecosistema de modelos.

La salida de percepción debe ser lo suficientemente estable para el planificador de agarre posterior. Evalúa el error de localización, los objetos omitidos y duplicados, la calidad de la máscara, el error de orientación y el comportamiento bajo solapamiento: no solo una puntuación para todo el conjunto de datos.

3. Calibración y coordenadas#

El sistema transforma las observaciones de las coordenadas de la cámara a las coordenadas del robot o de la celda. La calibración ojo-mano, el montaje de la cámara, los efectos de las lentes, la alineación de profundidad y la calibración del punto central de la herramienta influyen en el error de recogida.

Trata la calibración como un activo de producción mantenido. Registra el procedimiento y los residuos aceptados, protege los soportes de la cámara y define cuándo las herramientas o el mantenimiento desencadenan una recalibración.

4. Planificación de agarre#

La selección de agarres considera las superficies alcanzables, la geometría de la pinza, la estabilidad del objeto, el riesgo de colisión, las piezas vecinas y la pose de destino. Un modelo 2D puede proporcionar la ubicación y orientación del objeto a la lógica de agarre basada en reglas. Una solución 3D puede generar candidatos de agarre ordenados a partir de nubes de puntos.

La detección con mayor confianza no es necesariamente la recogida más segura. Mantén la confianza de la percepción, la calidad del agarre y la viabilidad de la trayectoria como señales separadas.

5. Movimiento e integración de robots#

Los adaptadores o APIs de robots pasan los objetivos al controlador. El integrador debe gestionar el tiempo, los sistemas de coordenadas, la velocidad, las zonas, los modelos de colisión, el movimiento de la cinta transportadora y las confirmaciones. Las funciones de seguridad pertenecen a la arquitectura de seguridad validada del robot y de la celda, no a la salida de un modelo no verificado.

6. Recuperación#

Diseña los estados de fallo previstos: ningún objeto válido, clase incierta, ningún agarre seguro, pieza caída, fallo de recogida, contenedor movido, fotograma desactualizado, cámara no disponible o intento repetido. Una celda que tiene éxito en recogidas fáciles pero requiere un reinicio manual tras cada excepción no escalará.

Dónde encaja Ultralytics#

Ultralytics Platform puede organizar y anotar datos de imágenes, entrenar modelos de Ultralytics YOLO y gestionar versiones de modelos. A continuación, los modelos se pueden desplegar a través de los puntos de conexión de Platform o exportarse para su integración en un entorno de ejecución de robótica cercano a la celda.

Este enfoque es útil cuando la diferenciación radica en clases de objetos personalizados, SKUs cambiantes, condiciones visuales inusuales o percepción específica de la aplicación. También permite a los equipos elegir la cámara circundante, la fuente de profundidad, el planificador de agarre y el marco de trabajo del robot.

No sustituye a todos los componentes de un producto integrado de recogida de contenedores en 3D. Las organizaciones sin experiencia en percepción e integración robótica pueden preferir un paquete compatible que incluya calibración, procesamiento 3D, lógica de agarre y adaptadores de robots certificados.

Cómo evaluar a los proveedores#

Utiliza las mismas piezas y condiciones de celda para cada prueba. Incluye contenedores llenos y casi vacíos, el peor caso de solapamiento, embalajes dañados, mezclas de variantes, superficies reflectantes, contaminación normal y cambios de iluminación previstos.

Mide:

• Tasa de recogida válida por pieza y estado del contenedor.
• Distribución del tiempo de ciclo, incluyendo la percepción y la recuperación.
• Confirmación de recogida en el primer intento.
• Eventos de clasificación errónea, objetivo duplicado y riesgo de colisión.
• Intervenciones manuales y tiempo de reinicio.
• Estabilidad de la calibración tras el mantenimiento o las vibraciones.
• Tiempo necesario para añadir un nuevo SKU y validar la actualización.
• Registros y evidencias disponibles para el diagnóstico.

Pide a cada proveedor que identifique qué mediciones provienen de la cámara, el modelo, el planificador de agarre, el robot y los sensores externos. Esto hace que la arquitectura y la propiedad sean visibles.

Guía de decisión entre 2D y 3D#

Elige 2D primero cuando las piezas permanezcan en un plano conocido, la altura de recogida sea fija, el solapamiento sea limitado y características visuales claras determinen la clase y la orientación. A menudo es más fácil de iluminar, etiquetar, depurar y operar.

Elige 3D cuando la altura varía, las pilas crean un solapamiento significativo, la geometría de la superficie determina el agarre, el espacio libre para evitar colisiones es ajustado o el robot debe razonar sobre un volumen desordenado. Algunas celdas combinan la percepción aprendida en 2D con profundidad registrada para preservar la clasificación personalizada mientras obtienen coordenadas 3D.

No decidas basándote en la moda de los sensores. Utiliza la configuración sensórica de menor complejidad que supere las pruebas en el peor de los casos de la celda.

Lista de comprobación para la implementación#

• Define los requisitos de objeto, pose, ciclo y recuperación.
• Captura piezas reales en todo el rango de contenedores y entornos.
• Selecciona la sensórica a partir de la geometría y el comportamiento de la superficie.
• Valida la calibración y las transformaciones de coordenadas independientemente de la precisión del modelo.
• Prueba el planificador de agarre con la pinza real y los objetos vecinos.
• Separa las funciones de seguridad del robot de la percepción aprendida.
• Registra detecciones, transformaciones, candidatos de agarre, respuestas del controlador y resultados.
• Proporciona recuperación humana para casos inciertos o agotados.
• Realiza pruebas de regresión en cada nuevo modelo, SKU, pinza, cámara y configuración de celda.