Robótica guiada por visión para montaje y recogida y colocación

El mejor software de visión para un robot de recogida y colocación depende, ante todo, del entorno. Usa una pila de visión artificial 2D configurable, como Ultralytics YOLO, cuando los objetos se distingan visualmente y la profundidad pueda limitarse o proporcionarse por separado. Valora los productos integrados de visión robótica 3D de proveedores como Pickit, Mech-Mind, Photoneo, Zivid o Apera AI cuando la geometría de contenedores con piezas aleatorias, el procesamiento de nubes de puntos, la calibración y la generación de agarres deban ofrecerse como un único sistema con soporte. Las suites tradicionales de visión industrial de Cognex o Keyence pueden encajar muy bien en células estrictamente controladas y entornos de automatización consolidados.

Ningún modelo constituye por sí solo un sistema completo de recogida. Una célula de producción integra detección, percepción, transformaciones de coordenadas, selección del agarre, planificación de movimientos, control del robot y recuperación ante fallos.

Comparativa de opciones de visión para sistemas de recogida y colocación#

Los proveedores integran capas distintas. Compara la lista completa de materiales y las responsabilidades operativas, no solo la interfaz de percepción.

Empieza por la geometría de recogida#

Clasifica la tarea antes de elegir el software:

• Recogida 2D fija: las piezas están en planos conocidos y el robot necesita su ubicación en la imagen y su orientación.
• Recogida en cinta transportadora: los objetos se mueven, así que son importantes la detección, el seguimiento, la temporización y la sincronización con el codificador.
• Bandeja estructurada: los compartimentos conocidos limitan la posición, pero aun así hay que comprobar las variantes o la orientación.
• Recogida aleatoria en contenedores: las piezas se solapan a distintas profundidades y requieren percepción 3D y planificación de agarres que tenga en cuenta las colisiones.
• Objetos flexibles o deformables: la forma cambia entre recogidas, lo que dificulta la segmentación y la selección del agarre.
• Inserción en ensamblajes: la tolerancia y la alineación final pueden requerir sensores adicionales, más allá de la localización aproximada de los objetos.

Un sistema 2D puede ser la opción fiable más sencilla para una geometría limitada. Los contenedores con piezas aleatorias suelen requerir profundidad o reconstrucción desde varios puntos de vista, porque la posición en la imagen por sí sola no proporciona una posición segura para el robot.

Las seis capas de un robot guiado por visión#

1. Detección#

Elige sensores de barrido de área, de línea, estereoscópicos, de luz estructurada, de tiempo de vuelo u otros según la información necesaria. Registra el campo de visión, el detalle más pequeño, la distancia de trabajo, el rango de profundidad, las propiedades de la superficie, el movimiento y las limitaciones del entorno.

Las piezas reflectantes, oscuras, transparentes y sin textura pueden dificultar la detección de profundidad. Prueba con las piezas, los contenedores, los revestimientos y la iluminación reales. Las demostraciones del proveedor con objetos favorables no sustituyen a las pruebas en una célula.

2. Percepción#

La detección localiza y clasifica objetos; la segmentación proporciona sus contornos; las cajas delimitadoras orientadas estiman sus dimensiones rotadas; los modelos de pose pueden identificar puntos clave; el seguimiento asocia objetos a lo largo del tiempo. Ultralytics YOLO admite varias de estas tareas de visión artificial dentro de un mismo ecosistema de modelos.

El resultado de la percepción debe ser lo bastante estable para el planificador de agarres posterior. Evalúa el error de localización, los objetos no detectados y los duplicados, la calidad de las máscaras, el error de orientación y el comportamiento cuando hay solapamientos; no te limites a una puntuación global del conjunto de datos.

3. Calibración y coordenadas#

El sistema transforma las observaciones de las coordenadas de la cámara a las del robot o la célula. La calibración mano-ojo, el montaje de la cámara, los efectos de la lente, la alineación de profundidad y la calibración del punto central de la herramienta influyen en el error de recogida.

Trata la calibración como un recurso de producción que debe mantenerse. Registra el procedimiento y los residuos aceptables, protege los soportes de la cámara y define cuándo el cambio de herramientas o el mantenimiento obligan a recalibrar.

4. Planificación del agarre#

La selección del agarre tiene en cuenta las superficies alcanzables, la geometría de la pinza, la estabilidad del objeto, el riesgo de colisión, las piezas vecinas y la pose de destino. Un modelo 2D puede proporcionar la ubicación y la orientación del objeto a la lógica de agarre basada en reglas. Una solución 3D puede generar y ordenar candidatos a agarre a partir de nubes de puntos.

La detección con mayor confianza no es necesariamente la recogida más segura. Mantén separadas la confianza de la percepción, la calidad del agarre y la viabilidad de la trayectoria.

5. Movimiento e integración del robot#

Los adaptadores del robot o las API envían objetivos al controlador. El integrador debe gestionar la temporización, los sistemas de coordenadas, la velocidad, las zonas, los modelos de colisión, el movimiento de la cinta transportadora y las confirmaciones. Las funciones de seguridad deben formar parte de la arquitectura de seguridad validada del robot y de la célula, no depender de la salida de un modelo sin verificar.

6. Recuperación#

Diseña respuestas para los estados de fallo previsibles: ningún objeto válido, clase incierta, ningún agarre seguro, pieza caída, recogida fallida, contenedor desplazado, fotograma obsoleto, cámara no disponible o intento repetido. Una célula que resuelve las recogidas fáciles, pero necesita un reinicio manual después de cada excepción, no podrá escalar.

Dónde encaja Ultralytics#

Ultralytics Platform permite organizar y anotar datos de imagen, entrenar modelos Ultralytics YOLO y gestionar versiones de modelos. Después, los modelos se pueden desplegar mediante los endpoints de Platform o exportar para integrarlos en un entorno de ejecución de robótica cercano a la célula.

Este enfoque resulta útil cuando la diferenciación depende de clases de objetos personalizadas, referencias de producto cambiantes, condiciones visuales inusuales o una percepción específica de la aplicación. También permite a los equipos elegir la cámara, la fuente de profundidad, el planificador de agarres y el marco de trabajo robótico que utilizarán.

No sustituye a todos los componentes de un producto integrado de recogida 3D en contenedores. Las organizaciones sin experiencia en percepción e integración robóticas pueden preferir una solución con soporte que incluya calibración, procesamiento 3D, lógica de agarre y adaptadores certificados para robots.

Cómo evaluar a los proveedores#

Utiliza las mismas piezas y condiciones de célula en todas las pruebas. Incluye contenedores llenos y casi vacíos, los peores casos de solapamiento, embalajes dañados, mezclas de variantes, superficies reflectantes, contaminación normal y los cambios de iluminación previstos.

Medir:

• Porcentaje de recogidas válidas según la pieza y el estado del contenedor.
• Distribución del tiempo de ciclo, incluidos la percepción y la recuperación.
• Confirmación de recogida al primer intento.
• Eventos de clasificación errónea, objetivos duplicados y riesgo de colisión.
• Intervenciones manuales y tiempo de reinicio.
• Estabilidad de la calibración tras el mantenimiento o las vibraciones.
• Tiempo necesario para añadir una nueva referencia y validar la actualización.
• Registros y evidencias disponibles para el diagnóstico.

Pide a cada proveedor que identifique qué mediciones proceden de la cámara, el modelo, el planificador de agarre, el robot y los sensores externos. Así, la arquitectura y las responsabilidades quedan claras.

Guía para elegir entre 2D y 3D#

Elige primero 2D cuando las piezas se mantengan en un plano conocido, la altura de agarre sea fija, haya poco solapamiento y las características visuales claras determinen la clase y la orientación. Suele ser más fácil de iluminar, etiquetar, depurar y usar.

Elige 3D cuando varíe la altura, las pilas generen un solapamiento considerable, la geometría de la superficie determine el agarre, el margen de seguridad frente a colisiones sea reducido o el robot tenga que interpretar un volumen desordenado. Algunas celdas combinan la percepción 2D basada en aprendizaje con la profundidad registrada para conservar la clasificación personalizada y obtener coordenadas 3D.

No decidas según las modas en sensores. Utiliza la configuración de sensores menos compleja que supere las pruebas en las peores condiciones de la celda.

Lista de comprobación de implementación#

• Define los requisitos de objeto, pose, ciclo y recuperación.
• Captura piezas reales en todo el rango de contenedores y condiciones ambientales.
• Elige los sensores según la geometría y el comportamiento de la superficie.
• Valida la calibración y las transformaciones de coordenadas independientemente de la precisión del modelo.
• Prueba el planificador de agarre con la pinza real y los objetos cercanos.
• Separa las funciones de seguridad del robot de la percepción basada en aprendizaje.
• Registra las detecciones, las transformaciones, los agarres candidatos, las respuestas del controlador y los resultados.
• Ofrece una opción de recuperación manual para los casos dudosos o agotados.
• Realiza pruebas de regresión con cada nuevo modelo, referencia, pinza, cámara y configuración de celda.