Cómo guía la visión artificial a AMR, AGV y carretillas elevadoras autónomas

La visión artificial ayuda a los robots móviles autónomos, los vehículos de guiado automático y las carretillas elevadoras autónomas a percibir personas, palés, estanterías, cargas, señales, zonas del suelo y otros vehículos. Ultralytics YOLO puede proporcionar detecciones, observaciones de segmentación, pose y seguimiento dentro de esa pila de percepción. No sustituye a la localización, la planificación de rutas, el control del vehículo ni a un sistema de seguridad validado.

La mejor arquitectura suele ser la fusión de sensores. Las cámaras aportan comprensión semántica e información visual detallada. El lidar y los sensores de profundidad aportan geometría y distancia. Los encoders y los sensores inerciales aportan información sobre el movimiento. El sistema de navegación combina estas entradas en función del vehículo, el entorno y la evaluación de riesgos.

Los requisitos de AMR, AGV y carretillas elevadoras autónomas son distintos#

Un AGV suele seguir rutas fijas o semifijas y depende de elementos de infraestructura, como marcadores, reflectores o rutas cartografiadas. En general, un AMR planifica cómo esquivar obstáculos cambiantes en un entorno cartografiado. Una carretilla elevadora autónoma añade la manipulación de cargas, la geometría del mástil y las horquillas, las cargas elevadas y las interacciones en torno a palés y estanterías.

No uses estas etiquetas como sustituto de los requisitos. Define:

• Las zonas de operación y las rutas permitidas.
• La velocidad del vehículo, el comportamiento de frenado y el rango de carga útil.
• Las personas, los vehículos y las clases de objetos que deben percibirse.
• La iluminación interior y exterior, las condiciones meteorológicas, el polvo y el estado del suelo.
• Los requisitos de localización y el comportamiento del mapa.
• Los puntos ciegos que crean el vehículo y la carga.
• La disponibilidad de la red y los límites de computación a bordo.
• Los requisitos aplicables de seguridad de maquinaria, vehículos y lugares de trabajo.

Qué aporta la visión artificial#

La aplicación de navegación debe recibir observaciones explícitas con marcas de tiempo. Necesita conocer el fotograma de la cámara, la versión del modelo, la confianza y la antigüedad de cada resultado para poder descartar datos obsoletos o incoherentes.

La cámara, el lidar y la profundidad son complementarios#

Las cámaras monoculares ofrecen color y textura con una complejidad de hardware relativamente baja, pero no miden directamente la profundidad métrica. Las cámaras estéreo y de profundidad activa estiman la distancia dentro de su rango de funcionamiento. El lidar proporciona mediciones geométricas directas y puede seguir siendo útil cuando varía la apariencia, aunque también importan el material, las condiciones meteorológicas y la geometría.

La selección de sensores debe basarse en el análisis de fallos. Pregúntate qué peligros o características de navegación pasarían desapercibidos si un sensor quedara bloqueado, saturado, contaminado o no estuviera disponible. La redundancia solo ayuda cuando los modos de fallo son suficientemente independientes y la lógica de fusión gestiona los desacuerdos.

La colocación de la cámara debe tener en cuenta los giros, la marcha atrás, la posición de las horquillas y los cambios de carga. Valida el campo de visión con la carga máxima permitida y en todas las posiciones del mástil. Añade tareas de limpieza, inspección y comprobación de la alineación a los procedimientos de mantenimiento.

Construye el conjunto de datos de percepción a partir de rutas, no de imágenes aisladas#

Recopila condiciones completas de las rutas en distintos centros, turnos, tipos de pasillo, intersecciones, zonas de carga, tráfico de personas y vehículos, estados de carga y condiciones de mantenimiento. Incluye ejemplos negativos difíciles, como carteles, reflejos, maniquíes, materiales apilados y vistas parciales que se parezcan a las clases objetivo.

Divide los datos de evaluación por ruta, hora o centro para evitar que haya fotogramas de vídeo casi duplicados en el entrenamiento y las pruebas. Informa del rendimiento por distancia, oclusión, iluminación, movimiento y tipo de objeto. Una única media puede ocultar los casos más importantes cerca de las intersecciones o las zonas de carga.

Ultralytics Platform puede facilitar la anotación, el entrenamiento y la gestión de versiones de modelos personalizados de percepción Ultralytics YOLO. Los modelos exportados pueden ejecutarse en los entornos de ejecución integrados o periféricos compatibles que se elijan según las limitaciones de capacidad de cálculo y latencia del vehículo.

Integra la percepción con ROS 2 u otra pila de robótica#

Una integración robótica suele publicar detecciones o máscaras con marcas de tiempo e información sobre el sistema de coordenadas. Una capa de transformación relaciona las coordenadas de la cámara con las del vehículo. La capa de navegación o comportamiento utiliza las observaciones junto con los mapas, los sensores de distancia, la odometría y el estado de la tarea.

Diseña teniendo en cuenta lo siguiente:

• Sincronización temporal entre sensores.
• Latencia acotada y rechazo de mensajes obsoletos.
• Estados de salud de la cámara y del modelo.
• Comportamiento explícito cuando los sensores discrepan.
• Datos registrados suficientes para reproducir un evento.
• Esquemas de mensajes y salidas del modelo con control de versiones.
• Contención de recursos entre percepción, localización y planificación.

Evita acoplar directamente la navegación a salidas del modelo que no estén documentadas. Una interfaz estable permite que la percepción evolucione sin cambiar silenciosamente el comportamiento del vehículo.

Límite de seguridad#

La visión artificial de propósito general puede ayudar a mejorar la percepción del entorno y las decisiones operativas, pero no debe describirse como un dispositivo de protección certificado. La parada del vehículo, los campos de protección, las funciones de emergencia y la validación de seguridad corresponden a la arquitectura de seguridad aplicable y a un proceso de ingeniería competente.

Documenta qué ocurre cuando fallan el modelo, la cámara, el sistema de cálculo o la red. Según el diseño del sistema, un estado seguro puede requerir reducir la velocidad, detenerse de forma controlada, restringir la ruta o cambiar a otro modo de funcionamiento. Valida estos comportamientos en el vehículo completo.

Plan de evaluación#

Prueba la percepción, la navegación y las operaciones por separado y en conjunto.

Pruebas de percepción#

• Detección y localización según la distancia, la dirección, la iluminación y la oclusión.
• Continuidad del seguimiento al cruzarse con otros objetos y durante obstrucciones temporales.
• Falsos positivos causados por objetos del fondo y reflejos.
• Rendimiento con cámaras sucias, desalineadas, desenfocadas o parcialmente bloqueadas.
• Latencia integral y uso de recursos en el sistema de cálculo de destino.

Pruebas de navegación#

• Intersecciones, pasillos estrechos, incorporaciones, adelantamientos, marcha atrás y carga.
• Obstáculos estáticos y en movimiento a velocidades representativas.
• Cambios en los mapas, barreras temporales y cierres de rutas.
• Desacuerdo entre sensores, retrasos en los mensajes y ausencia de datos de entrada.
• Recuperación ante la pérdida de localización o la indisponibilidad de un componente de percepción.

Pruebas operativas#

• Recogida, transporte y colocación de cargas con distintas variantes de palés.
• Comportamiento con cargas elevadas o que bloquean la vista.
• Cambios de turno, carga, puesta en marcha, apagado y mantenimiento.
• Reconstrucción de incidentes y reversión del modelo.

Mide la finalización de misiones, las intervenciones, los retrasos en las rutas, el tiempo de indisponibilidad, los errores de percepción y el comportamiento de recuperación. No deduzcas que la navegación es segura basándote únicamente en la precisión del modelo.

Opciones de despliegue#

La inferencia a bordo reduce la dependencia de la conectividad de red y permite mantener en el vehículo los datos de sensores de alta frecuencia. Requiere actualizaciones de software controladas, supervisión de recursos, gestión del almacenamiento y compatibilidad de hardware en toda la flota.

Los servicios centralizados pueden simplificar la gestión de modelos y agregar datos para su revisión, pero el comportamiento del vehículo en tiempo real debe tener en cuenta la latencia y las interrupciones de la red. Un diseño híbrido puede ejecutar la percepción inmediata a bordo y gestionar de forma centralizada los artefactos de modelo aprobados, los metadatos y una selección de ejemplos para revisión.

Usa despliegues por fases. Empieza con la reproducción de datos registrados y continúa con una zona de pruebas, observaciones en modo sombra, operaciones restringidas y un subconjunto controlado de la flota antes de ampliar el despliegue. Conserva un modelo y una configuración que sepas que funcionan para poder revertir los cambios.