Comment la vision par ordinateur guide les AMR, AGV et chariots élévateurs autonomes
Ce que la vision par ordinateur apporte à la navigation des AMR, AGV et chariots élévateurs autonomes, comment la caméra, le lidar et la profondeur se complètent, et où se situe la sécurité.
La vision par ordinateur aide les robots mobiles autonomes, les véhicules à guidage automatique et les chariots élévateurs autonomes à percevoir les personnes, les palettes, les racks, les charges, les panneaux, les zones au sol et les autres véhicules. Ultralytics YOLO peut fournir des observations de détection, de segmentation, de pose et de suivi au sein de cette pile de perception. Il ne remplace pas la localisation, la planification d'itinéraire, le contrôle du véhicule ou un système de sécurité validé.
La meilleure architecture est généralement la fusion de capteurs. Les caméras apportent une compréhension sémantique et des informations riches sur l'apparence. Le lidar et les capteurs de profondeur apportent la géométrie et la portée. Les codeurs et les capteurs inertiels apportent le mouvement. Le système de navigation combine ces entrées en fonction du véhicule, de l'environnement et de l'évaluation des risques.
Les exigences des AMR, des AGV et des chariots élévateurs autonomes diffèrent#
Un AGV suit souvent des itinéraires fixes ou semi-fixes et dépend d'infrastructures telles que des balises, des réflecteurs ou des chemins cartographiés. Un AMR planifie généralement ses déplacements autour d'obstacles changeants dans un environnement cartographié. Un chariot élévateur autonome ajoute la gestion de la charge, la géométrie du mât et des fourches, les charges en hauteur et les interactions autour des palettes et des racks.
N'utilise pas les libellés comme substitut aux exigences. Définis :
- Les zones d'opération et les itinéraires autorisés.
- La vitesse du véhicule, le comportement d'arrêt et la plage de charge utile.
- Les personnes, les véhicules et les classes d'objets qui doivent être perçus.
- L'éclairage intérieur et extérieur, les conditions météorologiques, la poussière et l'état du sol.
- Le comportement de localisation et de cartographie requis.
- Les angles morts créés par le véhicule et la charge.
- La disponibilité du réseau et les limites de calcul embarqué.
- Les exigences applicables en matière de machinerie, de véhicules et de sécurité sur le lieu de travail.
Ce que la vision par ordinateur apporte#
| Fonction de perception | Tâche de vision possible | Utilisation pour la navigation | Limitation clé |
|---|---|---|---|
| Détection de personnes et de véhicules | Détection et suivi d'objets | Sensibilisation sémantique et logique comportementale | La détection n'est pas une fonction de protection homologuée pour la sécurité par défaut |
| Reconnaissance de palettes et de racks | Détection, segmentation ou points clés | Contexte d'amarrage, de prélèvement et de placement | L'occlusion et les palettes endommagées modifient l'apparence |
| Estimation de l'espace libre | Segmentation sémantique ou profondeur | Entrée de traversabilité | Les reflets au sol et la géométrie invisible peuvent induire en erreur un système n'utilisant que des caméras |
| Surveillance de l'état de la charge | Détection ou classification | Confirmer la présence de la charge et l'alignement visible | Le poids caché et la stabilité nécessitent d'autres capteurs |
| Reconnaissance de panneaux et de balises | Détection et décodage | Contexte d'itinéraire ou de flux de travail | La saleté, l'usure et l'angle de vue affectent la lisibilité |
| Localisation visuelle | Suivi de caractéristiques ou SLAM visuel | Estimation de pose | Les allées répétitives et les scènes changeantes peuvent réduire la fiabilité |
| Mouvement d'objets | Suivi multi-objets | Prédire les trajectoires proches | Le mouvement de la caméra et l'occlusion nécessitent une fusion minutieuse |
L'application de navigation doit consommer des observations explicites et horodatées. Elle a besoin de connaître le repère de la caméra, la version du modèle, la confiance et l'âge de chaque résultat afin de pouvoir rejeter les données obsolètes ou incohérentes.
Caméra, lidar et profondeur sont complémentaires#
Les caméras monoculaires offrent des couleurs et des textures avec une complexité matérielle relativement faible, mais ne mesurent pas directement la profondeur métrique. Les caméras stéréo et à profondeur active estiment la portée dans leur plage de fonctionnement. Le lidar fournit des mesures géométriques directes et peut rester utile là où l'apparence varie, bien que le matériau, la météo et la géométrie comptent toujours.
La sélection des capteurs doit suivre l'analyse des défaillances. Demande-toi quels dangers ou fonctionnalités de navigation seraient manqués si un capteur était bloqué, saturé, contaminé ou indisponible. La redondance n'aide que lorsque les modes de défaillance sont suffisamment indépendants et que la logique de fusion gère les désaccords.
Le placement de la caméra doit tenir compte des virages, de la marche arrière, de la position des fourches et des charges changeantes. Valide le champ de vision avec la plus grande charge autorisée et chaque état du mât. Ajoute des contrôles de nettoyage, d'inspection et d'alignement aux procédures de maintenance.
Construis le jeu de données de perception à partir d'itinéraires et non d'images isolées#
Rassemble des conditions d'itinéraires complètes sur l'ensemble des sites, des équipes, des types d'allées, des intersections, des zones de quai, du trafic de personnes et de véhicules, des états de charge et des conditions de maintenance. Inclus des faux négatifs difficiles tels que des affiches, des reflets, des mannequins, des matériaux empilés et des vues partielles qui ressemblent aux classes cibles.
Divise les données d'évaluation par itinéraire, par heure ou par site pour éviter les trames vidéo presque identiques dans l'entraînement et les tests. Rapporte les performances par distance, par occlusion, par éclairage, par mouvement et par type d'objet. Une seule moyenne peut masquer les cas qui comptent le plus près des intersections ou des zones de quai.
Ultralytics Platform peut prendre en charge l'annotation, l'entraînement et la gestion des versions pour les modèles de perception personnalisés Ultralytics YOLO. Les modèles exportés peuvent s'exécuter sur des runtimes embarqués ou de périphérie pris en charge, sélectionnés pour les contraintes de calcul et de latence du véhicule.
Intègre la perception avec ROS 2 ou une autre pile robotique#
Une intégration robotique publie généralement des détections ou des masques avec des horodatages et des informations sur le repère de coordonnées. Une couche de transformation relie les coordonnées de la caméra au véhicule. La couche de navigation ou de comportement utilise les observations en plus des cartes, des capteurs de portée, de l'odométrie et de l'état de la tâche.
Conçois pour :
- La synchronisation temporelle entre les capteurs.
- La latence limitée et le rejet des messages obsolètes.
- Les états de santé de la caméra et du modèle.
- Un comportement explicite lorsque les capteurs sont en désaccord.
- Des données enregistrées suffisantes pour reproduire un événement.
- Des schémas de messages et des sorties de modèles versionnés.
- La concurrence des ressources entre la perception, la localisation et la planification.
Évite de coupler la navigation directement à une sortie de modèle non documentée. Une interface stable permet à la perception d'évoluer sans modifier silencieusement le comportement du véhicule.
Limite de sécurité#
La vision par ordinateur à usage général peut soutenir la sensibilisation et les décisions opérationnelles, mais elle ne doit pas être décrite comme un dispositif de protection certifié. L'arrêt du véhicule, les champs de protection, les fonctions d'urgence et la validation de la sécurité relèvent de l'architecture de sécurité applicable et d'un processus d'ingénierie compétent.
Documente ce qui se passe lorsque le modèle, la caméra, le calcul ou le réseau tombe en panne. Un état sûr peut nécessiter une vitesse réduite, un arrêt contrôlé, une restriction d'itinéraire ou le transfert vers un autre mode de fonctionnement, selon la conception du système. Valide ces comportements sur le véhicule complet.
Plan d'évaluation#
Teste la perception, la navigation et les opérations séparément et ensemble.
Tests de perception#
- Détection et localisation par distance, direction, éclairage et occlusion.
- Continuité du suivi à travers les croisements et les obstructions temporaires.
- Faux positifs provenant d'objets d'arrière-plan et de reflets.
- Performances avec des caméras sales, déplacées, floues ou partiellement bloquées.
- Latence de bout en bout et utilisation des ressources sur le calcul cible.
Tests de navigation#
- Intersections, allées étroites, fusions, dépassements, marche arrière et amarrage.
- Obstacles statiques et mobiles à des vitesses représentatives.
- Modifications de cartes, barrières temporaires et fermetures d'itinéraires.
- Désaccord des capteurs, retard des messages et entrée manquante.
- Récupération après une perte de localisation ou un composant de perception indisponible.
Tests opérationnels#
- Prélèvement, transport et placement de charges à travers des variantes de palettes.
- Comportement avec des charges en hauteur ou bloquant la vue.
- Changements d'équipe, recharge, démarrage, arrêt et maintenance.
- Reconstruction d'incidents et restauration de modèle.
Mesure l'achèvement des missions, les interventions, les retards d'itinéraire, le temps d'indisponibilité, les erreurs de perception et le comportement de récupération. Ne déduis pas la sécurité de la navigation de la seule précision du modèle.
Choix de déploiement#
L'inférence embarquée minimise la dépendance à la connectivité réseau et peut conserver des données de capteurs à haut débit sur le véhicule. Elle nécessite des mises à jour logicielles contrôlées, une surveillance des ressources, une gestion du stockage et un support matériel sur l'ensemble de la flotte.
Les services centralisés peuvent simplifier la gestion des modèles et agréger les données d'examen, mais le comportement du véhicule en temps réel doit tenir compte de la latence et de la perte du réseau. Une conception hybride peut exécuter une perception immédiate à bord tout en gérant de manière centralisée les artefacts de modèles approuvés, les métadonnées et des exemples d'examen sélectionnés.
Utilise des versions échelonnées. Commence par une lecture enregistrée, puis une zone de test, des observations fantômes, des opérations restreintes et un sous-ensemble de flotte contrôlé avant un déploiement à grande échelle. Conserve un modèle et une configuration sains et connus pour la restauration.
Questions fréquemment posées
La localisation et la cartographie simultanées visuelles (SLAM) estiment le mouvement de la caméra tout en construisant ou en utilisant une carte à partir de caractéristiques visuelles. C'est une approche de localisation qui peut être combinée avec des mesures inertielles, de roues, de lidar ou d'autres mesures.
L'inférence embarquée est pertinente lorsque la faible latence, la localité des données ou le fonctionnement en cas de coupure réseau comptent. Confirme que le calcul cible peut supporter la charge de travail complète et que les mises à jour et le suivi du parc sont gérables.
Détecte les entrées manquantes, obsolètes, floues, bloquées, déplacées ou implausibles et intègre cet état dans un comportement défini du véhicule. La réponse doit être conçue et validée dans le cadre du système complet.