Comment la vision par ordinateur guide les AMR, les AGV et les chariots élévateurs autonomes

La vision par ordinateur aide les robots mobiles autonomes, les véhicules à guidage automatique et les chariots élévateurs autonomes à percevoir les personnes, les palettes, les rayonnages, les charges, les panneaux, les zones au sol et les autres véhicules. Ultralytics YOLO peut fournir des informations de détection, de segmentation, de pose et de suivi dans cette chaîne de perception. Il ne remplace ni la localisation, ni la planification d’itinéraire, ni le contrôle du véhicule, ni un système de sécurité validé.

La meilleure architecture repose généralement sur la fusion de capteurs. Les caméras apportent une compréhension sémantique et des informations riches sur l’apparence. Le lidar et les capteurs de profondeur fournissent la géométrie et la distance. Les codeurs et les capteurs inertiels renseignent sur le mouvement. Le système de navigation combine ces entrées en fonction du véhicule, de l’environnement et de l’évaluation des risques.

Les exigences diffèrent pour les AMR, les AGV et les chariots élévateurs autonomes#

Un AGV suit souvent des itinéraires fixes ou semi-fixes et dépend d’infrastructures telles que des marqueurs, des réflecteurs ou des trajets cartographiés. Un AMR planifie généralement ses déplacements en contournant les obstacles changeants dans un environnement cartographié. Un chariot élévateur autonome doit aussi gérer les charges, la géométrie du mât et des fourches, les charges en hauteur et les interactions autour des palettes et des rayonnages.

Ne te fie pas aux appellations pour définir les exigences. Précise :

• Les zones de fonctionnement et les itinéraires autorisés.
• La vitesse du véhicule, son comportement à l’arrêt et la plage de charges utiles.
• Les personnes, les véhicules et les classes d’objets qui doivent être détectés.
• L’éclairage intérieur et extérieur, la météo, la poussière et l’état du sol.
• Les exigences de localisation et le comportement de la carte.
• Les angles morts créés par le véhicule et sa charge.
• La disponibilité du réseau et les limites de calcul embarqué.
• Les exigences applicables en matière de sécurité des machines, des véhicules et des lieux de travail.

Ce qu’apporte la vision par ordinateur#

L’application de navigation doit exploiter des observations explicites horodatées. Elle doit connaître le repère de la caméra, la version du modèle, le niveau de confiance et l’ancienneté de chaque résultat afin de pouvoir rejeter les données périmées ou incohérentes.

La caméra, le lidar et la profondeur sont complémentaires#

Les caméras monoculaires fournissent des informations sur les couleurs et les textures avec une complexité matérielle relativement faible, mais ne mesurent pas directement la profondeur métrique. Les caméras stéréo et à profondeur active estiment la distance dans leur plage de fonctionnement. Le lidar fournit des mesures géométriques directes et peut rester utile lorsque l’apparence varie, même si les matériaux, les conditions météorologiques et la géométrie restent déterminants.

Le choix des capteurs doit s’appuyer sur l’analyse des défaillances. Demande-toi quels dangers ou éléments de navigation passeraient inaperçus si un capteur était obstrué, saturé, contaminé ou indisponible. La redondance n’est utile que si les modes de défaillance sont suffisamment indépendants et si la logique de fusion gère les désaccords.

Le positionnement des caméras doit tenir compte des virages, de la marche arrière, de la position des fourches et des changements de charge. Valide le champ de vision avec la charge maximale autorisée et chaque configuration du mât. Ajoute le nettoyage, l’inspection et les vérifications d’alignement aux procédures de maintenance.

Construis le jeu de données de perception à partir de trajets, et non d’images isolées#

Collecte des conditions de trajet complètes sur différents sites, équipes, types d’allées, intersections, quais, trafics de personnes et de véhicules, états de charge et conditions de maintenance. Inclus des exemples négatifs difficiles, tels que des affiches, des reflets, des mannequins, des matériaux empilés et des vues partielles ressemblant aux classes cibles.

Sépare les données d’évaluation par trajet, période ou site afin d’éviter que des images vidéo presque identiques se retrouvent à la fois dans l’entraînement et dans les tests. Présente les performances selon la distance, l’occultation, l’éclairage, le mouvement et le type d’objet. Une seule moyenne peut masquer les cas les plus importants à proximité des intersections ou des quais.

Ultralytics Platform peut prendre en charge l’annotation, l’entraînement et la gestion des versions de modèles de perception personnalisés Ultralytics YOLO. Les modèles exportés peuvent s’exécuter sur des environnements d’exécution embarqués ou périphériques pris en charge, choisis en fonction des contraintes de calcul et de latence du véhicule.

Intègre la perception à ROS 2 ou à une autre pile robotique#

Une intégration robotique publie généralement les détections ou les masques avec des horodatages et des informations sur les repères de coordonnées. Une couche de transformation relie les coordonnées de la caméra à celles du véhicule. La couche de navigation ou de comportement exploite les observations conjointement avec les cartes, les capteurs de distance, l’odométrie et l’état de la tâche.

Conçois le système en tenant compte des éléments suivants :

• Synchronisation temporelle entre les capteurs.
• Latence limitée et rejet des messages périmés.
• États de santé de la caméra et du modèle.
• Comportement défini explicitement en cas de désaccord entre les capteurs.
• Données enregistrées suffisantes pour reproduire un événement.
• Schémas de messages et sorties de modèles versionnés.
• Concurrence pour les ressources entre la perception, la localisation et la planification.

Évite de coupler directement la navigation aux sorties non documentées du modèle. Une interface stable permet à la perception d’évoluer sans modifier subrepticement le comportement du véhicule.

Limites de sécurité#

La vision par ordinateur généraliste peut contribuer à la perception de l’environnement et aux décisions opérationnelles, mais ne doit pas être présentée comme un dispositif de protection certifié. L’arrêt du véhicule, les champs de protection, les fonctions d’urgence et la validation de sécurité relèvent de l’architecture de sécurité applicable et d’un processus d’ingénierie mené par des personnes compétentes.

Documente les conséquences d’une défaillance du modèle, de la caméra, du calcul ou du réseau. Selon la conception du système, l’état de sécurité peut nécessiter une réduction de vitesse, un arrêt contrôlé, une restriction d’itinéraire ou un passage à un autre mode de fonctionnement. Valide ces comportements sur le véhicule complet.

Plan d’évaluation#

Teste la perception, la navigation et les opérations séparément et conjointement.

Tests de perception#

• Détection et localisation selon la distance, la direction, l’éclairage et l’occultation.
• Continuité du suivi lors des croisements et des obstructions temporaires.
• Faux positifs dus aux objets d’arrière-plan et aux reflets.
• Performances avec des caméras sales, déplacées, floues ou partiellement obstruées.
• Latence de bout en bout et utilisation des ressources sur le matériel cible.

Tests de navigation#

• Intersections, allées étroites, voies de jonction, dépassements, marche arrière et mise à quai.
• Obstacles statiques et mobiles à des vitesses représentatives.
• Modifications des cartes, barrières temporaires et fermetures d’itinéraires.
• Désaccord entre capteurs, retard des messages et données d’entrée manquantes.
• Récupération après une perte de localisation ou l’indisponibilité d’un composant de perception.

Tests opérationnels#

• Prise en charge, transport et dépôt de charges sur différentes variantes de palettes.
• Comportement avec des charges élevées ou obstruant le champ de vision.
• Changements d’équipe, recharge, démarrage, arrêt et maintenance.
• Reconstitution des incidents et retour à une version antérieure du modèle.

Mesure le taux d’achèvement des missions, les interventions, les retards d’itinéraire, les périodes d’indisponibilité, les erreurs de perception et le comportement de récupération. Ne déduis pas la sécurité de la navigation de la seule précision du modèle.

Options de déploiement#

L’inférence embarquée réduit la dépendance à la connectivité réseau et permet de conserver les données des capteurs à haute fréquence sur le véhicule. Elle nécessite des mises à jour logicielles contrôlées, la surveillance des ressources, la gestion du stockage et la prise en charge du matériel sur l’ensemble de la flotte.

Les services centralisés peuvent simplifier la gestion des modèles et l’agrégation des données à examiner, mais le comportement des véhicules en temps réel doit tenir compte de la latence et des pertes réseau. Une architecture hybride peut exécuter immédiatement la perception à bord tout en gérant de manière centralisée les artefacts de modèles approuvés, les métadonnées et une sélection d’exemples à examiner.

Déploie les versions par étapes. Commence par la relecture des enregistrements, puis passe à une zone de test, aux observations en mode silencieux, aux opérations restreintes et à un sous-ensemble contrôlé de la flotte avant le déploiement général. Conserve un modèle et une configuration dont le bon fonctionnement est connu pour pouvoir revenir en arrière.