Robotique guidée par vision pour l'assemblage et le tri et placement
Comment fonctionne le tri et placement guidé par vision à travers la détection, la perception, l'étalonnage, la planification de prise, le mouvement et la récupération, avec un guide de décision 2D vs 3D.
Le meilleur logiciel de vision pour un robot de tri dépend d'abord de la scène. Utilise une pile de vision par ordinateur 2D configurable telle que Ultralytics YOLO lorsque les objets sont visuellement distincts et que la profondeur peut être contrainte ou fournie séparément. Envisage des produits intégrés de vision robotique 3D provenant de fournisseurs tels que Pickit, Mech-Mind, Photoneo, Zivid ou Apera AI lorsque la géométrie d'un bac aléatoire, le traitement de nuages de points, l'étalonnage et la génération de préhension doivent constituer un système pris en charge unique. Les suites de vision industrielle traditionnelles de Cognex ou Keyence peuvent convenir parfaitement à des cellules étroitement contrôlées et à des environnements d'automatisation établis.
Aucun modèle ne constitue un système de tri complet. Une cellule de production associe la détection, la perception, les transformations de coordonnées, la sélection de la préhension, la planification des mouvements, le contrôle du robot et la reprise sur erreur.
Comparaison des options de vision pour le tri (pick-and-place)#
| Option | Meilleure adéquation | Force principale | Ce que l'intégrateur doit encore valider |
|---|---|---|---|
| Apera AI | Applications robotiques guidées par vision | Logiciel de vision robotique prêt à l'emploi | Robots pris en charge, objets, éclairage et gestion des exceptions |
| Cognex ou Keyence | Automatisation industrielle contrôlée | Outils de vision industrielle matures et écosystème d'intégration | Pertinence pour les tas non structurés et les besoins d'apprentissage personnalisés |
| Mech-Mind | Guidage et tri en vrac 3D industriel | Écosystème combiné matériel et logiciel de vision 3D | Performances spécifiques à la cellule, intégration et modèle de service |
| Photoneo | Détection 3D haute précision et guidage robotique | Capture 3D et logiciel de robotique guidée par vision | Comportement de surface, volume de balayage, calcul et trajectoire du robot |
| Pickit | Cellules de tri 3D prises en charge | Flux de travail intégré de vision robotique 3D et intégrations de robots | Adaptabilité des pièces, temps de cycle, préhenseur, occlusion et reprise |
| Ultralytics YOLO et pile robotique personnalisée | Flux de travail personnalisés de détection, segmentation, suivi ou pose 2D | Entraînement de modèles flexibles et déploiement dans les environnements pris en charge | Stratégie de profondeur, étalonnage, logique de préhension, mouvement, sécurité et support de cellule |
| Zivid | Applications nécessitant des nuages de points 3D en couleur | Caméras 3D industrielles et kits SDK | Couche de planification de préhension et intégration complète de la cellule |
Les fournisseurs regroupent différentes couches. Compare la nomenclature complète et la responsabilité opérationnelle, et pas seulement l'interface de perception.
Commence par la géométrie du tri#
Classifie la tâche avant de choisir le logiciel :
- Tri 2D fixe : Les pièces reposent dans des plans connus et le robot a besoin d'une position d'image ainsi que d'une orientation.
- Tri sur convoyeur : Les objets bougent, la détection, le suivi, la synchronisation temporelle et celle des codeurs ont donc de l'importance.
- Plateau structuré : Des logements connus contraignent la position, mais les variantes ou l'orientation doivent encore être vérifiées.
- Tri en vrac aléatoire : Les pièces se chevauchent à différentes profondeurs et nécessitent une perception 3D ainsi qu'une planification de préhension évitant les collisions.
- Objets flexibles ou déformables : La forme change entre chaque prise, rendant la segmentation et le choix de la préhension plus difficiles.
- Insertion d'assemblage : La tolérance et l'alignement final peuvent nécessiter une détection supplémentaire au-delà de la simple localisation d'objets.
Un système 2D peut être l'option la plus simple et la plus fiable pour une géométrie contrainte. Les bacs aléatoires nécessitent généralement de la profondeur ou une reconstruction multi-vue, car la position sur l'image seule ne fournit pas de cible sûre pour le robot.
Les six couches d'un robot guidé par vision#
1. Détection#
Choisis des capteurs à balayage de zone, à balayage linéaire, stéréo, à lumière structurée, à temps de vol ou autres en fonction des données requises. Enregistre le champ de vision, la plus petite caractéristique, la distance de travail, la plage de profondeur, les propriétés de surface, le mouvement et les contraintes environnementales.
Les pièces réfléchissantes, sombres, transparentes et sans texture peuvent compliquer la détection de profondeur. Teste les pièces réelles, les bacs, les revêtements et l'éclairage. Les démonstrations des fournisseurs avec des objets favorables ne remplacent pas un essai en cellule.
2. Perception#
La détection localise et classe les objets ; la segmentation fournit les contours des objets ; les boîtes englobantes orientées estiment les dimensions orientées ; les modèles de pose peuvent identifier des points clés ; le suivi associe les objets au fil du temps. Ultralytics YOLO prend en charge plusieurs de ces tâches de vision par ordinateur au sein d'un même écosystème de modèles.
Le résultat de la perception doit être suffisamment stable pour le planificateur de préhension en aval. Évalue l'erreur de localisation, les objets manqués ou en double, la qualité des masques, l'erreur d'orientation et le comportement en cas de chevauchement, et pas seulement un score global sur l'ensemble de données.
3. Étalonnage et coordonnées#
Le système transforme les observations des coordonnées de la caméra en coordonnées de la cellule ou du robot. L'étalonnage main-œil, le montage de la caméra, les effets de lentille, l'alignement de la profondeur et l'étalonnage du point central de l'outil influencent tous l'erreur de tri.
Traite l'étalonnage comme un actif de production à maintenir. Enregistre la procédure et les résidus acceptés, protège les supports de caméra et définis à quel moment l'outillage ou la maintenance déclenche un réétalonnage.
4. Planification de la préhension#
La sélection de la préhension prend en compte les surfaces accessibles, la géométrie du préhenseur, la stabilité de l'objet, le risque de collision, les pièces voisines et la pose de destination. Un modèle 2D peut fournir la position et l'orientation de l'objet à une logique de préhension basée sur des règles. Une solution 3D peut générer des candidats de préhension classés à partir de nuages de points.
La détection ayant la plus haute confiance n'est pas nécessairement la prise la plus sûre. Conserve la confiance de la perception, la qualité de la préhension et la faisabilité de la trajectoire comme des signaux distincts.
5. Mouvement et intégration du robot#
Des adaptateurs de robot ou des API transmettent les cibles au contrôleur. L'intégrateur doit gérer le timing, les repères de coordonnées, la vitesse, les zones, les modèles de collision, le mouvement du convoyeur et les acquittements. Les fonctions de sécurité relèvent de l'architecture de sécurité validée du robot et de la cellule, et non d'une sortie de modèle non vérifiée.
6. Reprise#
Conçois les états d'échec attendus : aucun objet valide, classe incertaine, aucune préhension sûre, pièce tombée, échec de ramassage, bac déplacé, image périmée, caméra indisponible ou tentative répétée. Une cellule qui réussit les tris faciles mais nécessite une réinitialisation manuelle après chaque exception ne passera pas à l'échelle.
Où s'intègre Ultralytics#
Ultralytics Platform permet d'organiser et d'annoter des données d'image, d'entraîner des modèles Ultralytics YOLO et de gérer les versions de modèles. Les modèles peuvent ensuite être déployés via les points de terminaison de la Platform ou exportés pour être intégrés dans un runtime robotique proche de la cellule.
Cette approche est utile lorsque la différenciation réside dans des classes d'objets personnalisées, des références (SKU) changeantes, des conditions visuelles inhabituelles ou une perception spécifique à l'application. Elle permet également aux équipes de choisir la caméra environnante, la source de profondeur, le planificateur de préhension et le framework robotique.
Ce n'est pas un remplacement pour chaque composant d'un produit de tri en vrac 3D intégré. Les organisations ne disposant pas d'une expertise en perception et en intégration robotique peuvent préférer un ensemble pris en charge incluant l'étalonnage, le traitement 3D, la logique de préhension et des adaptateurs de robot certifiés.
Comment évaluer les fournisseurs#
Utilise les mêmes pièces et conditions de cellule pour chaque essai. Inclus des bacs pleins et presque vides, le pire des cas de chevauchement, des emballages endommagés, des mélanges de variantes, des surfaces réfléchissantes, une contamination normale et les changements d'éclairage attendus.
Mesure :
- Le taux de tri valide par pièce et par état du bac.
- La distribution du temps de cycle, incluant la perception et la reprise.
- La confirmation de ramassage dès la première tentative.
- Les erreurs de classification, les cibles en double et les événements à risque de collision.
- Les interventions manuelles et le temps de réinitialisation.
- La stabilité de l'étalonnage après la maintenance ou des vibrations.
- Le temps nécessaire pour ajouter une nouvelle référence (SKU) et valider la mise à jour.
- Les journaux (logs) et preuves disponibles pour le diagnostic.
Demande à chaque fournisseur d'identifier quelles mesures proviennent de la caméra, du modèle, du planificateur de préhension, du robot et des capteurs externes. Cela rend l'architecture et la responsabilité visibles.
Guide de décision 2D versus 3D#
Choisis la 2D en premier lorsque les pièces restent sur un plan connu, que la hauteur de préhension est fixe, que le chevauchement est limité et que des caractéristiques visuelles nettes déterminent la classe et l'orientation. C'est souvent plus facile à éclairer, à étiqueter, à déboguer et à exploiter.
Choisis la 3D lorsque la hauteur varie, que les tas créent un chevauchement important, que la géométrie de surface détermine la préhension, que la marge de collision est étroite ou que le robot doit analyser un volume encombré. Certaines cellules combinent la perception apprise en 2D avec une profondeur enregistrée pour préserver la classification personnalisée tout en obtenant des coordonnées 3D.
Ne prends pas ta décision en fonction des tendances en matière de capteurs. Utilise la configuration de détection la plus simple possible qui réussit les tests du pire des cas de la cellule.
Liste de contrôle pour l'implémentation#
- Définis les exigences en matière d'objets, de pose, de cycle et de reprise.
- Capture de vraies pièces sur toute la plage du bac et de l'environnement.
- Sélectionne la détection en fonction de la géométrie et du comportement de surface.
- Valide l'étalonnage et les transformations de coordonnées indépendamment de la précision du modèle.
- Teste le planificateur de préhension avec le préhenseur réel et les objets voisins.
- Sépare les fonctions de sécurité du robot de la perception apprise.
- Enregistre les détections, les transformations, les candidats de préhension, les réponses du contrôleur et les résultats.
- Prévois une reprise humaine pour les cas incertains ou épuisés.
- Teste la non-régression de chaque nouveau modèle, référence (SKU), préhenseur, caméra et configuration de cellule.
Questions fréquemment posées
Oui. Un modèle YOLO peut détecter, segmenter, suivre ou estimer des caractéristiques visuelles pertinentes. L'application robotique doit transformer ces observations en coordonnées de robot et les combiner avec la planification de préhension, le contrôle des mouvements et les systèmes de sécurité.
Pas toujours. Les applications sur plan fixe et dans des plateaux structurés peuvent très bien fonctionner avec la vision 2D. Les bacs aléatoires et les hauteurs variables nécessitent généralement des informations de profondeur ou multi-vues.
Le guidage de robot est l'utilisation plus générale de la vision pour fournir des cibles ou un alignement. Le tri en vrac ajoute l'encombrement, le chevauchement, la sélection de la préhension et l'extraction tenant compte des collisions depuis un conteneur.
Achète un système intégré lorsque la détection 3D prise en charge, l'étalonnage, la planification de la préhension et les adaptateurs de robot réduisent les risques. Conçois ton propre système lorsque la perception personnalisée est stratégique et que l'organisation est en mesure de maîtriser l'intégration robotique, l'infrastructure, la validation et le support.
Mesure depuis le déclenchement de la production en passant par la capture, la perception, la planification, l'exécution du robot, la confirmation et la reprise. Renseigne une distribution dans des états de bac réalistes plutôt qu'une unique latence de modèle dans les meilleures conditions.