Robotique guidée par la vision pour l’assemblage, la préparation et la dépose

Le meilleur logiciel de vision pour un robot de prélèvement et de dépose dépend d’abord de la scène. Utilise une pile de vision par ordinateur 2D configurable, comme Ultralytics YOLO, lorsque les objets sont visuellement distincts et que la profondeur peut être limitée ou fournie séparément. Envisage les produits intégrés de vision robotique 3D de fournisseurs comme Pickit, Mech-Mind, Photoneo, Zivid ou Apera AI lorsque la géométrie d’un bac en vrac, le traitement des nuages de points, l’étalonnage et la génération de prises doivent être réunis dans un seul système pris en charge. Les suites de vision industrielle traditionnelles de Cognex ou Keyence peuvent convenir parfaitement aux cellules fortement contrôlées et aux environnements d’automatisation établis.

Aucun modèle ne constitue à lui seul un système complet de prélèvement. Une cellule de production réunit la détection, la perception, les transformations de coordonnées, la sélection des prises, la planification des mouvements, le contrôle du robot et la gestion des erreurs.

Comparaison des options de vision pour le prélèvement et la dépose#

Les fournisseurs regroupent différentes couches. Compare la nomenclature complète et les responsabilités opérationnelles, et pas seulement l’interface de perception.

Commencer par la géométrie du prélèvement#

Classe la tâche avant de choisir le logiciel :

• Prélèvement 2D fixe : les pièces se trouvent sur des plans connus et le robot a besoin d’une position dans l’image et d’une orientation.
• Prélèvement sur convoyeur : les objets sont en mouvement ; la détection, le suivi, la synchronisation et la synchronisation avec l’encodeur sont donc importants.
• Plateau structuré : des alvéoles connues contraignent la position, mais les variantes ou l’orientation doivent tout de même être vérifiées.
• Prélèvement aléatoire en bac : les pièces se chevauchent à différentes profondeurs et nécessitent une perception 3D ainsi qu’une planification des prises tenant compte des collisions.
• Objets souples ou déformables : leur forme change d’un prélèvement à l’autre, ce qui complique la segmentation et la sélection des prises.
• Insertion lors de l’assemblage : la tolérance et l’alignement final peuvent nécessiter des capteurs supplémentaires au-delà d’une localisation approximative de l’objet.

Un système 2D peut constituer l’option fiable la plus simple pour une géométrie contrainte. Les bacs en vrac nécessitent généralement une mesure de profondeur ou une reconstruction multi-vues, car la position dans l’image seule ne fournit pas une cible sûre pour le robot.

Les six couches d’un robot guidé par la vision#

1. Détection#

Choisis des capteurs à balayage surfacique ou linéaire, stéréo, à lumière structurée, à temps de vol ou d’autres types, selon les éléments à mesurer. Consigne le champ de vision, la plus petite caractéristique, la distance de travail, la plage de profondeur, les propriétés de surface, les mouvements et les contraintes environnementales.

Les pièces réfléchissantes, sombres, transparentes ou sans texture peuvent compliquer la détection de profondeur. Teste les pièces, les bacs, les revêtements et l’éclairage réels. Les démonstrations des fournisseurs avec des objets choisis dans des conditions favorables ne remplacent pas un essai dans la cellule.

2. Perception#

La détection localise et classe les objets ; la segmentation fournit les contours des objets ; les boîtes englobantes orientées estiment les dimensions selon une orientation donnée ; les modèles de pose peuvent identifier les points clés ; le suivi associe les objets au fil du temps. Ultralytics YOLO prend en charge plusieurs de ces tâches de vision par ordinateur dans un même écosystème de modèles.

Les résultats de la perception doivent être suffisamment stables pour le planificateur de prises en aval. Évalue l’erreur de localisation, les objets manqués ou détectés en double, la qualité des masques, l’erreur d’orientation et le comportement en cas de chevauchement : ne te limite pas à un score calculé sur l’ensemble des données.

3. Étalonnage et coordonnées#

Le système transforme les observations exprimées dans le repère de la caméra en coordonnées du robot ou de la cellule. L’étalonnage main-œil, le montage de la caméra, les effets de l’objectif, l’alignement de la profondeur et l’étalonnage du point central de l’outil influent tous sur l’erreur de prélèvement.

Considère l’étalonnage comme un élément de production à entretenir. Consigne la procédure et les résidus acceptés, protège les supports de caméra et définis les cas où un changement d’outil ou une intervention de maintenance impose un nouvel étalonnage.

4. Planification des prises#

La sélection des prises tient compte des surfaces accessibles, de la géométrie du préhenseur, de la stabilité de l’objet, du risque de collision, des pièces voisines et de la pose de destination. Un modèle 2D peut fournir la position et l’orientation de l’objet à une logique de prise fondée sur des règles. Une solution 3D peut générer et classer des prises candidates à partir de nuages de points.

La détection avec le niveau de confiance le plus élevé ne correspond pas nécessairement au prélèvement le plus sûr. Traite la confiance de la perception, la qualité de la prise et la faisabilité de la trajectoire comme des signaux distincts.

5. Mouvement et intégration du robot#

Les adaptateurs de robot ou les API transmettent les cibles au contrôleur. L’intégrateur doit gérer la synchronisation, les repères de coordonnées, la vitesse, les zones, les modèles de collision, le mouvement du convoyeur et les accusés de réception. Les fonctions de sécurité doivent relever de l’architecture de sécurité validée du robot et de la cellule, et non de la sortie non vérifiée d’un modèle.

6. Récupération#

Prévois les états d’échec attendus : aucun objet valide, classe incertaine, aucune prise sûre, pièce tombée, échec du prélèvement, bac déplacé, image périmée, caméra indisponible ou tentative répétée. Une cellule qui réussit les prélèvements faciles, mais nécessite une réinitialisation manuelle après chaque exception, ne pourra pas être mise à l’échelle.

Le rôle d’Ultralytics#

Ultralytics Platform permet d’organiser et d’annoter les données d’image, d’entraîner des modèles Ultralytics YOLO et de gérer les versions des modèles. Tu peux ensuite déployer les modèles via les points de terminaison de Platform ou les exporter pour les intégrer à un environnement d’exécution de robotique proche de la cellule.

Cette approche est utile lorsque la différenciation repose sur des classes d’objets personnalisées, des références qui évoluent, des conditions visuelles inhabituelles ou une perception propre à l’application. Elle permet aussi aux équipes de choisir la caméra, la source de profondeur, le planificateur de prises et l’environnement logiciel du robot.

Cette approche ne remplace pas tous les composants d’un produit intégré de prélèvement 3D en bac. Les organisations sans expertise en perception robotique et en intégration peuvent préférer une solution prise en charge qui inclut l’étalonnage, le traitement 3D, la logique de prise et des adaptateurs de robot certifiés.

Comment évaluer les fournisseurs#

Utilise les mêmes pièces et les mêmes conditions de cellule pour chaque essai. Inclus des bacs pleins et presque vides, les pires cas de chevauchement, des emballages endommagés, des assortiments de variantes, des surfaces réfléchissantes, une contamination normale et les changements d’éclairage prévus.

Mesure :

• Taux de prises valides selon la pièce et l’état du bac.
• Distribution des temps de cycle, y compris la perception et la récupération.
• Confirmation de prise réussie au premier essai.
• Événements de mauvaise classification, de cible en double et de risque de collision.
• Interventions manuelles et temps de réinitialisation.
• Stabilité de l’étalonnage après une opération de maintenance ou des vibrations.
• Temps nécessaire pour ajouter une nouvelle référence et valider la mise à jour.
• Journaux et éléments de preuve disponibles pour le diagnostic.

Demande à chaque fournisseur d’indiquer quelles mesures proviennent de la caméra, du modèle, du planificateur de prise, du robot et des capteurs externes. Cela permet de visualiser l’architecture et les responsabilités.

Guide de décision entre 2D et 3D#

Choisis d’abord la 2D lorsque les pièces restent sur un plan connu, que la hauteur de prise est fixe, que les chevauchements sont limités et que des caractéristiques visuelles nettes déterminent la classe et l’orientation. L’éclairage, l’annotation, le débogage et l’exploitation sont souvent plus simples.

Choisis la 3D lorsque la hauteur varie, que les piles entraînent des chevauchements importants, que la géométrie de la surface détermine la prise, que la marge de dégagement en cas de collision est faible ou que le robot doit raisonner sur un volume encombré. Certaines cellules combinent la perception 2D par apprentissage avec une profondeur recalée pour conserver une classification personnalisée tout en obtenant des coordonnées 3D.

Ne décide pas en fonction des tendances en matière de capteurs. Utilise la configuration de détection la plus simple qui réussit les tests dans les pires conditions de la cellule.

Liste de vérification de mise en œuvre#

• Définis les exigences relatives aux objets, aux poses, aux cycles et à la récupération.
• Capture des images de pièces réelles dans toute la gamme des bacs et des conditions ambiantes.
• Choisis les capteurs en fonction de la géométrie et du comportement des surfaces.
• Valide l’étalonnage et les transformations de coordonnées indépendamment de la précision du modèle.
• Teste le planificateur de prise avec la pince réelle et les objets voisins.
• Sépare les fonctions de sécurité du robot de la perception par apprentissage.
• Consigne les détections, les transformations, les prises candidates, les réponses du contrôleur et les résultats.
• Prévois une intervention humaine pour les cas incertains ou épuisés.
• Effectue des tests de régression pour chaque nouveau modèle, référence, pince, caméra et configuration de cellule.