Intégrer la vision par ordinateur en robotique avec Ultralytics YOLO11

Les robots ont parcouru un long chemin depuis Unimate, le premier robot industriel, inventé dans les années 1950. Ce qui a commencé comme des machines préprogrammées basées sur des règles est aujourd'hui devenu des systèmes intelligents capables d'effectuer des tâches complexes et d'interagir de manière fluide avec le monde réel.

Aujourd'hui, les robots sont utilisés dans de nombreuses industries, de la fabrication aux soins de santé, en passant par l'agriculture, pour diverses automatisations de processus. Un facteur clé dans l'évolution de la robotique est l'IA et la vision par ordinateur, une branche de l'IA qui aide les machines à comprendre et à interpréter les informations visuelles.

Par exemple, les modèles de vision par ordinateur comme Ultralytics YOLO11 améliorent l'intelligence des systèmes robotiques. Lorsqu'ils sont intégrés dans ces systèmes, l'IA de vision permet aux robots de reconnaître des objets, de naviguer dans des environnements et de prendre des décisions en temps réel.

Dans cet article, nous allons voir comment YOLO11 peut doter les robots de capacités avancées de vision par ordinateur et explorer ses applications dans divers secteurs.

Link to this sectionUn aperçu de l'IA et de la vision par ordinateur en robotique#

La fonctionnalité principale d'un robot dépend de sa capacité à bien comprendre son environnement. Cette conscience relie son matériel physique à une prise de décision intelligente. Sans cela, les robots ne peuvent que suivre des instructions fixes et peinent à s'adapter à des environnements changeants ou à gérer des tâches complexes. Tout comme les humains comptent sur la vue pour se déplacer, les robots utilisent la vision par ordinateur pour interpréter leur environnement, comprendre la situation et prendre les mesures appropriées.

Fig 1. Un robot jouant au morpion en utilisant la vision par ordinateur pour interpréter le plateau et faire des mouvements stratégiques.

En fait, la vision par ordinateur est fondamentale pour la plupart des tâches robotiques. Elle aide les robots à détecter des objets et à éviter les obstacles tout en se déplaçant. Cependant, pour y parvenir, voir le monde ne suffit pas ; les robots doivent également être capables de réagir rapidement. Dans des situations réelles, même un léger retard peut entraîner des erreurs coûteuses. Des modèles comme Ultralytics YOLO11 permettent aux robots de recueillir des informations en temps réel et de réagir instantanément, même dans des situations complexes ou inconnues.

Link to this sectionApprendre à connaître Ultralytics YOLO11#

Avant de plonger dans la manière dont YOLO11 peut être intégré aux systèmes robotiques, explorons d'abord les principales fonctionnalités de YOLO11.

Les modèles Ultralytics YOLO prennent en charge diverses tâches de vision par ordinateur qui aident à fournir des informations rapides en temps réel. En particulier, Ultralytics YOLO11 offre des performances plus rapides, des coûts de calcul inférieurs et une précision améliorée. Par exemple, il peut être utilisé pour détecter des objets dans des images et des vidéos avec une grande précision, ce qui le rend parfait pour des applications dans des domaines comme la robotique, les soins de santé et la fabrication.

Voici quelques fonctionnalités marquantes qui font de YOLO11 une excellente option pour la robotique :

• Facilité de déploiement : Il est facile à déployer et s'intègre parfaitement à une large gamme de plates-formes logicielles et matérielles.
• Adaptabilité : YOLO11 fonctionne bien dans différents environnements et configurations matérielles, offrant des performances constantes même dans des conditions dynamiques.
• Convivialité : La documentation facile à comprendre et l'interface de YOLO11 aident à réduire la courbe d'apprentissage, facilitant son intégration dans les systèmes robotiques.

Fig 2. Un exemple d'analyse de la posture de personnes dans une image en utilisant YOLO11.

Link to this sectionExplorer les tâches de vision par ordinateur permises par YOLO11#

Voici un examen plus approfondi de certaines des tâches de vision par ordinateur prises en charge par YOLO11 :

• Détection d'objets : La capacité de détection d'objets en temps réel de YOLO11 permet aux robots d'identifier et de localiser instantanément des objets dans leur champ de vision. Cela aide les robots à éviter les obstacles, à effectuer une planification de chemin dynamique et à réaliser une navigation automatisée dans des environnements intérieurs et extérieurs.
• Segmentation d'instance : En identifiant les limites et les formes exactes des objets individuels, YOLO11 équipe les robots pour effectuer des opérations précises de type « pick-and-place » et des tâches d'assemblage complexes.
• Estimation de pose : La prise en charge de l'estimation de pose par YOLO11 permet aux robots de reconnaître et d'interpréter les mouvements et gestes du corps humain. C'est crucial pour que les robots collaboratifs (cobots) travaillent en toute sécurité aux côtés des humains.
• Suivi d'objets : YOLO11 rend possible le suivi d'objets en mouvement au fil du temps, ce qui le rend idéal pour les applications liées à la robotique autonome qui doivent surveiller leur environnement en temps réel.
• Classification d'images : YOLO11 peut classer des objets dans des images, permettant aux robots de catégoriser des éléments, de détecter des anomalies ou de prendre des décisions basées sur les types d'objets, comme l'identification de fournitures médicales dans les établissements de santé.

Fig 3. Tâches de vision par ordinateur prises en charge par YOLO11.

Link to this sectionL'IA dans les applications robotiques : propulsée par YOLO11#

De l'apprentissage intelligent à l'automatisation industrielle, des modèles comme YOLO11 peuvent aider à redéfinir ce que les robots peuvent faire. Son intégration dans la robotique démontre comment les modèles de vision par ordinateur stimulent les avancées dans l'automatisation. Explorons quelques domaines clés où YOLO11 peut avoir un impact significatif.

Link to this sectionEnseigner aux robots grâce à la vision par ordinateur#

La vision par ordinateur est largement utilisée dans les robots humanoïdes, leur permettant d'apprendre en observant leur environnement. Des modèles comme YOLO11 peuvent aider à améliorer ce processus en fournissant une détection d'objets et une estimation de pose avancées, ce qui aide les robots à interpréter avec précision les actions et comportements humains.

En analysant les mouvements et les interactions subtils en temps réel, les robots peuvent être entraînés à reproduire des tâches humaines complexes. Cela leur permet d'aller au-delà des routines préprogrammées et d'apprendre des tâches, comme utiliser une télécommande ou un tournevis, simplement en regardant une personne.

Fig 4. Un robot mimant l'action d'un humain.

Ce type d'apprentissage peut être utile dans différentes industries. Par exemple, en agriculture, les robots peuvent regarder les travailleurs humains apprendre des tâches comme la plantation, la récolte et la gestion des cultures. En copiant la manière dont les humains effectuent ces tâches, les robots peuvent s'adapter à différentes conditions agricoles sans avoir besoin d'être programmés pour chaque situation.

Link to this sectionApplications liées à la robotique médicale#

De même, dans le domaine de la santé, la vision par ordinateur devient de plus en plus importante. Par exemple, YOLO11 peut être utilisé dans des dispositifs médicaux pour aider les chirurgiens lors de procédures complexes. Avec des fonctionnalités comme la détection d'objets et la segmentation d'instance, YOLO11 peut aider les robots à repérer les structures corporelles internes, à gérer les outils chirurgicaux et à effectuer des mouvements précis.

Bien que cela puisse sembler relever de la science-fiction, des recherches récentes démontrent l'application pratique de la vision par ordinateur dans les procédures chirurgicales. Dans une étude intéressante sur la dissection robotique autonome pour la cholécystectomie (ablation de la vésicule biliaire), les chercheurs ont intégré YOLO11 pour la segmentation des tissus (classifier et séparer différents tissus dans une image) et la détection de points clés des instruments chirurgicaux (identifier des repères spécifiques sur les outils).

Le système était capable de distinguer avec précision les différents types de tissus - même lorsque les tissus se déformaient (changeaient de forme) pendant la procédure - et s'ajustait dynamiquement à ces changements. Cela a permis aux instruments robotiques de suivre des trajectoires de dissection (coupe chirurgicale) précises.

Link to this sectionFabrication intelligente et automatisation industrielle#

Les robots capables de saisir et de déplacer des objets jouent un rôle clé dans l'automatisation des opérations de fabrication et l'optimisation des chaînes d'approvisionnement. Leur vitesse et leur précision leur permettent d'effectuer des tâches avec une intervention humaine minimale, comme l'identification et le tri d'articles.

Grâce à la segmentation d'instance précise de YOLO11, les bras robotiques peuvent être entraînés à détecter et segmenter des objets se déplaçant sur un tapis roulant, à les ramasser avec précision et à les placer dans des emplacements désignés en fonction de leur type et de leur taille.

Par exemple, des constructeurs automobiles populaires utilisent des robots basés sur la vision pour assembler différentes pièces de voiture, améliorant ainsi la vitesse et la précision de la chaîne de montage. Des modèles de vision par ordinateur comme YOLO11 peuvent permettre à ces robots de travailler aux côtés d'ouvriers humains, assurant une intégration fluide des systèmes automatisés dans des environnements de production dynamiques. Cette avancée peut conduire à des temps de production plus rapides, moins d'erreurs et des produits de meilleure qualité.

Fig 5. Un bras robotique basé sur la vision assemblant une voiture.

Link to this sectionAvantages de l'intégration d'Ultralytics YOLO11 en robotique#

YOLO11 offre plusieurs avantages clés qui le rendent idéal pour une intégration fluide dans les systèmes robotiques autonomes. Voici quelques-uns des principaux avantages :

• Faible latence d'inférence : YOLO11 peut fournir des prédictions très précises avec une faible latence, même dans des environnements dynamiques.
• Modèles légers : Conçus pour l'optimisation des performances, les modèles légers de YOLO11 permettent aux robots plus petits avec moins de puissance de traitement de disposer de capacités de vision avancées sans sacrifier l'efficacité.
• Efficacité énergétique : YOLO11 est conçu pour être économe en énergie, ce qui le rend idéal pour les robots alimentés par batterie qui doivent économiser l'énergie tout en maintenant des performances élevées.

Link to this sectionLimites de l'IA de vision en robotique#

Bien que les modèles de vision par ordinateur fournissent des outils puissants pour la vision robotique, il existe certaines limites à prendre en compte lors de leur intégration dans des systèmes robotiques réels. Certaines de ces limites incluent :

• Collecte de données coûteuse : L'entraînement de modèles efficaces pour des tâches spécifiques aux robots nécessite souvent des jeux de données volumineux, diversifiés et bien étiquetés, dont l'acquisition est coûteuse.
• Variations environnementales : Les robots travaillent dans des environnements imprévisibles, où des facteurs comme les conditions d'éclairage ou les arrière-plans encombrés peuvent affecter les performances des modèles de vision.
• Problèmes de calibration et d'alignement : S'assurer que les systèmes de vision sont correctement calibrés et alignés avec les autres capteurs du robot est vital pour des performances précises, et un mauvais alignement peut entraîner des erreurs dans la prise de décision.

Link to this sectionL'avenir des avancées en robotique et en IA#

Les systèmes de vision par ordinateur ne sont pas seulement des outils pour les robots d'aujourd'hui ; ce sont des éléments de base pour un avenir où les robots pourront fonctionner de manière autonome. Avec leurs capacités de détection en temps réel et leur prise en charge de multiples tâches, ils sont parfaits pour la robotique de nouvelle génération.

En fait, les tendances actuelles du marché montrent que la vision par ordinateur devient de plus en plus essentielle en robotique. Les rapports de l'industrie soulignent que la vision par ordinateur est la deuxième technologie la plus utilisée sur le marché mondial de la robotique IA.

Fig 6. Part de marché mondiale des robots IA par technologie.

Link to this sectionPoints clés#

Avec sa capacité à traiter des données visuelles en temps réel, YOLO11 peut aider les robots à détecter, identifier et interagir avec leur environnement plus précisément. Cela fait une énorme différence dans des domaines comme la fabrication, où les robots peuvent collaborer avec les humains, et la santé, où ils peuvent aider lors d'opérations complexes.

Alors que la robotique continue de progresser, l'intégration de la vision par ordinateur dans de tels systèmes sera cruciale pour permettre aux robots de gérer une large gamme de tâches plus efficacement. L'avenir de la robotique semble prometteur, avec l'IA et la vision par ordinateur propulsant des machines encore plus intelligentes et adaptables.

Rejoins notre communauté et consulte notre référentiel GitHub pour en savoir plus sur les développements récents en matière d'IA. Explore diverses applications de l'IA dans les soins de santé et de la vision par ordinateur dans l'agriculture sur nos pages de solutions. Consulte nos plans de licence pour créer tes propres solutions de vision par ordinateur.