Amélioration de l'estimation des points clés de la main avec Ultralytics YOLO11

Récemment, les interprètes en langue des signes lors du Super Bowl ont beaucoup attiré l'attention. Quand tu les regardes interpréter la chanson de ton artiste préféré à la télévision, tu peux les comprendre si tu connais la langue des signes, car ton cerveau traite leurs mouvements de mains. Mais que se passerait-il si un ordinateur pouvait faire de même ? Grâce aux solutions de suivi des mains pilotées par l'IA, il est possible pour les machines de suivre et d'interpréter les mouvements des mains avec une précision impressionnante.

Au cœur de ces solutions se trouve la computer vision, un sous-domaine de l'IA qui permet aux machines de traiter et de comprendre des informations visuelles. En analysant des images et des vidéos, l'IA visuelle les aide à détecter des objets, à suivre des mouvements et à reconnaître des gestes complexes avec une précision remarquable.

Par exemple, des modèles de computer vision tels que Ultralytics YOLO11 peuvent être entraînés pour détecter et analyser des points clés de la main en temps réel grâce à l'estimation de pose. Ce faisant, ces modèles peuvent être utilisés pour des applications comme la reconnaissance gestuelle, la traduction en langue des signes et les interactions AR/VR.

Dans cet article, nous allons explorer comment Ultralytics YOLO11 permet le suivi des mains basé sur l'IA, les ensembles de données utilisés pour l'entraînement et comment custom-train un modèle pour l'estimation de pose de la main. Nous examinerons également des applications concrètes. C'est parti !

Comprendre la détection des points clés de la main basée sur l'IA#

L'IA peut être utilisée pour reconnaître et suivre les mouvements de la main dans des données visuelles en identifiant des points clés tels que le poignet, le bout des doigts et les articulations des doigts. Une approche, connue sous le nom de pose estimation, aide les ordinateurs à comprendre les mouvements humains en cartographiant des points clés et en analysant leur évolution au fil du temps. Cela permet aux systèmes d'IA d'interpréter la posture corporelle, les gestes et les modèles de mouvement avec une grande précision.

Les Computer vision models rendent cela possible en analysant des images ou des vidéos pour identifier des points clés sur la main et suivre leur mouvement. Une fois ces points cartographiés, l'IA peut reconnaître les gestes en analysant les relations spatiales entre les points clés et la façon dont ils changent au fil du temps.

Par exemple, si la distance entre un pouce et un index diminue, l'IA peut l'interpréter comme un mouvement de pincement. De même, suivre comment les points clés se déplacent en séquences aide à identifier des gestes de la main complexes et même à prédire les mouvements futurs.

Fig 1. Un exemple de reconnaissance des points clés d'une main à l'aide de la computer vision.

Il est intéressant de noter que la pose estimation pour le suivi des mains a ouvert des possibilités passionnantes, allant du contrôle mains libres des appareils intelligents à une précision robotique améliorée et à l'assistance dans les applications de santé. À mesure que l'IA et la computer vision continuent d'évoluer, le suivi des mains jouera probablement un rôle plus important pour rendre la technologie plus interactive, accessible et intuitive dans la vie quotidienne.

Explorer Ultralytics YOLO11 pour l'estimation de pose#

Avant de plonger dans la création d'une solution de suivi des mains par IA, regardons de plus près l'estimation de pose et la manière dont Ultralytics YOLO11 prend en charge cette computer vision task. Contrairement à la détection d'objets standard, qui identifie des objets entiers, l'estimation de pose se concentre sur la détection de points de repère clés – tels que les articulations, les membres ou les contours – pour analyser le mouvement et la posture.

Plus précisément, Ultralytics YOLO11 est conçu pour la pose estimation en temps réel. En tirant parti des méthodes top-down et bottom-up, il détecte efficacement les personnes et estime les points clés en une seule étape, surpassant les modèles précédents en vitesse et en précision.

Dès sa sortie, Ultralytics YOLO11 est pré-entraîné sur le COCO-Pose dataset et peut reconnaître des points clés sur le corps humain, notamment la tête, les épaules, les coudes, les poignets, les hanches, les genoux et les chevilles.

Fig 2. Utilisation de YOLO11 pour l'estimation de pose humaine.

Au-delà de l'estimation de pose humaine, Ultralytics YOLO11 peut être entraîné sur mesure pour détecter des points clés sur une variété d'objets, animés et inanimés. Cette flexibilité fait de YOLO11 une excellente option pour un large éventail d'applications.

Un aperçu du dataset Hand Keypoints#

La première étape de l'entraînement personnalisé d'un modèle consiste à collecter des données et à les annoter, ou à trouver un dataset existant qui correspond aux besoins du projet. Par exemple, le dataset Hand Keypoints est un bon point de départ pour entraîner des modèles de vision par IA pour le suivi de la main et l'estimation de pose. Avec 26 768 images annotées, il élimine le besoin d'un étiquetage manuel.

Il peut être utilisé pour entraîner des modèles comme Ultralytics YOLO11 à apprendre rapidement à détecter et à suivre les mouvements des mains. Le dataset comprend 21 points clés par main, couvrant le poignet, les doigts et les articulations. De plus, les annotations du dataset ont été générées avec Google MediaPipe, un outil de développement de solutions basées sur l'IA pour le traitement multimédia en temps réel, garantissant une détection précise et fiable des points clés.

Fig 3. Les 21 points clés inclus dans le dataset Hand Keypoints.

Utiliser un dataset structuré comme celui-ci permet de gagner du temps et de laisser les développeurs se concentrer sur l'entraînement et le réglage fin de leurs modèles au lieu de collecter et d'étiqueter des données. En fait, le dataset est déjà divisé en sous-ensembles d'entraînement (18 776 images) et de validation (7 992 images), ce qui facilite l'évaluation des performances du modèle.

Comment entraîner Ultralytics YOLO11 pour l'estimation de pose de la main#

L'entraînement de YOLO11 pour l'estimation de pose de la main est un processus simple, en particulier avec le Ultralytics Python package, qui facilite la configuration et l'entraînement du modèle. Étant donné que le dataset Hand Keypoints est déjà pris en charge dans le pipeline d'entraînement, il peut être utilisé immédiatement sans formatage supplémentaire, ce qui permet d'économiser du temps et des efforts.

Voici comment fonctionne le processus d'entraînement :

• Configurer l'environnement : La première étape consiste à installer le package Python Ultralytics.
• Charge le dataset de points clés de la main : Ultralytics YOLO11 prend en charge ce dataset de manière native, ce qui permet de le télécharger et de le préparer automatiquement.
• Utilise un modèle pré-entraîné : Tu peux commencer avec un modèle d'estimation de pose Ultralytics YOLO11 pré-entraîné, ce qui aide à améliorer la précision et accélère le processus d'entraînement.
• Entraîner le modèle : Le modèle apprend à détecter et à suivre les points clés de la main en passant par plusieurs cycles d'entraînement.
• Surveiller les performances : Le package Ultralytics fournit également des outils intégrés pour suivre les métriques clés comme la précision et la perte, aidant à garantir que le modèle s'améliore avec le temps.
• Enregistre et déploie : Une fois entraîné, le modèle peut être exporté et utilisé pour des applications de suivi de la main en temps réel.

Évaluer ton modèle entraîné sur mesure#

En suivant les étapes de création d'un modèle sur mesure, tu remarqueras que la surveillance des performances est essentielle. En plus de suivre les progrès pendant l'entraînement, l'évaluation du modèle par la suite est cruciale pour s'assurer qu'il détecte et suit avec précision les points clés de la main.

Des performance metrics clés telles que la précision, les valeurs de perte et la mean average precision (mAP) aident à évaluer les performances du modèle. Le package Python Ultralytics fournit des outils intégrés pour visualiser les résultats et comparer les prédictions avec de vraies annotations, ce qui facilite l'identification des axes d'amélioration.

Pour mieux comprendre les performances du modèle, tu peux vérifier des graphiques d'évaluation tels que les courbes de perte, les tracés précision-rappel et les matrices de confusion, qui sont automatiquement générés dans les journaux d'entraînement.

Ces graphiques aident à identifier des problèmes comme le surapprentissage (quand le modèle mémorise les données d'entraînement mais a du mal avec les nouvelles données) ou le sous-apprentissage (quand le modèle ne parvient pas à apprendre suffisamment bien les modèles pour être précis) et guident les ajustements pour améliorer la précision. De plus, tester le modèle sur de nouvelles images ou vidéos est important pour voir comment il fonctionne dans des scénarios réels.

Applications des solutions de suivi des mains pilotées par l'IA#

Ensuite, passons en revue certaines des applications les plus percutantes de l'hand keypoints estimation with Ultralytics YOLO11.

Reconnaissance de gestes en temps réel avec Ultralytics YOLO11#

Imaginons que tu puisses régler le volume de ta téléviseur en agitant simplement la main ou naviguer dans un système de maison intelligente d'un simple geste dans les airs. La reconnaissance gestuelle en temps réel propulsée par Ultralytics YOLO11 rend ces interactions sans contact possibles en détectant avec précision les mouvements de la main en temps réel.

Cela fonctionne en utilisant des caméras IA pour suivre les points clés de ta main et interpréter les gestes comme des commandes. Des caméras à détection de profondeur, des capteurs infrarouges ou même des webcams ordinaires capturent les mouvements de la main, tandis qu'Ultralytics YOLO11 peut traiter les données pour reconnaître différents gestes. Par exemple, un tel système peut faire la différence entre un balayage pour changer de chanson, un pincement pour zoomer ou un mouvement circulaire pour régler le volume.

Détection des points clés de la main basée sur l'IA pour la reconnaissance de la langue des signes#

Les solutions d'IA pour le suivi de la main peuvent prendre en charge une communication fluide entre une personne sourde et quelqu'un qui ne connaît pas la langue des signes. Par exemple, les appareils intelligents intégrés avec des caméras et Ultralytics YOLO11 peuvent être utilisés pour traduire instantanément la langue des signes en texte ou en parole.

Grâce aux avancées telles qu'Ultralytics YOLO11, les outils de traduction en langue des signes deviennent plus précis et accessibles. Cela a un impact sur des applications telles que les technologies d'assistance, les services de traduction en direct et les plateformes éducatives. L'IA peut aider à combler les fossés de communication et à promouvoir l'inclusivité sur les lieux de travail, dans les écoles et les espaces publics.

Computer vision pour le suivi des mains : Améliorer les expériences AR et VR#

As-tu déjà joué à un jeu en réalité virtuelle (VR) où tu pouvais attraper des objets sans utiliser de manette ? Le suivi de la main propulsé par la computer vision rend cela possible en permettant aux utilisateurs d'interagir naturellement dans des environnements de augmented reality (AR) et de VR.

Fig 4. Le suivi de la main est un élément clé des applications AR et VR.

Avec l'estimation des points clés de la main utilisant des modèles comme Ultralytics YOLO11, l'IA suit les mouvements en temps réel, permettant des gestes comme pincer, saisir et balayer. Cela améliore le jeu, la formation virtuelle et la collaboration à distance, rendant les interactions plus intuitives. À mesure que la technologie de suivi des mains s'améliore, l'AR et la VR sembleront encore plus immersives et réalistes.

Points clés#

L'estimation des points clés de la main avec Ultralytics YOLO11 rend les solutions de suivi des mains pilotées par l'IA plus accessibles et fiables. De la reconnaissance gestuelle en temps réel à l'interprétation de la langue des signes et aux applications AR/VR, la computer vision ouvre de nouvelles possibilités dans l'interaction homme-machine.

De plus, des processus simplifiés d'entraînement personnalisé et de réglage fin aident les développeurs à construire des modèles efficaces pour diverses utilisations réelles. À mesure que la technologie de computer vision évolue, nous pouvons nous attendre à encore plus d'innovations dans des domaines comme la santé, la robotique, le jeu et la sécurité.

Engage-toi avec our community et explore les avancées en matière d'IA sur notre GitHub repository. Découvre l'impact de AI in manufacturing et de computer vision in healthcare à travers nos pages de solutions. Explore our licensing plans et commence ton voyage dans l'IA dès aujourd'hui !