Amélioration de l'estimation des points clés de la main avec Ultralytics YOLO11

Récemment, les interprètes en langue des signes lors du Super Bowl ont beaucoup attiré l'attention. Quand tu les regardes interpréter la chanson de ton artiste préféré à la télévision, tu peux les comprendre si tu connais la langue des signes, car ton cerveau traite leurs mouvements de mains. Mais que se passerait-il si un ordinateur pouvait faire de même ? Grâce aux solutions de suivi des mains pilotées par l'IA, il est possible pour les machines de suivre et d'interpréter les mouvements des mains avec une précision impressionnante.

Au cœur de ces solutions se trouve la computer vision, un sous-domaine de l'IA qui permet aux machines de traiter et de comprendre les informations visuelles. En analysant les images et les vidéos, l'IA de vision les aide à détecter des objets, à suivre des mouvements et à reconnaître des gestes complexes avec une précision remarquable.

Par exemple, les modèles de computer vision comme Ultralytics YOLO11 peuvent être entraînés à détecter et analyser les points clés de la main en temps réel en utilisant la pose estimation. Ce faisant, ces modèles peuvent être utilisés pour des applications comme la reconnaissance gestuelle, la traduction en langue des signes et les interactions AR/VR.

Dans cet article, nous explorerons comment YOLO11 permet le suivi des mains basé sur l'IA, les datasets utilisés pour l'entraînement, et comment custom-train un modèle pour la pose estimation de la main. Nous examinerons également des applications concrètes. Commençons !

Link to this sectionComprendre la détection des points clés de la main basée sur l'IA#

L'IA peut être utilisée pour reconnaître et suivre les mouvements des mains dans les données visuelles en identifiant des points clés comme le poignet, le bout des doigts et les articulations des doigts. Une approche, connue sous le nom de pose estimation, aide les ordinateurs à comprendre le mouvement humain en cartographiant les points clés et en analysant comment ils changent au fil du temps. Cela permet aux systèmes d'IA d'interpréter la posture corporelle, les gestes et les modèles de mouvement avec une grande précision.

Computer vision models rendent cela possible en analysant des images ou des vidéos pour identifier les points clés sur la main et suivre leur mouvement. Une fois ces points cartographiés, l'IA peut reconnaître les gestes en analysant les relations spatiales entre les points clés et la façon dont ils changent au fil du temps.

Par exemple, si la distance entre un pouce et un index diminue, l'IA peut l'interpréter comme un mouvement de pincement. De même, suivre comment les points clés se déplacent en séquences aide à identifier des gestes de la main complexes et même à prédire les mouvements futurs.

Fig 1. Un exemple de reconnaissance des points clés d'une main à l'aide de la computer vision.

Il est intéressant de noter que la pose estimation pour le suivi des mains a ouvert des possibilités passionnantes, allant du contrôle mains libres des appareils intelligents à une précision robotique améliorée et à l'assistance dans les applications de santé. À mesure que l'IA et la computer vision continuent d'évoluer, le suivi des mains jouera probablement un rôle plus important pour rendre la technologie plus interactive, accessible et intuitive dans la vie quotidienne.

Link to this sectionExplorer YOLO11 pour la pose estimation#

Avant de plonger dans la façon de créer une solution pour le suivi des mains basé sur l'IA, examinons de plus près la pose estimation et comment YOLO11 prend en charge cette computer vision task. Contrairement à l'objet detection standard, qui identifie des objets entiers, la pose estimation se concentre sur la détection de points de repère clés - tels que les articulations, les membres ou les bords - pour analyser le mouvement et la posture.

Plus précisément, Ultralytics YOLO11 est conçu pour la pose estimation en temps réel. En tirant parti des méthodes top-down et bottom-up, il détecte efficacement les personnes et estime les points clés en une seule étape, surpassant les modèles précédents en vitesse et en précision.

Prêt à l'emploi, YOLO11 est pré-entraîné sur le COCO-Pose dataset et peut reconnaître les points clés sur le corps humain, notamment la tête, les épaules, les coudes, les poignets, les hanches, les genoux et les chevilles.

Fig 2. Utilisation de YOLO11 pour la pose estimation humaine.

Au-delà de la pose estimation humaine, YOLO11 peut être personnalisé pour détecter des points clés sur une variété d'objets, animés et inanimés. Cette flexibilité fait de YOLO11 une excellente option pour un large éventail d'applications.

Link to this sectionUn aperçu du dataset Hand Keypoints#

La première étape de l'entraînement personnalisé d'un modèle consiste à rassembler des données et à les annoter ou à trouver un dataset existant qui correspond aux besoins du projet. Par exemple, le dataset Hand Keypoints est un bon point de départ pour entraîner des modèles de vision IA au suivi des mains et à la pose estimation. Avec 26 768 images annotées, il élimine le besoin d'étiquetage manuel.

Il peut être utilisé pour entraîner des modèles comme Ultralytics YOLO11 à apprendre rapidement à détecter et à suivre les mouvements des mains. Le dataset comprend 21 points clés par main, couvrant le poignet, les doigts et les articulations. De plus, les annotations du dataset ont été générées avec Google MediaPipe, un outil de développement de solutions basées sur l'IA pour le traitement multimédia en temps réel, garantissant une détection précise et fiable des points clés.

Fig 3. Les 21 points clés inclus dans le dataset Hand Keypoints.

Utiliser un dataset structuré comme celui-ci permet de gagner du temps et de laisser les développeurs se concentrer sur l'entraînement et le réglage fin de leurs modèles au lieu de collecter et d'étiqueter des données. En fait, le dataset est déjà divisé en sous-ensembles d'entraînement (18 776 images) et de validation (7 992 images), ce qui facilite l'évaluation des performances du modèle.

Link to this sectionComment entraîner YOLO11 pour la pose estimation de la main#

Entraîner YOLO11 pour la pose estimation de la main est un processus simple, surtout avec le Ultralytics Python package, qui facilite la configuration et l'entraînement du modèle. Comme le dataset Hand Keypoints est déjà pris en charge dans le pipeline d'entraînement, il peut être utilisé immédiatement sans formatage supplémentaire, ce qui permet d'économiser du temps et des efforts.

Voici comment fonctionne le processus d'entraînement :

• Configurer l'environnement : La première étape consiste à installer le package Python Ultralytics.
• Charger le dataset Hand Keypoints : YOLO11 prend en charge ce dataset nativement, il peut donc être téléchargé et préparé automatiquement.
• Utiliser un modèle pré-entraîné : Tu peux commencer avec un modèle de pose estimation YOLO11 pré-entraîné, ce qui aide à améliorer la précision et accélère le processus d'entraînement.
• Entraîner le modèle : Le modèle apprend à détecter et à suivre les points clés de la main en passant par plusieurs cycles d'entraînement.
• Surveiller les performances : Le package Ultralytics fournit également des outils intégrés pour suivre les métriques clés comme la précision et la perte, aidant à garantir que le modèle s'améliore avec le temps.
• Enregistrer et déployer : Une fois entraîné, le modèle peut être exported et utilisé pour des applications de suivi des mains en temps réel.

Link to this sectionÉvaluer ton modèle entraîné sur mesure#

En suivant les étapes de création d'un modèle sur mesure, tu remarqueras que la surveillance des performances est essentielle. En plus de suivre les progrès pendant l'entraînement, l'évaluation du modèle par la suite est cruciale pour s'assurer qu'il détecte et suit avec précision les points clés de la main.

Les performance metrics clés comme la précision, les valeurs de perte et la mean average precision (mAP) aident à évaluer les performances du modèle. Le package Python Ultralytics fournit des outils intégrés pour visualiser les résultats et comparer les prédictions avec les annotations réelles, ce qui facilite l'identification des domaines à améliorer.

Pour mieux comprendre les performances du modèle, tu peux vérifier des graphiques d'évaluation tels que les courbes de perte, les tracés précision-rappel et les matrices de confusion, qui sont automatiquement générés dans les journaux d'entraînement.

Ces graphiques aident à identifier des problèmes comme le surapprentissage (quand le modèle mémorise les données d'entraînement mais a du mal avec les nouvelles données) ou le sous-apprentissage (quand le modèle ne parvient pas à apprendre suffisamment bien les modèles pour être précis) et guident les ajustements pour améliorer la précision. De plus, tester le modèle sur de nouvelles images ou vidéos est important pour voir comment il fonctionne dans des scénarios réels.

Link to this sectionApplications des solutions de suivi des mains pilotées par l'IA#

Ensuite, passons en revue certaines des applications les plus marquantes de hand keypoints estimation with Ultralytics YOLO11.

Link to this sectionReconnaissance gestuelle en temps réel avec YOLO11#

Imaginons que tu puisses régler le volume de ta télévision simplement en agitant la main ou naviguer dans un système domotique d'un simple balayage dans l'air. La reconnaissance gestuelle en temps réel propulsée par YOLO11 rend ces interactions sans contact possibles en détectant avec précision les mouvements de la main en temps réel.

Cela fonctionne en utilisant des AI cameras pour suivre les points clés sur ta main et interpréter les gestes comme des commandes. Des caméras à détection de profondeur, des capteurs infrarouges ou même des webcams classiques capturent les mouvements de la main, tandis que YOLO11 peut traiter les données pour reconnaître différents gestes. Par exemple, un tel système peut faire la différence entre un balayage pour changer de chanson, un pincement pour zoomer ou un mouvement circulaire pour régler le volume.

Link to this sectionDétection des points clés de la main basée sur l'IA pour la reconnaissance de la langue des signes#

Les solutions d'IA pour le suivi des mains peuvent favoriser une communication fluide entre une personne sourde et quelqu'un qui ne connaît pas la langue des signes. Par exemple, des appareils intelligents intégrés avec des caméras et YOLO11 peuvent être utilisés pour traduire instantanément la langue des signes en texte ou en parole.

Grâce à des avancées comme YOLO11, les outils de traduction en langue des signes deviennent plus précis et accessibles. Cela a un impact sur des applications comme la technologie d'assistance, les services de traduction en direct et les plateformes éducatives. L'IA peut aider à combler les lacunes de communication et à promouvoir l'inclusivité sur les lieux de travail, dans les écoles et les espaces publics.

Link to this sectionComputer vision pour le suivi des mains : Améliorer les expériences AR et VR#

As-tu déjà joué à un jeu de réalité virtuelle (VR) où tu pouvais saisir des objets sans utiliser de manette ? Le suivi des mains propulsé par la computer vision rend cela possible en permettant aux utilisateurs d'interagir naturellement dans des environnements de augmented reality (AR) et VR.

Fig 4. Le suivi des mains est un élément clé des applications AR et VR.

Avec l'estimation des points clés de la main utilisant des modèles comme Ultralytics YOLO11, l'IA suit les mouvements en temps réel, permettant des gestes comme pincer, saisir et balayer. Cela améliore le jeu, la formation virtuelle et la collaboration à distance, rendant les interactions plus intuitives. À mesure que la technologie de suivi des mains s'améliore, l'AR et la VR sembleront encore plus immersives et réalistes.

Link to this sectionPoints clés#

L'estimation des points clés de la main avec Ultralytics YOLO11 rend les solutions de suivi des mains pilotées par l'IA plus accessibles et fiables. De la reconnaissance gestuelle en temps réel à l'interprétation de la langue des signes et aux applications AR/VR, la computer vision ouvre de nouvelles possibilités dans l'interaction homme-machine.

De plus, des processus simplifiés d'entraînement personnalisé et de réglage fin aident les développeurs à construire des modèles efficaces pour diverses utilisations réelles. À mesure que la technologie de computer vision évolue, nous pouvons nous attendre à encore plus d'innovations dans des domaines comme la santé, la robotique, le jeu et la sécurité.

Rejoins notre communauté et explore les avancées en IA sur notre dépôt GitHub. Découvre l'impact de l'IA dans la fabrication et de la vision par ordinateur dans la santé via nos pages de solutions. Explore nos plans de licence et commence ton aventure dans l'IA dès aujourd'hui !