Améliorer l'estimation des points clés des mains avec Ultralytics YOLO11

Récemment, les interprètes en langue des signes du Super Bowl ont suscité beaucoup d’attention. Quand tu les regardes chanter à la télévision la chanson de ton artiste préféré, tu peux les comprendre si tu connais la langue des signes, car ton cerveau traite les mouvements de leurs mains. Mais que se passerait-il si un ordinateur pouvait faire de même ? Grâce aux solutions de suivi des mains basées sur l’IA, les machines peuvent suivre et interpréter les mouvements des mains avec une précision impressionnante.

Au cœur de ces solutions se trouve la vision par ordinateur, un sous-domaine de l’IA qui permet aux machines de traiter et de comprendre les informations visuelles. En analysant des images et des vidéos, l’IA dédiée à la vision les aide à détecter des objets, à suivre des mouvements et à reconnaître des gestes complexes avec une précision remarquable.

Par exemple, des modèles de vision par ordinateur comme Ultralytics YOLO11 peuvent être entraînés à détecter et à analyser les points clés de la main en temps réel à l’aide de l’estimation de pose. Ces modèles peuvent ainsi être utilisés pour des applications comme la reconnaissance des gestes, la traduction de la langue des signes et les interactions en réalité augmentée et virtuelle.

Dans cet article, nous allons voir comment Ultralytics YOLO11 permet le suivi des mains basé sur l’IA, quels jeux de données sont utilisés pour l’entraînement et comment entraîner un modèle personnalisé pour l’estimation de la pose de la main. Nous examinerons également des applications concrètes. C’est parti !

Comprendre la détection des points clés de la main basée sur l’IA#

L’IA peut être utilisée pour reconnaître et suivre les mouvements des mains dans des données visuelles en identifiant des points clés comme le poignet, le bout des doigts et les articulations des doigts. Une approche appelée estimation de pose aide les ordinateurs à comprendre les mouvements humains en cartographiant les points clés et en analysant leur évolution au fil du temps. Les systèmes d’IA peuvent ainsi interpréter la posture du corps, les gestes et les schémas de mouvement avec une grande précision.

Les modèles de vision par ordinateur rendent cela possible en analysant des images ou des vidéos pour identifier les points clés de la main et suivre leurs mouvements. Une fois ces points cartographiés, l’IA peut reconnaître les gestes en analysant les relations spatiales entre les points clés et leur évolution au fil du temps.

Par exemple, si la distance entre le pouce et l’index diminue, l’IA peut l’interpréter comme un mouvement de pincement. De même, le suivi des déplacements des points clés dans des séquences permet d’identifier des gestes complexes de la main et même de prédire les mouvements futurs.

Fig. 1 Un exemple de reconnaissance des points clés d’une main à l’aide de la vision par ordinateur.

Fait intéressant, l’estimation de pose pour le suivi des mains a ouvert des possibilités passionnantes, du contrôle sans les mains des appareils intelligents à l’amélioration de la précision robotique et de l’assistance dans les applications de santé. Alors que l’IA et la vision par ordinateur continuent d’évoluer, le suivi des mains jouera probablement un rôle croissant pour rendre la technologie plus interactive, accessible et intuitive au quotidien.

Explorer Ultralytics YOLO11 pour l’estimation de pose#

Avant d’examiner comment créer une solution de suivi des mains basée sur l’IA, intéressons-nous de plus près à l’estimation de pose et à la manière dont Ultralytics YOLO11 prend en charge cette tâche de vision par ordinateur. Contrairement à la détection d’objets standard, qui identifie des objets entiers, l’estimation de pose se concentre sur la détection de repères clés, comme les articulations, les membres ou les contours, afin d’analyser les mouvements et la posture.

Plus précisément, Ultralytics YOLO11 est conçu pour l’estimation de pose en temps réel. En exploitant les méthodes descendante et ascendante, il détecte efficacement les personnes et estime leurs points clés en une seule étape, surpassant les modèles précédents en vitesse et en précision.

Prêt à l’emploi, Ultralytics YOLO11 est pré-entraîné sur le jeu de données COCO-Pose et peut reconnaître les points clés du corps humain, notamment la tête, les épaules, les coudes, les poignets, les hanches, les genoux et les chevilles.

Fig. 2 Utilisation de YOLO11 pour l’estimation de la pose humaine.

Au-delà de l’estimation de la pose humaine, Ultralytics YOLO11 peut être entraîné sur mesure pour détecter les points clés de différents objets, animés ou inanimés. Cette flexibilité fait de YOLO11 une excellente option pour un large éventail d’applications.

Présentation du jeu de données Hand Keypoints#

La première étape de l’entraînement personnalisé d’un modèle consiste à collecter des données et à les annoter, ou à trouver un jeu de données existant adapté aux besoins du projet. Par exemple, le jeu de données Hand Keypoints constitue un bon point de départ pour entraîner des modèles d’IA dédiés à la vision au suivi des mains et à l’estimation de pose. Avec 26 768 images annotées, il évite d’avoir à effectuer un étiquetage manuel.

Il peut être utilisé pour entraîner des modèles comme Ultralytics YOLO11 afin qu’ils apprennent rapidement à détecter et à suivre les mouvements des mains. Le jeu de données comprend 21 points clés par main, couvrant le poignet, les doigts et les articulations. De plus, ses annotations ont été générées avec Google MediaPipe, un outil de développement de solutions basées sur l’IA pour le traitement des médias en temps réel, garantissant une détection précise et fiable des points clés.

Fig. 3 Les 21 points clés inclus dans le jeu de données Hand Keypoints.

L’utilisation d’un jeu de données structuré comme celui-ci permet de gagner du temps et aux développeurs de se concentrer sur l’entraînement et le réglage fin de leurs modèles plutôt que sur la collecte et l’étiquetage des données. En fait, le jeu de données est déjà divisé en sous-ensembles d’entraînement (18 776 images) et de validation (7 992 images), ce qui facilite l’évaluation des performances du modèle.

Comment entraîner Ultralytics YOLO11 pour l’estimation de la pose de la main#

L’entraînement de YOLO11 pour l’estimation de la pose de la main est un processus simple, notamment avec le package Python Ultralytics, qui facilite la configuration et l’entraînement du modèle. Comme le jeu de données Hand Keypoints est déjà pris en charge dans le pipeline d’entraînement, tu peux l’utiliser immédiatement sans formatage supplémentaire, ce qui permet de gagner du temps et des efforts.

Voici comment se déroule le processus d’entraînement :

• Configurer l’environnement : la première étape consiste à installer le package Python Ultralytics.
• Charger le jeu de données Hand Keypoints : Ultralytics YOLO11 prend nativement en charge ce jeu de données, qui peut donc être téléchargé et préparé automatiquement.
• Utiliser un modèle pré-entraîné : tu peux commencer avec un modèle Ultralytics YOLO11 pré-entraîné pour l’estimation de pose, ce qui contribue à améliorer la précision et à accélérer le processus d’entraînement.
• Entraîner le modèle : le modèle apprend à détecter et à suivre les points clés de la main en parcourant plusieurs cycles d’entraînement.
• Surveiller les performances : le package Ultralytics fournit également des outils intégrés pour suivre des métriques clés comme la précision et la perte, afin de vérifier que le modèle s’améliore au fil du temps.
• Enregistrer et déployer : une fois entraîné, le modèle peut être exporté et utilisé pour des applications de suivi des mains en temps réel.

Évaluer ton modèle entraîné sur mesure#

En suivant les étapes de création d’un modèle personnalisé, tu constateras que la surveillance des performances est essentielle. En plus de suivre la progression pendant l’entraînement, il est crucial d’évaluer ensuite le modèle pour vérifier qu’il détecte et suit correctement les points clés de la main.

Les principales métriques de performance, comme la précision, les valeurs de perte et la précision moyenne (mAP), permettent d’évaluer les performances du modèle. Le package Python Ultralytics fournit des outils intégrés pour visualiser les résultats et comparer les prédictions aux annotations réelles, ce qui facilite l’identification des points à améliorer.

Pour mieux comprendre les performances du modèle, tu peux consulter des graphiques d’évaluation comme les courbes de perte, les courbes précision-rappel et les matrices de confusion, qui sont générés automatiquement dans les journaux d’entraînement.

Ces graphiques permettent d’identifier des problèmes comme le surapprentissage (lorsque le modèle mémorise les données d’entraînement, mais rencontre des difficultés avec de nouvelles données) ou le sous-apprentissage (lorsque le modèle n’apprend pas suffisamment bien les schémas pour être précis) et guident les ajustements destinés à améliorer la précision. Il est également important de tester le modèle sur de nouvelles images ou vidéos pour voir comment il fonctionne dans des situations réelles.

Applications des solutions de suivi des mains basées sur l’IA#

Examinons maintenant quelques-unes des applications les plus importantes de l’estimation des points clés de la main avec Ultralytics YOLO11.

Reconnaissance des gestes en temps réel avec Ultralytics YOLO11#

Imagine que tu puisses régler le volume de ta télévision en agitant simplement la main ou naviguer dans un système domotique d’un simple geste dans les airs. La reconnaissance des gestes en temps réel alimentée par Ultralytics YOLO11 rend possibles ces interactions sans contact en détectant précisément les mouvements des mains en temps réel.

Cela fonctionne grâce à des caméras IA qui suivent les points clés de ta main et interprètent les gestes comme des commandes. Des caméras à détection de profondeur, des capteurs infrarouges ou même de simples webcams capturent les mouvements de la main, tandis qu’Ultralytics YOLO11 peut traiter les données pour reconnaître différents gestes. Par exemple, un tel système peut faire la différence entre un balayage pour changer de chanson, un pincement pour zoomer ou un mouvement circulaire pour régler le volume.

Détection des points clés de la main basée sur l’IA pour la reconnaissance de la langue des signes#

Les solutions de suivi des mains basées sur l’IA peuvent faciliter une communication fluide entre une personne sourde et une personne qui ne connaît pas la langue des signes. Par exemple, des appareils intelligents équipés de caméras et d’Ultralytics YOLO11 peuvent être utilisés pour traduire instantanément la langue des signes en texte ou en parole.

Grâce à des avancées comme Ultralytics YOLO11, les outils de traduction de la langue des signes deviennent plus précis et plus accessibles. Cela a un impact sur des applications comme les technologies d’assistance, les services de traduction en direct et les plateformes éducatives. L’IA peut contribuer à réduire les obstacles à la communication et à promouvoir l’inclusion dans les lieux de travail, les écoles et les espaces publics.

La vision par ordinateur pour le suivi des mains : améliorer les expériences en réalité augmentée et virtuelle#

As-tu déjà joué à un jeu de réalité virtuelle (VR) dans lequel tu pouvais saisir des objets sans utiliser de contrôleur ? Le suivi des mains par vision par ordinateur rend cela possible en permettant aux utilisateurs d’interagir naturellement dans des environnements de réalité augmentée (AR) et de réalité virtuelle.

Fig. 4 Le suivi des mains est un élément clé des applications de réalité augmentée et virtuelle.

Grâce à l’estimation des points clés de la main avec des modèles comme Ultralytics YOLO11, l’IA suit les mouvements en temps réel et permet des gestes comme pincer, saisir et balayer. Cela améliore les jeux, la formation virtuelle et la collaboration à distance, en rendant les interactions plus intuitives. À mesure que la technologie de suivi des mains progresse, la réalité augmentée et la réalité virtuelle sembleront encore plus immersives et réalistes.

Points clés à retenir#

L’estimation des points clés de la main avec Ultralytics YOLO11 rend les solutions de suivi des mains basées sur l’IA plus accessibles et plus fiables. De la reconnaissance des gestes en temps réel à l’interprétation de la langue des signes et aux applications de réalité augmentée et virtuelle, la vision par ordinateur ouvre de nouvelles possibilités pour l’interaction homme-machine.

Par ailleurs, la simplification des processus d’entraînement personnalisé et de réglage fin aide les développeurs à créer des modèles efficaces pour diverses utilisations concrètes. À mesure que la technologie de vision par ordinateur évolue, nous pouvons nous attendre à encore plus d’innovations dans des domaines comme la santé, la robotique, les jeux vidéo et la sécurité.

Rejoins notre communauté et découvre les avancées de l’IA sur notre dépôt GitHub. Découvre l’impact de l’IA dans l’industrie et de la vision par ordinateur dans le secteur de la santé grâce à nos pages consacrées aux solutions. Explore nos offres de licence et commence dès aujourd’hui ton parcours dans l’IA !