Améliorer l’estimation des points clés de la main avec Ultralytics YOLO11

Récemment, les interprètes en langue des signes du Super Bowl ont beaucoup fait parler d’eux. Quand tu les regardes interpréter à la télévision la chanson de ton artiste préféré, tu peux les comprendre si tu connais la langue des signes, car ton cerveau traite les mouvements de leurs mains. Et si un ordinateur pouvait faire de même ? Grâce aux solutions de suivi des mains par IA, les machines peuvent suivre et interpréter les mouvements des mains avec une précision remarquable.

Au cœur de ces solutions se trouve la vision par ordinateur, un sous-domaine de l’IA qui permet aux machines de traiter et de comprendre les informations visuelles. En analysant des images et des vidéos, l’IA visuelle les aide à détecter des objets, à suivre des mouvements et à reconnaître des gestes complexes.

Par exemple, les modèles de vision par ordinateur comme Ultralytics YOLO11 peuvent être entraînés à détecter et à analyser en temps réel les points clés des mains grâce à l’estimation de pose. Ces modèles peuvent ainsi servir dans des applications comme la reconnaissance des gestes, la traduction de la langue des signes et les interactions en RA/RV.

Dans cet article, nous verrons comment Ultralytics YOLO11 permet le suivi des mains par IA, quels jeux de données sont utilisés pour l’entraînement et comment entraîner un modèle personnalisé pour estimer la pose des mains. Nous examinerons également des applications concrètes.

Comprendre la détection des points clés de la main par l’IA#

L’IA peut reconnaître et suivre les mouvements des mains dans des données visuelles en identifiant des points clés, comme le poignet, le bout des doigts et les articulations des doigts. Une approche appelée estimation de pose aide les ordinateurs à comprendre les mouvements humains en cartographiant les points clés et en analysant leur évolution dans le temps. Les systèmes d’IA peuvent ainsi interpréter avec précision les postures, les gestes et les schémas de mouvement.

Les modèles de vision par ordinateur rendent cela possible en analysant des images ou des vidéos pour identifier les points clés de la main et suivre leurs mouvements. Une fois ces points cartographiés, l’IA peut reconnaître les gestes en analysant les relations spatiales entre les points clés et leur évolution dans le temps.

Par exemple, si la distance entre le pouce et l’index diminue, l’IA peut interpréter ce mouvement comme un pincement. De même, le suivi de l’évolution des points clés au fil des séquences aide à identifier des gestes complexes de la main et même à prévoir les mouvements à venir.

Fig. 1. Exemple de reconnaissance des points clés d’une main par vision par ordinateur.

Il est intéressant de noter que l’estimation de pose pour le suivi des mains a ouvert des perspectives prometteuses, du contrôle des appareils connectés sans les mains à l’amélioration de la précision robotique, en passant par l’assistance dans les applications de santé. À mesure que l’IA et la vision par ordinateur évoluent, le suivi des mains jouera probablement un rôle plus important pour rendre la technologie plus interactive, accessible et intuitive au quotidien.

Découvrir Ultralytics YOLO11 pour l’estimation de pose#

Avant d’examiner comment créer une solution de suivi des mains par l’IA, intéressons-nous de plus près à l’estimation de pose et à la prise en charge de cette tâche de vision par ordinateur par Ultralytics YOLO11. Contrairement à la détection d’objets standard, qui identifie des objets entiers, l’estimation de pose vise à détecter des repères clés — comme les articulations, les membres ou les contours — pour analyser les mouvements et les postures.

Ultralytics YOLO11 est spécialement conçu pour l’estimation de pose en temps réel. Il détecte efficacement les personnes et estime les points clés en une seule étape, surpassant les modèles précédents en matière de vitesse et de précision.

Prêt à l’emploi, Ultralytics YOLO11 est préentraîné sur le jeu de données COCO-Pose et peut reconnaître les points clés du corps humain, notamment la tête, les épaules, les coudes, les poignets, les hanches, les genoux et les chevilles.

Fig. 2. Utilisation de YOLO11 pour l’estimation de pose humaine.

Au-delà de l’estimation de la pose humaine, Ultralytics YOLO11 peut être entraîné sur mesure à détecter des points clés sur différents objets, animés ou inanimés. Cette flexibilité fait de YOLO11 une excellente solution pour un large éventail d’applications.

Présentation du jeu de données Hand Keypoints#

La première étape de l’entraînement personnalisé d’un modèle consiste à collecter et annoter des données, ou à trouver un jeu de données existant adapté aux besoins du projet. Par exemple, le jeu de données Hand Keypoints constitue un bon point de départ pour entraîner des modèles d’IA visuelle au suivi des mains et à l’estimation de pose. Avec ses 26 768 images annotées, il évite d’avoir à effectuer un étiquetage manuel.

Il peut servir à entraîner des modèles comme Ultralytics YOLO11 afin qu’ils apprennent rapidement à détecter et suivre les mouvements des mains. Le jeu de données comprend 21 points clés par main, couvrant le poignet, les doigts et les articulations. De plus, ses annotations ont été générées avec Google MediaPipe, un outil de développement de solutions d’IA pour le traitement des médias en temps réel, ce qui garantit une détection précise et fiable des points clés.

Fig. 3. Les 21 points clés inclus dans le jeu de données Hand Keypoints.

Un jeu de données structuré de ce type fait gagner du temps et permet aux développeurs de se concentrer sur l’entraînement et le réglage fin de leurs modèles plutôt que sur la collecte et l’annotation des données. En effet, le jeu de données est déjà réparti en sous-ensembles d’entraînement (18 776 images) et de validation (7 992 images), ce qui facilite l’évaluation des performances du modèle.

Comment entraîner Ultralytics YOLO11 à estimer la pose des mains#

L’entraînement de YOLO11 à l’estimation de la pose des mains est simple, en particulier avec le paquet Python Ultralytics, qui facilite la configuration et l’entraînement du modèle. Comme le jeu de données Hand Keypoints est déjà pris en charge dans le pipeline d’entraînement, tu peux l’utiliser immédiatement sans formatage supplémentaire, ce qui te fait gagner du temps et des efforts.

Voici comment se déroule l’entraînement :

• Configurer l’environnement : la première étape consiste à installer le package Python Ultralytics.
• Charger le jeu de données Hand Keypoints : Ultralytics YOLO11 prend nativement en charge ce jeu de données, qui peut donc être téléchargé et préparé automatiquement.
• Utilise un modèle préentraîné : tu peux commencer avec un modèle Ultralytics YOLO11 préentraîné pour l’estimation de pose, ce qui contribue à améliorer la précision et à accélérer l’entraînement.
• Entraîner le modèle : le modèle apprend à détecter et à suivre les points clés des mains au fil de plusieurs cycles d’entraînement.
• Suivre les performances : le package Ultralytics fournit également des outils intégrés pour suivre des métriques clés comme la précision et la perte, afin de vérifier que le modèle s’améliore au fil du temps.
• Enregistrer et déployer : une fois entraîné, le modèle peut être exporté et utilisé pour des applications de suivi des mains en temps réel.

Évaluer ton modèle entraîné sur mesure#

En suivant les étapes de création d’un modèle personnalisé, tu constateras qu’il est essentiel de surveiller ses performances. En plus de suivre les progrès pendant l’entraînement, il est crucial d’évaluer le modèle ensuite pour vérifier qu’il détecte et suit correctement les points clés des mains.

Des métriques de performance clés comme la précision, les valeurs de perte et la précision moyenne (mAP) permettent d’évaluer les performances du modèle. Le package Python Ultralytics fournit des outils intégrés pour visualiser les résultats et comparer les prédictions aux annotations réelles, ce qui facilite le repérage des points à améliorer.

Pour mieux comprendre les performances du modèle, tu peux examiner des graphiques d’évaluation comme les courbes de perte, les courbes précision-rappel et les matrices de confusion, générés automatiquement dans les journaux d’entraînement.

Ces graphiques aident à repérer des problèmes comme le surapprentissage (lorsque le modèle mémorise les données d’entraînement, mais a du mal avec de nouvelles données) ou le sous-apprentissage (lorsque le modèle n’apprend pas suffisamment les motifs pour obtenir des résultats précis) et orientent les ajustements visant à améliorer la précision. Il est également important de tester le modèle sur de nouvelles images ou vidéos pour évaluer son fonctionnement dans des situations réelles.

Applications des solutions de suivi des mains pilotées par l’IA#

Voyons maintenant quelques-unes des applications les plus marquantes de l’estimation des points clés des mains avec Ultralytics YOLO11.

Reconnaissance des gestes en temps réel avec Ultralytics YOLO11#

Imagine que tu puisses régler le volume de ton téléviseur d’un simple geste de la main ou naviguer dans un système domotique en faisant un simple mouvement dans les airs. La reconnaissance des gestes en temps réel, rendue possible par Ultralytics YOLO11, permet ces interactions sans contact en détectant précisément les mouvements des mains en temps réel.

Cette approche consiste à utiliser des caméras IA pour suivre les points clés de ta main et interpréter les gestes sous forme de commandes. Des caméras à détection de profondeur, des capteurs infrarouges ou même de simples webcams capturent les mouvements de la main, tandis qu’Ultralytics YOLO11 traite les données pour reconnaître différents gestes. Par exemple, un tel système peut distinguer un balayage pour changer de chanson, un pincement pour zoomer ou un mouvement circulaire pour régler le volume.

Détection des points clés de la main par l’IA pour la reconnaissance de la langue des signes#

Les solutions d’IA pour le suivi des mains peuvent faciliter la communication entre une personne sourde et une personne qui ne connaît pas la langue des signes. Par exemple, des appareils intelligents équipés de caméras et intégrant Ultralytics YOLO11 peuvent traduire instantanément la langue des signes en texte ou en parole.

Grâce à des avancées comme Ultralytics YOLO11, les outils de traduction de la langue des signes gagnent en précision et en accessibilité. Cela a des répercussions sur des applications comme les technologies d’assistance, les services de traduction en direct et les plateformes éducatives. L’IA peut contribuer à combler les lacunes de communication et à favoriser l’inclusion sur les lieux de travail, dans les écoles et dans les espaces publics.

La vision par ordinateur pour le suivi des mains : améliorer les expériences de RA et de RV#

As-tu déjà joué à un jeu en réalité virtuelle (VR) où tu pouvais saisir des objets sans utiliser de manette ? Le suivi des mains par vision par ordinateur le permet en donnant aux utilisateurs la possibilité d’interagir naturellement dans des environnements de réalité augmentée (AR) et de RV.

Fig. 4. Le suivi des mains est un élément clé des applications de RA et de RV.

Grâce à l’estimation des points clés des mains à l’aide de modèles comme Ultralytics YOLO11, l’IA suit les mouvements en temps réel et permet de reconnaître des gestes comme pincer, saisir et balayer. Cela améliore les jeux vidéo, la formation virtuelle et la collaboration à distance, en rendant les interactions plus intuitives. À mesure que la technologie de suivi des mains progresse, la RA et la RV deviendront encore plus immersives et réalistes.

Points clés à retenir#

L’estimation des points clés des mains avec Ultralytics YOLO11 rend les solutions de suivi des mains pilotées par l’IA plus accessibles et plus fiables. De la reconnaissance des gestes en temps réel à l’interprétation de la langue des signes et aux applications de RA/RV, la vision par ordinateur ouvre de nouvelles perspectives pour l’interaction humain-machine.

Par ailleurs, la simplification des processus d’entraînement personnalisé et de réglage fin aide les développeurs à créer des modèles efficaces pour diverses utilisations concrètes. À mesure que la vision par ordinateur évolue, nous pouvons nous attendre à de nouvelles innovations dans des domaines comme la santé, la robotique, les jeux vidéo et la sécurité.

Échange avec notre communauté et découverte des avancées de l’IA sur notre dépôt GitHub. Découvre l’impact de l’IA dans l’industrie manufacturière et de la vision par ordinateur dans le secteur de la santé sur nos pages de solutions. Découvre nos formules de licence et lance-toi dès aujourd’hui dans l’IA !