Qu'est-ce qu'OpenPose ? Exploration d'une étape importante dans l'estimation de pose

De nos jours, les images et les caméras sont partout : intégrées à nos téléphones, à nos maisons et même dans les espaces publics. Nous comptons sur elles non seulement pour capturer des moments, mais aussi pour nous aider à comprendre et à interagir avec le monde qui nous entoure.

En coulisses, la computer vision, un sous-domaine de l'intelligence artificielle (IA), rend cela possible en permettant aux machines d'interpréter des données visuelles. Elle permet aux systèmes de détecter des objets, de reconnaître des visages et de suivre les mouvements, jouant un rôle clé dans un grand nombre de technologies que tu utilises au quotidien.

Grâce aux récentes avancées en matière d'IA, les modèles de computer vision peuvent désormais analyser et extraire des données et des informations plus complexes. Un exemple de cela est la pose estimation, une tâche de computer vision axée sur la compréhension des mouvements humains.

Elle fonctionne en identifiant des points clés sur le corps, tels que les épaules, les coudes et les genoux, dans des images ou des vidéos. Cela permet d'analyser la façon dont les gens bougent, facilitant ainsi des applications dans le suivi de la condition physique, l'animation, la santé, et bien plus encore.

Parmi les nombreux outils développés pour l'estimation de pose, OpenPose se distingue comme une avancée majeure. Créé par des chercheurs du Perceptual Computing Lab de l'université Carnegie Mellon, il fut l'un des premiers systèmes open-source capables de détecter des poses corporelles complètes, y compris les mains, les pieds et les points clés du visage, pour plusieurs personnes en temps réel en utilisant simplement une caméra (avec jusqu'à 135 points clés par personne).

Dans cet article, nous explorerons OpenPose, son fonctionnement et sa signification en tant qu'étape clé de la vision par ordinateur.

Fig 1. Estimation de pose multi-personne avec OpenPose.

Un regard sur l'histoire de l'estimation de pose#

Avant que l'IA ne soit largement adoptée, le suivi des mouvements humains dans les vidéos nécessitait l'utilisation d'équipements spécialisés. Dans des secteurs comme le film and animation, les acteurs portaient souvent des combinaisons dotées de marqueurs réfléchissants pour permettre aux caméras de capturer leurs mouvements dans un environnement de studio contrôlé.

Bien que ces techniques de capture de mouvement basées sur des marqueurs fussent précises, elles étaient aussi coûteuses et limitées à des configurations spécifiques. À mesure que la vision par ordinateur progressait, les chercheurs ont cherché des moyens de suivre le mouvement du corps sans utiliser de marqueurs. Ils utilisaient des bords, des contours et des modèles pour trouver les formes humaines dans les images.

Ces premiers systèmes fonctionnaient dans des instances simples et directes mais peinaient face à des scénarios du monde réel. Ils donnaient souvent de piètres résultats lorsque les gens bougeaient de manière inattendue ou lorsqu'il y avait plus d'une personne dans une image.

À la fin des années 2010, le deep learning a apporté un changement majeur dans l'estimation de pose. Les modèles de vision par IA ont pu être entraînés sur de grands ensembles de données de poses humaines. Plutôt que de reposer sur des contours et des modèles prédéfinis, les modèles ont appris à reconnaître les articulations et la structure du corps en étudiant des milliers d'images étiquetées. Cela a rendu l'estimation de pose plus précise, plus flexible et plus percutante dans un plus grand nombre de contextes.

Fig 2. L'évolution des modèles d'estimation de pose humaine de 2017 à 2023.

OpenPose : Là où l'estimation de pose moderne a décollé#

OpenPose a été publié pour la première fois en 2017 et est capable d'estimer les poses de plusieurs personnes simultanément dans une seule image. Contrairement aux anciens systèmes, OpenPose ne nécessite pas de combinaisons ou de marqueurs spéciaux. Il fonctionne avec des caméras standards et peut traiter des images et des vidéos en temps réel. Ces fonctionnalités ont rendu l'estimation de pose plus accessible aux développeurs et aux chercheurs.

Les bases posées par OpenPose pour la computer vision ont aidé d'autres acteurs à concevoir des architectures plus récentes pour diverses applications. Aujourd'hui, les modèles de vision par IA tels que Ultralytics YOLOv8 et Ultralytics YOLO11, qui prennent en charge les tâches d'estimation de pose, offrent des résultats plus rapides et une latence réduite.

Fig 3. Utilisation de YOLO11 pour l'estimation de pose.

Cependant, OpenPose est un excellent point de départ si tu es curieux de savoir comment l'estimation de pose a évolué. Il a introduit des idées clés sur lesquelles de nombreux systèmes plus récents s'appuient encore aujourd'hui.

Les capacités clés d'OpenPose#

Maintenant que nous comprenons mieux pourquoi OpenPose est important, examinons de plus près ce qu'il peut réellement faire.

Au cœur des fonctionnalités d'OpenPose se trouve ce que l'on appelle la keypoint detection. Les keypoints sont des repères spécifiques sur le corps humain, tels que le bout du nez, le centre des épaules, les coudes, les poignets, les hanches, les genoux et les chevilles. OpenPose peut détecter jusqu'à 135 de ces points par personne, incluant des zones détaillées comme les doigts et les traits du visage.

Lorsque ces points sont connectés, ils forment une représentation simplifiée du corps humain : tu peux imaginer cela comme un squelette numérique. Ce contour squelettique montre non seulement où se trouve une personne, mais aussi quelle est sa pose : qu'elle soit assise, debout, en train de faire coucou, de sourire ou de marcher. Les ordinateurs peuvent interpréter le mouvement humain visuellement en utilisant ces squelettes, tout comme nous comprenons instinctivement le langage corporel de quelqu'un.

Le suivi squelettique est particulièrement utile car il élimine le bruit de fond et les distractions, permettant au système de se concentrer purement sur la posture et le mouvement humains. Au lieu d'analyser chaque pixel, OpenPose se concentre sur des points significatifs qui racontent l'histoire de la façon dont une personne bouge ou interagit.

En extrayant ces informations structurées à partir d'images ou de vidéos quotidiennes, OpenPose permet de créer des applications qui réagissent aux gestes, surveillent l'activité physique, évaluent des signaux émotionnels ou même animent des personnages numériques.

Comment fonctionne OpenPose ?#

Voici un aperçu de la façon dont OpenPose détecte et connecte les points clés sur le corps humain à partir d'entrées visuelles :

• Commence par une image : OpenPose prend une seule image à partir d'une photo, d'une vidéo ou d'un flux de camera en direct.
• Repère les parties importantes du corps : Le système cherche des points clés sur le corps, comme le nez, les coudes, les poignets, les genoux et les chevilles. Ils sont marqués là où le système est confiant qu'une partie du corps se situe.
• Détermine quelles parties vont ensemble : Ensuite, OpenPose vérifie comment les points clés sont connectés. Il utilise des calculs mathématiques pour décider quelles articulations appartiennent à la même personne - par exemple, en faisant correspondre un poignet au coude et à l'épaule droits.
• Dessine un squelette pour chaque personne : Après avoir regroupé les points clés, OpenPose les connecte en un "bonhomme bâton" qui montre la pose de chaque personne. Cela fonctionne même lorsque plusieurs personnes apparaissent dans la même image.
• Renvoie les données de pose : Enfin, il fournit les positions exactes de tous les points clés détectés. Ceux-ci peuvent être utilisés pour suivre le mouvement, reconnaître des gestes ou créer des outils interactifs, le tout en temps réel.

Fig 4. Détection et suivi des keypoints humains à l'aide d'OpenPose.

Applications de l'estimation de pose dans divers secteurs utilisant OpenPose#

OpenPose a été l'un des premiers outils avancés à rendre l'estimation de pose pratique pour une variété de cas d'usage réels. Bien qu'il ne soit plus couramment utilisé dans les computer vision solutions en temps réel aujourd'hui, il a joué un rôle important dans le façonnement des premiers travaux dans des domaines tels que le sport, le divertissement, l'éducation et la sécurité.

Examinons de plus près comment il a aidé à ouvrir la voie dans ces domaines.

Estimation de pose avec OpenPose pour le fitness et le sport#

Lorsque tu regardes le baseball, il est facile de comprendre ce qui se passe : tu peux instantanément reconnaître un lancer, un swing ou un vol de base. En tant qu'humains, nous lisons intuitivement les mouvements du corps et leur donnons du sens sans grand effort. Mais pour les machines, reconnaître ces actions est beaucoup plus complexe. Elles ont besoin d'informations précises sur la façon dont chaque partie du corps se déplace dans l'espace.

OpenPose a représenté une avancée substantielle dans ce domaine de la vision par ordinateur. C'était un outil pratique pour analyser la forme athlétique dans une variété de contextes.

De nombreux projets de recherche ont utilisé OpenPose pour décortiquer des mouvements tels que les swings et les sauts, allant jusqu'à classifier des baseball actions spécifiques en fonction de la manière dont les joueurs se déplaçaient. Comme il fonctionnait dans des environnements ouverts avec des vidéos standard, il a permis aux chercheurs de tester la façon dont de tels systèmes pourraient fonctionner dans des scénarios d'entraînement ou de coaching réels.

Ces premières études ont contribué à jeter les bases des outils de suivi des performances utilisés aujourd'hui dans les sports technology avancées.

Fig 5. Aperçu d'un pipeline de classification d'actions de baseball utilisant OpenPose.

Utiliser OpenPose dans les systèmes de sécurité et de sûreté#

De même, les chercheurs ont également utilisé OpenPose pour explorer la manière dont le suivi de pose basé sur la vidéo pouvait soutenir la surveillance de la sécurité. Il a été testé dans la detecting behaviors tels que les chutes, les gestes inattendus ou les schémas de mouvement dans les zones publiques.

Parce qu'il fonctionnait avec des caméras standard, OpenPose a rendu l'expérimentation précoce plus accessible dans des environnements tels que les hôpitaux et les centres de transport. Ces études ont contribué à stimuler le développement de newer models utilisés aujourd'hui dans la surveillance, la détection des chutes et les systèmes d'intervention d'urgence.

Fig 6. Détection des chutes activée par OpenPose.

Avantages et inconvénients d'OpenPose#

Voici un aperçu de certains des avantages qu'OpenPose offre :

• Utile pour la recherche et le prototypage : Il a été largement utilisé dans la recherche académique, en particulier dans des domaines comme l'interaction homme-machine, la biomécanique et l'analyse comportementale.
• Prise en charge multiplateforme : Il peut s'exécuter sur Windows, Linux et macOS, avec une prise en charge à la fois des unités centrales de traitement (CPU) et des graphics processing units (GPUs).
• Capacité de traitement hors ligne : Il peut fonctionner dans des environnements sans accès à Internet, ce qui le rend idéal pour des contextes sensibles à la confidentialité comme la santé ou l'éducation.

Bien qu'OpenPose ait été une avancée majeure, il comporte également des limitations techniques qu'il est important de garder à l'esprit. Voici certains des défis clés associés à OpenPose :

• Exigences de traitement élevées : Exécuter OpenPose en temps réel nécessite un GPU puissant et des ressources informatiques importantes.
• Sensible à l'environnement : La performance peut diminuer en cas de faible luminosité, dans des espaces bondés ou lorsque les angles de caméra ne sont pas idéaux.
• Lourd par rapport aux modèles plus récents : Par rapport aux modèles d'estimation de pose plus récents, OpenPose est relativement volumineux et plus lent. Il n'est pas bien adapté au déploiement sur des appareils aux ressources limitées comme les smartphones, les tablettes ou les systèmes embarqués.

Points clés#

OpenPose a joué un rôle important dans la démocratisation de l'estimation de pose. Il a montré que le suivi des mouvements corporels pouvait être effectué avec une simple caméra, sans dépendre de combinaisons ou d'équipements spécialisés.

Il a jeté les bases de nombreuses applications pratiques dans la santé, l'éducation, le divertissement et la recherche. Bien que les modèles plus récents offrent désormais des vitesses plus rapides et des performances plus légères, OpenPose reste un point de référence clé pour comprendre comment l'estimation de pose a évolué.

Rejoins notre community et visite notre GitHub repository pour en savoir plus sur l'IA. Si tu souhaites créer tes propres solutions de computer vision, explore nos licensing options. Découvre également comment la computer vision in healthcare et l'AI in logistics ont un impact !