Keypoints

Les points clés sont des points nommés précis sur un objet, comme le poignet gauche d’une personne, le centre d’une roue de voiture ou les coins d’une boîte, stockés sous forme de coordonnées dans l’image. Un modèle d’estimation de pose en prédit un ensemble fixe pour chaque objet détecté, chacun avec un score de confiance. Les arêtes qui les relient forment un squelette représentant la posture et la forme. Les points clés indiquent les parties d’un objet et fournissent une description plus fine qu’une boîte englobante autour de l’objet entier ou qu’un masque de segmentation de son contour. « Repères » est un synonyme, surtout employé pour les visages.

Définir et annoter les points clés#

Chaque jeu de données définit son ensemble de points clés et leur ordre. COCO définit 17 points clés du corps humain : le nez, les yeux, les oreilles, les épaules, les coudes, les poignets, les hanches, les genoux et les chevilles. Chaque annotation stocke une coordonnée x et une coordonnée y, ainsi qu’un indicateur de visibilité : 0 si le point n’est pas annoté, 1 s’il est annoté mais masqué et 2 s’il est annoté et visible. D’autres ensembles couvrent d’autres sujets, comme les 21 points du jeu de données des points clés de la main, le schéma facial à 68 points de 300-W, les 24 points par chien de Dog-Pose ou les coins d’une pièce fabriquée. Comme l’ordre a une signification, l’augmentation de données qui retourne une image horizontalement doit aussi échanger chaque point clé gauche avec son équivalent droit, sinon un poignet gauche retourné conserverait l’étiquette de l’autre bras.

Comment les modèles prédisent les points clés#

Les modèles d’apprentissage profond prédisent les points clés sous forme de cartes de chaleur, une par point clé, dont le pic indique sa position, ou régressent directement les coordonnées à partir des caractéristiques de l’image. Chaque prédiction est associée à une confiance qui diminue pour les points clés cachés derrière une autre personne, coupés par le bord de l’image ou floutés par le mouvement ; les applications peuvent ainsi ignorer les points peu fiables au lieu de se fier à une supposition. Les prédictions sont évaluées avec la similarité des points clés des objets (OKS), qui tolère des erreurs plus importantes sur les points clés que les personnes annotent de manière moins cohérente, comme les hanches, que sur les points précis, comme les yeux.

from ultralytics import YOLO

# Load a YOLO26 pose model that predicts the 17 COCO body keypoints per person
model = YOLO("yolo26n-pose.pt")
results = model("https://ultralytics.com/images/bus.jpg")
keypoints = results[0].keypoints

# COCO order: index 0 is the nose, 9 and 10 are the left and right wrists
for index, name in [(0, "nose"), (9, "left wrist"), (10, "right wrist")]:
    x, y = keypoints.xy[0, index].tolist()
    print(f"{name}: ({x:.0f}, {y:.0f}), confidence {keypoints.conf[0, index]:.2f}")

Chaque ligne fournit un point clé de la première personne détectée sous forme de position en pixels et de score de confiance ; keypoints.xyn contient les mêmes positions normalisées par rapport à la taille de l’image.

Points clés sémantiques et points d’intérêt#

Les points clés de pose sont sémantiques : le modèle apprend à reconnaître un poignet gauche. Les points d’intérêt sont détectés plutôt que définis à l’avance. SIFT (1999) détecte des zones qui restent stables malgré les changements d’échelle et de rotation, ORB (2011) détecte des coins assez rapidement pour la cartographie en temps réel et SuperPoint (2018) apprend à détecter des points reproductibles. Un descripteur calculé autour de chaque point permet aux algorithmes d’appariement comme LightGlue de relier un même point entre des images pour le recalage d’images, la reconstruction 3D et le SLAM visuel. Le suivi de points suit ces points dans une vidéo.

Mesurer à l’aide des points clés#

Les points clés transforment une image en géométrie : deux points clés donnent une distance, trois donnent un angle articulaire et une séquence d’images donne une vitesse. La solution Ultralytics de suivi des entraînements compte ainsi les répétitions d’exercices. Par défaut, elle mesure l’angle du coude droit à partir des points clés 6, 8 et 10 (épaule droite, coude et poignet) d’un modèle de pose YOLO26 pour chaque personne suivie :

• Analyse sportive : les angles articulaires et la vitesse des membres calculés à partir des points clés décrivent image par image un swing de golf, la foulée d’un sprinteur ou le geste d’un lanceur.
• Surveillance du conducteur : les repères des yeux et de la bouche indiquent combien de temps les yeux restent fermés et à quelle fréquence le conducteur bâille, deux signes de somnolence.
• Comportement animal : DeepLabCut suit des points définis par l’utilisateur sur des animaux de laboratoire, comme la position des pattes et du museau, et a atteint une précision comparable à celle des humains avec environ 200 images annotées.