Keypoints

Keypoints sind bestimmte, benannte Punkte auf einem Objekt, zum Beispiel das linke Handgelenk einer Person, die Mitte eines Autorads oder die Ecken einer Box. Sie werden als Bildkoordinaten gespeichert. Ein Modell zur Posenschätzung sagt für jedes erkannte Objekt eine festgelegte Gruppe solcher Punkte voraus, jeweils mit einem Konfidenzwert. Verbindungen zwischen ihnen bilden ein Skelett, das Haltung und Form erfasst. Keypoints markieren einzelne Objektteile und beschreiben sie genauer als eine Bounding-Box um das ganze Objekt oder eine Segmentierungs-Maske seiner Kontur. „Landmarks“ ist ein Synonym, das vor allem bei Gesichtern verwendet wird.

Keypoints definieren und markieren#

Jeder Datensatz legt seine Keypoint-Gruppe und deren Reihenfolge fest. COCO definiert 17 Keypoints für den menschlichen Körper: Nase, Augen, Ohren, Schultern, Ellbogen, Handgelenke, Hüften, Knie und Knöchel. Jedes Label speichert eine x- und y-Koordinate sowie eine Sichtbarkeitsmarkierung: 0 für nicht annotiert, 1 für annotiert, aber verdeckt, und 2 für annotiert und sichtbar. Andere Gruppen decken andere Objekte ab, etwa die 21 Punkte des Datensatzes zu Hand-Keypoints, das 68-Punkte-Schema für Gesichter von 300-W, 24 Punkte pro Hund in Dog-Pose oder die Ecken eines gefertigten Bauteils. Da die Reihenfolge eine Bedeutung hat, muss eine Datenerweiterung, bei der ein Bild horizontal gespiegelt wird, auch jeden linken Keypoint mit seinem rechten Gegenstück vertauschen. Andernfalls behielte ein gespiegeltes linkes Handgelenk das Label des anderen Arms.

So sagen Modelle Keypoints voraus#

Deep-Learning-Modelle sagen Keypoints entweder als Heatmaps voraus – eine Karte pro Keypoint, deren Spitze dessen Position markiert – oder berechnen die Koordinaten direkt aus den Bildmerkmalen. Jede Vorhersage erhält einen Konfidenzwert, der bei Keypoints sinkt, die von einer anderen Person verdeckt, am Bildrand abgeschnitten oder durch Bewegung unscharf sind. So können Anwendungen Punkte mit niedriger Konfidenz ignorieren, statt einer Schätzung zu vertrauen. Vorhersagen werden mit der Objekt-Keypoint-Ähnlichkeit (OKS) bewertet. Diese toleriert bei Keypoints, die Menschen weniger einheitlich markieren, etwa Hüften, größere Fehler als bei präzisen Punkten wie den Augen.

from ultralytics import YOLO

# Load a YOLO26 pose model that predicts the 17 COCO body keypoints per person
model = YOLO("yolo26n-pose.pt")
results = model("https://ultralytics.com/images/bus.jpg")
keypoints = results[0].keypoints

# COCO order: index 0 is the nose, 9 and 10 are the left and right wrists
for index, name in [(0, "nose"), (9, "left wrist"), (10, "right wrist")]:
    x, y = keypoints.xy[0, index].tolist()
    print(f"{name}: ({x:.0f}, {y:.0f}), confidence {keypoints.conf[0, index]:.2f}")

Jede Zeile enthält einen Keypoint der zuerst erkannten Person als Pixelposition und einen Konfidenzwert. keypoints.xyn enthält dieselben Positionen, normalisiert auf die Bildgröße.

Semantische Keypoints im Vergleich zu Interest Points#

Pose-Keypoints sind semantisch: Ein Modell lernt, wie ein linkes Handgelenk aussieht. Interest Points werden von einem Detektor gefunden, statt vorab festgelegt zu sein. SIFT (1999) findet Bereiche, die über verschiedene Maßstäbe und Drehungen hinweg stabil bleiben. ORB (2011) findet Ecken schnell genug für die Echtzeitkartierung, und SuperPoint (2018) lernt, wiederholbar auffindbare Punkte zu erkennen. Ein um jeden Punkt berechneter Deskriptor ermöglicht es Zuordnungsalgorithmen wie LightGlue, denselben Punkt in mehreren Bildern für die Bildregistrierung, 3D-Rekonstruktion und visuelles SLAM zu verknüpfen. Punktverfolgung verfolgt solche Punkte in Videos.

Mit Keypoints messen#

Keypoints machen aus einem Bild Geometrie: Zwei Keypoints ergeben eine Entfernung, drei einen Gelenkwinkel und eine Abfolge über mehrere Frames eine Geschwindigkeit. Die Ultralytics-Lösung zur Trainingsüberwachung zählt auf diese Weise Wiederholungen von Übungen. Standardmäßig misst sie bei jeder verfolgten Person den Winkel am rechten Ellbogen anhand der Keypoints 6, 8 und 10 (rechte Schulter, Ellbogen und Handgelenk) eines YOLO26-Posenmodells:

• Sportanalyse: Gelenkwinkel und Gliedmaßengeschwindigkeiten aus Keypoints beschreiben Frame für Frame einen Golfschwung, den Schritt eines Sprinters oder die Wurfbewegung eines Pitchers.
• Fahrerüberwachung: Augen- und Mund-Landmarks messen, wie lange die Augen geschlossen bleiben und wie oft der Fahrer gähnt – beides Anzeichen für Schläfrigkeit.
• Tierverhalten: DeepLabCut verfolgt benutzerdefinierte Punkte an Versuchstieren, etwa die Position von Pfoten und Schnauze, und erreichte mit etwa 200 annotierten Frames eine Genauigkeit auf menschlichem Niveau.