Die Schätzung von Hand-Keypoints mit Ultralytics YOLO11 verbessern

In letzter Zeit haben die Gebärdensprachdolmetscher beim Super Bowl viel Aufmerksamkeit auf sich gezogen. Wenn du im Fernsehen siehst, wie sie ein Lied deines Lieblingskünstlers in Gebärdensprache übersetzen, kannst du sie verstehen, sofern du die Gebärdensprache beherrschst, denn dein Gehirn verarbeitet ihre Handbewegungen. Doch was wäre, wenn ein Computer dasselbe könnte? Dank KI-gestützter Lösungen zur Handverfolgung können Maschinen Handbewegungen mit beeindruckender Genauigkeit verfolgen und interpretieren.

Im Mittelpunkt dieser Lösungen steht Computer Vision, ein Teilgebiet der KI, das Maschinen das Verarbeiten und Verstehen visueller Informationen ermöglicht. Durch die Analyse von Bildern und Videos hilft visuelle KI Maschinen dabei, Objekte zu erkennen, Bewegungen nachzuverfolgen und komplexe Gesten zu identifizieren.

Computer-Vision-Modelle wie Ultralytics YOLO11 können beispielsweise darauf trainiert werden, Schlüsselpunkte der Hand mithilfe der Pose-Schätzung in Echtzeit zu erkennen und zu analysieren. Dadurch lassen sich diese Modelle für Anwendungen wie die Gestenerkennung, die Übersetzung von Gebärdensprache und AR-/VR-Interaktionen einsetzen.

In diesem Artikel untersuchen wir, wie Ultralytics YOLO11 KI-gestützte Handverfolgung ermöglicht, welche Datensätze zum Training verwendet werden und wie du ein Modell zur Schätzung von Handposen mit eigenen Daten trainieren kannst. Außerdem sehen wir uns reale Anwendungen an.

KI-gestützte Erkennung von Hand-Keypoints verstehen#

KI kann Handbewegungen in visuellen Daten erkennen und nachverfolgen, indem sie Schlüsselpunkte wie Handgelenk, Fingerspitzen und Fingergelenke identifiziert. Ein Ansatz namens Pose-Schätzung hilft Computern, menschliche Bewegungen zu verstehen, indem er Schlüsselpunkte erfasst und ihre Veränderungen im Zeitverlauf analysiert. So können KI-Systeme Körperhaltungen, Gesten und Bewegungsmuster mit hoher Genauigkeit interpretieren.

Computer-Vision-Modelle machen dies möglich, indem sie Bilder oder Videos analysieren, Keypoints auf der Hand identifizieren und deren Bewegung verfolgen. Sobald diese Punkte erfasst sind, kann KI Gesten erkennen, indem sie die räumlichen Beziehungen zwischen den Keypoints und deren Veränderungen im Laufe der Zeit analysiert.

Verringert sich beispielsweise der Abstand zwischen Daumen und Zeigefinger, kann KI dies als Kneifbewegung interpretieren. Ebenso hilft es, komplexe Handgesten zu erkennen und sogar künftige Bewegungen vorherzusagen, wenn verfolgt wird, wie sich Keypoints in einer Abfolge bewegen.

Abb. 1 Beispiel für das Erkennen von Hand-Keypoints mit Computer Vision.

Die Posenschätzung zur Handverfolgung eröffnet interessante Möglichkeiten: von der freihändigen Steuerung intelligenter Geräte über eine präzisere Robotik bis hin zur Unterstützung im Gesundheitswesen. Während sich KI und Computer Vision weiterentwickeln, wird die Handverfolgung im Alltag vermutlich eine größere Rolle dabei spielen, Technologien interaktiver, zugänglicher und intuitiver zu machen.

Ultralytics YOLO11 für die Posenschätzung#

Bevor wir uns damit befassen, wie du eine Lösung für KI-gestützte Handverfolgung entwickelst, sehen wir uns die Posenschätzung und die Unterstützung dieser Computer-Vision-Aufgabe durch Ultralytics YOLO11 genauer an. Anders als bei der herkömmlichen Objekterkennung, bei der ganze Objekte identifiziert werden, konzentriert sich die Posenschätzung auf die Erkennung wichtiger Orientierungspunkte – etwa Gelenke, Gliedmaßen oder Kanten –, um Bewegungen und Körperhaltung zu analysieren.

Ultralytics YOLO11 wurde speziell für die Echtzeit-Schätzung von Körperhaltungen entwickelt. Das Modell erkennt Personen effizient und schätzt in einem Schritt ihre Schlüsselpunkte. Dabei übertrifft es frühere Modelle bei Geschwindigkeit und Genauigkeit.

Ultralytics YOLO11 wird direkt einsatzbereit mit dem COCO-Pose-Datensatz vortrainiert und kann Keypoints am menschlichen Körper erkennen, darunter Kopf, Schultern, Ellbogen, Handgelenke, Hüften, Knie und Knöchel.

Abb. 2 YOLO11 zur Posenschätzung des menschlichen Körpers verwenden.

Neben der Schätzung menschlicher Posen kann Ultralytics YOLO11 mit eigenen Daten zum Erkennen von Schlüsselpunkten trainiert werden – bei einer Vielzahl belebter und unbelebter Objekte. Diese Flexibilität macht YOLO11 zu einer guten Wahl für zahlreiche Anwendungen.

Überblick über den Hand-Keypoints-Datensatz#

Der erste Schritt beim individuellen Trainieren eines Modells besteht darin, Daten zu sammeln und zu annotieren oder einen vorhandenen Datensatz zu finden, der den Anforderungen des Projekts entspricht. Der Hand-Keypoints-Datensatz ist beispielsweise ein guter Ausgangspunkt, um Vision-AI-Modelle für Handverfolgung und Posenschätzung zu trainieren. Mit 26.768 annotierten Bildern macht er eine manuelle Beschriftung überflüssig.

Er lässt sich verwenden, um Modelle wie Ultralytics YOLO11 darin zu trainieren, Handbewegungen schnell zu erkennen und zu verfolgen. Der Datensatz umfasst 21 Keypoints pro Hand und erfasst Handgelenk, Finger und Gelenke. Außerdem wurden die Annotationen des Datensatzes mit Google MediaPipe erstellt, einem Werkzeug zur Entwicklung KI-gestützter Lösungen für die Medienverarbeitung in Echtzeit, wodurch eine präzise und zuverlässige Erkennung der Keypoints gewährleistet ist.

Abb. 3 Die 21 Keypoints im Hand-Keypoints-Datensatz.

Ein strukturierter Datensatz wie dieser spart Zeit und ermöglicht es Entwicklerinnen und Entwicklern, sich auf das Training und die Feinabstimmung ihrer Modelle zu konzentrieren, statt Daten zu sammeln und zu beschriften. Der Datensatz ist bereits in Trainings- (18.776 Bilder) und Validierungsdaten (7.992 Bilder) unterteilt, sodass sich die Modellleistung einfach bewerten lässt.

Ultralytics YOLO11 für die Posenschätzung von Händen trainieren#

YOLO11 für die Schätzung von Handposen zu trainieren, ist unkompliziert, insbesondere mit dem Ultralytics-Python-Paket, das die Einrichtung und das Training des Modells vereinfacht. Da der Hand-Keypoints-Datensatz bereits in der Trainingspipeline unterstützt wird, kannst du ihn ohne zusätzliche Formatierung sofort verwenden und so Zeit und Aufwand sparen.

So läuft das Training ab:

• Umgebung einrichten: Installiere zuerst das Ultralytics-Python-Paket.
• Hand-Keypoints-Datensatz laden: Ultralytics YOLO11 unterstützt diesen Datensatz nativ, sodass er automatisch heruntergeladen und vorbereitet werden kann.
• Verwende ein vortrainiertes Modell: Du kannst mit einem vortrainierten Ultralytics-YOLO11-Modell zur Pose-Schätzung beginnen, um die Genauigkeit zu verbessern und den Trainingsprozess zu beschleunigen.
• Modell trainieren: Das Modell lernt, Hand-Keypoints zu erkennen und zu verfolgen, indem es mehrere Trainingszyklen durchläuft.
• Leistung überwachen: Das Ultralytics-Paket bietet außerdem integrierte Werkzeuge zur Verfolgung wichtiger Kennzahlen wie Genauigkeit und Verlust. So lässt sich sicherstellen, dass sich das Modell im Laufe der Zeit verbessert.
• Speichern und bereitstellen: Nach dem Training kann das Modell exportiert und für Anwendungen zur Handverfolgung in Echtzeit verwendet werden.

Dein individuell trainiertes Modell bewerten#

Wenn du ein individuelles Modell entwickelst, wirst du feststellen, dass die Überwachung der Leistung entscheidend ist. Neben der Verfolgung des Fortschritts während des Trainings ist es wichtig, das Modell anschließend zu bewerten, um sicherzustellen, dass es Hand-Keypoints präzise erkennt und verfolgt.

Wichtige Leistungskennzahlen wie Genauigkeit, Verlustwerte und mittlere durchschnittliche Präzision (mAP) helfen dabei, die Modellleistung zu bewerten. Das Ultralytics-Python-Paket bietet integrierte Werkzeuge zur Visualisierung der Ergebnisse und zum Vergleich von Vorhersagen mit echten Annotationen. So lassen sich Verbesserungsmöglichkeiten leichter erkennen.

Um die Leistung des Modells besser zu verstehen, kannst du Auswertungsdiagramme wie Verlustkurven, Präzisions-Recall-Diagramme und Konfusionsmatrizen prüfen, die automatisch in den Trainingsprotokollen erstellt werden.

Diese Diagramme helfen dabei, Probleme wie Overfitting (wenn sich das Modell die Trainingsdaten einprägt, aber mit neuen Daten Schwierigkeiten hat) oder Underfitting (wenn das Modell Muster nicht ausreichend lernt, um präzise Ergebnisse zu erzielen) zu erkennen und Anpassungen zur Verbesserung der Genauigkeit vorzunehmen. Außerdem ist es wichtig, das Modell mit neuen Bildern oder Videos zu testen, um zu sehen, wie gut es in realen Situationen funktioniert.

Anwendungen KI-gestützter Lösungen zur Handverfolgung#

Sehen wir uns nun einige der wirkungsvollsten Anwendungen der Hand-Keypoint-Schätzung mit Ultralytics YOLO11 an.

Gestenerkennung in Echtzeit mit Ultralytics YOLO11#

Stell dir vor, du könntest die Lautstärke deines Fernsehers einfach durch eine Handbewegung anpassen oder ein Smart-Home-System mit einer einfachen Bewegung in der Luft steuern. Die von Ultralytics YOLO11 ermöglichte Gestenerkennung in Echtzeit macht diese berührungslose Interaktion möglich, indem sie Handbewegungen präzise in Echtzeit erkennt.

Dabei kommen KI-Kameras zum Einsatz, die Schlüsselpunkte deiner Hand nachverfolgen und Gesten als Befehle interpretieren. Tiefenkameras, Infrarotsensoren oder sogar normale Webcams erfassen Handbewegungen, während Ultralytics YOLO11 die Daten verarbeiten und verschiedene Gesten erkennen kann. So kann ein solches System beispielsweise zwischen einer Wischbewegung zum Wechseln eines Liedes, einer Pinch-Geste zum Vergrößern und einer Kreisbewegung zum Anpassen der Lautstärke unterscheiden.

KI-gestützte Erkennung von Hand-Keypoints für die Gebärdenspracherkennung#

KI-Lösungen zur Handverfolgung können die Kommunikation zwischen gehörlosen Personen und Menschen unterstützen, die keine Gebärdensprache beherrschen. Mit Kameras und Ultralytics YOLO11 ausgestattete intelligente Geräte können beispielsweise Gebärdensprache sofort in Text oder Sprache übersetzen.

Dank Fortschritten wie Ultralytics YOLO11 werden Werkzeuge zur Gebärdensprachübersetzung immer genauer und zugänglicher. Das wirkt sich auf Anwendungen wie assistive Technologien, Live-Übersetzungsdienste und Bildungsplattformen aus. KI kann helfen, Kommunikationsbarrieren zu überwinden und Inklusion am Arbeitsplatz, in Schulen und im öffentlichen Raum zu fördern.

Computer Vision für die Handverfolgung: bessere AR- und VR-Erlebnisse#

Hast du schon einmal ein Spiel in virtueller Realität (VR) gespielt, in dem du Gegenstände ohne Controller greifen konntest? Die durch Computer Vision ermöglichte Handverfolgung macht dies möglich, indem sie natürliche Interaktionen in Umgebungen mit erweiterter Realität (AR) und VR ermöglicht.

Abb. 4 Handverfolgung ist ein wichtiger Bestandteil von AR- und VR-Anwendungen.

Mithilfe der Schätzung von Handschlüsselpunkten mit Modellen wie Ultralytics YOLO11 verfolgt KI Bewegungen in Echtzeit und ermöglicht Gesten wie Kneifen, Greifen und Wischen. Das verbessert Spiele, virtuelles Training und die Zusammenarbeit aus der Ferne und macht die Interaktion intuitiver. Mit der Weiterentwicklung der Handverfolgung werden AR und VR noch immersiver und realistischer wirken.

Die wichtigsten Erkenntnisse#

Die Schätzung von Hand-Keypoints mit Ultralytics YOLO11 macht KI-gestützte Lösungen zur Handverfolgung zugänglicher und zuverlässiger. Von der Gestenerkennung in Echtzeit über die Interpretation von Gebärdensprache bis hin zu AR/VR-Anwendungen eröffnet Computer Vision neue Möglichkeiten für die Mensch-Computer-Interaktion.

Zudem helfen vereinfachte Abläufe für individuelles Training und Feinabstimmung Entwicklerinnen und Entwicklern, effiziente Modelle für verschiedene Anwendungsfälle in der Praxis zu erstellen. Mit der Weiterentwicklung der Computer-Vision-Technologie erwarten uns weitere Innovationen in Bereichen wie Gesundheitswesen, Robotik, Spiele und Sicherheit.

Tausche dich mit unserer Community aus und verfolge die Fortschritte im Bereich KI in unserem GitHub-Repository. Entdecke anhand unserer Lösungsseiten die Bedeutung von KI in der Fertigung und Computer Vision im Gesundheitswesen. Sieh dir unsere Lizenzmodelle an und starte noch heute deine KI-Reise!