Verbesserung der Schätzung von Handschlüsselpunkten mit Ultralytics YOLO11

In letzter Zeit haben die Gebärdensprachdolmetscher beim Super Bowl viel Aufmerksamkeit erhalten. Wenn du sie im Fernsehen das Lied deines Lieblingskünstlers singen siehst, kannst du sie verstehen, wenn du Gebärdensprache beherrschst, weil dein Gehirn ihre Handbewegungen verarbeitet. Aber was wäre, wenn ein Computer dasselbe tun könnte? Dank KI-gestützter Lösungen zur Handverfolgung können Maschinen Handbewegungen mit beeindruckender Genauigkeit verfolgen und interpretieren.

Im Mittelpunkt dieser Lösungen steht Computer Vision, ein Teilgebiet der KI, das Maschinen ermöglicht, visuelle Informationen zu verarbeiten und zu verstehen. Durch die Analyse von Bildern und Videos hilft Computer Vision dabei, Objekte zu erkennen, Bewegungen zu verfolgen und komplexe Gesten mit bemerkenswerter Genauigkeit zu erfassen.

Beispielsweise können Computer-Vision-Modelle wie Ultralytics YOLO11 mithilfe der Posenschätzung darauf trainiert werden, Schlüsselpunkte an Händen in Echtzeit zu erkennen und zu analysieren. Dadurch lassen sich diese Modelle für Anwendungen wie Gestenerkennung, Gebärdensprachübersetzung und Interaktionen in AR/VR einsetzen.

In diesem Artikel sehen wir uns an, wie Ultralytics YOLO11 eine KI-basierte Handverfolgung ermöglicht, welche Datensätze zum Trainieren verwendet werden und wie du ein Modell für die Posenschätzung der Hand individuell trainieren kannst. Außerdem betrachten wir Anwendungen aus der Praxis. Legen wir los!

Erkennung von Handschlüsselpunkten mit KI verstehen#

KI kann verwendet werden, um Handbewegungen in visuellen Daten zu erkennen und zu verfolgen, indem Schlüsselpunkte wie Handgelenk, Fingerspitzen und Fingergelenke identifiziert werden. Ein Ansatz namens Posenschätzung hilft Computern, menschliche Bewegungen zu verstehen, indem Schlüsselpunkte abgebildet und ihre zeitlichen Veränderungen analysiert werden. Dadurch können KI-Systeme Körperhaltungen, Gesten und Bewegungsmuster mit hoher Genauigkeit interpretieren.

Computer-Vision-Modelle machen dies möglich, indem sie Bilder oder Videos analysieren, um Schlüsselpunkte an der Hand zu identifizieren und deren Bewegung zu verfolgen. Sobald diese Punkte abgebildet sind, kann KI Gesten erkennen, indem sie die räumlichen Beziehungen zwischen den Schlüsselpunkten und deren zeitliche Veränderungen analysiert.

Wenn beispielsweise der Abstand zwischen Daumen und Zeigefinger kleiner wird, kann die KI dies als Kneifbewegung interpretieren. Ebenso hilft die Verfolgung der Bewegung von Schlüsselpunkten in Sequenzen dabei, komplexe Handgesten zu erkennen und sogar zukünftige Bewegungen vorherzusagen.

Abb. 1 Ein Beispiel für das Erkennen der Schlüsselpunkte einer Hand mit Computer Vision.

Interessanterweise hat die Posenschätzung für die Handverfolgung spannende Möglichkeiten eröffnet – von der freihändigen Steuerung intelligenter Geräte über höhere Präzision in der Robotik bis hin zur Unterstützung in medizinischen Anwendungen. Während sich KI und Computer Vision weiterentwickeln, wird die Handverfolgung wahrscheinlich eine größere Rolle dabei spielen, Technologie im Alltag interaktiver, zugänglicher und intuitiver zu machen.

Ultralytics YOLO11 für die Posenschätzung erkunden#

Bevor wir uns damit befassen, wie du eine Lösung für die KI-basierte Handverfolgung erstellst, sehen wir uns die Posenschätzung und die Unterstützung dieser Computer-Vision-Aufgabe durch Ultralytics YOLO11 genauer an. Im Gegensatz zur standardmäßigen Objekterkennung, bei der ganze Objekte identifiziert werden, konzentriert sich die Posenschätzung auf die Erkennung wichtiger Orientierungspunkte – etwa Gelenke, Gliedmaßen oder Kanten –, um Bewegung und Körperhaltung zu analysieren.

Ultralytics YOLO11 wurde speziell für die Posenschätzung in Echtzeit entwickelt. Durch die Nutzung von Top-down- und Bottom-up-Methoden erkennt das Modell Personen effizient und schätzt Schlüsselpunkte in einem Schritt. Dabei übertrifft es frühere Modelle in Geschwindigkeit und Genauigkeit.

Ultralytics YOLO11 ist standardmäßig auf dem COCO-Pose-Datensatz vortrainiert und kann Schlüsselpunkte des menschlichen Körpers erkennen, darunter Kopf, Schultern, Ellbogen, Handgelenke, Hüften, Knie und Knöchel.

Abb. 2 Verwendung von YOLO11 für die Posenschätzung des Menschen.

Über die Posenschätzung des Menschen hinaus kann Ultralytics YOLO11 individuell darauf trainiert werden, Schlüsselpunkte an einer Vielzahl von Objekten zu erkennen – sowohl an belebten als auch an unbelebten. Diese Flexibilität macht YOLO11 zu einer ausgezeichneten Option für zahlreiche Anwendungen.

Ein Überblick über den Datensatz „Hand Keypoints“#

Der erste Schritt beim individuellen Trainieren eines Modells besteht darin, Daten zu sammeln und zu annotieren oder einen vorhandenen Datensatz zu finden, der den Anforderungen des Projekts entspricht. Der Datensatz Hand Keypoints ist beispielsweise ein guter Ausgangspunkt für das Trainieren von Computer-Vision-Modellen zur Handverfolgung und Posenschätzung. Mit 26.768 annotierten Bildern entfällt die manuelle Beschriftung.

Er kann verwendet werden, um Modelle wie Ultralytics YOLO11 zu trainieren, damit sie schnell lernen, Handbewegungen zu erkennen und zu verfolgen. Der Datensatz enthält 21 Schlüsselpunkte pro Hand, darunter Handgelenk, Finger und Gelenke. Außerdem wurden die Annotationen des Datensatzes mit Google MediaPipe erstellt, einem Werkzeug zur Entwicklung KI-gestützter Lösungen für die Medienverarbeitung in Echtzeit, wodurch eine präzise und zuverlässige Erkennung der Schlüsselpunkte gewährleistet wird.

Abb. 3 Die 21 Schlüsselpunkte des Datensatzes „Hand Keypoints“.

Ein strukturierter Datensatz wie dieser spart Zeit und ermöglicht es Entwicklern, sich auf das Trainieren und Feinabstimmen ihrer Modelle zu konzentrieren, statt Daten zu sammeln und zu beschriften. Der Datensatz ist bereits in Trainings- (18.776 Bilder) und Validierungs- (7.992 Bilder) Teilmengen aufgeteilt, sodass sich die Modellleistung leicht bewerten lässt.

Ultralytics YOLO11 für die Posenschätzung der Hand trainieren#

Das Trainieren von YOLO11 für die Posenschätzung der Hand ist ein unkomplizierter Prozess, insbesondere mit dem Ultralytics-Python-Paket, das die Einrichtung und das Trainieren des Modells erleichtert. Da der Datensatz „Hand Keypoints“ bereits in der Trainingspipeline unterstützt wird, kann er ohne zusätzliche Formatierung sofort verwendet werden, was Zeit und Aufwand spart.

So funktioniert der Trainingsprozess:

• Umgebung einrichten: Installiere zunächst das Ultralytics-Python-Paket.
• Datensatz „Hand Keypoints“ laden: Ultralytics YOLO11 unterstützt diesen Datensatz nativ, sodass er automatisch heruntergeladen und vorbereitet werden kann.
• Vortrainiertes Modell verwenden: Du kannst mit einem vortrainierten Posenschätzungsmodell von Ultralytics YOLO11 beginnen, das die Genauigkeit verbessert und den Trainingsprozess beschleunigt.
• Modell trainieren: Das Modell lernt, Handschlüsselpunkte zu erkennen und zu verfolgen, indem es mehrere Trainingszyklen durchläuft.
• Leistung überwachen: Das Ultralytics-Paket bietet außerdem integrierte Werkzeuge zur Überwachung wichtiger Kennzahlen wie Genauigkeit und Verlust, damit sichergestellt ist, dass sich das Modell im Laufe der Zeit verbessert.
• Speichern und bereitstellen: Nach dem Training kann das Modell exportiert und für Anwendungen zur Handverfolgung in Echtzeit eingesetzt werden.

Dein individuell trainiertes Modell bewerten#

Wenn du die Schritte zum Erstellen eines individuellen Modells durchgehst, wirst du feststellen, dass die Überwachung der Leistung entscheidend ist. Neben der Fortschrittsverfolgung während des Trainings ist es wichtig, das Modell anschließend zu bewerten, um sicherzustellen, dass es Handschlüsselpunkte korrekt erkennt und verfolgt.

Wichtige Leistungskennzahlen wie Genauigkeit, Verlustwerte und die mittlere durchschnittliche Präzision (mAP) helfen bei der Bewertung der Modellleistung. Das Ultralytics-Python-Paket bietet integrierte Werkzeuge zur Visualisierung der Ergebnisse und zum Vergleich von Vorhersagen mit echten Annotationen, wodurch sich Verbesserungsmöglichkeiten leichter erkennen lassen.

Um die Leistung des Modells besser zu verstehen, kannst du automatisch in den Trainingsprotokollen erstellte Auswertungsdiagramme wie Verlustkurven, Precision-Recall-Diagramme und Konfusionsmatrizen prüfen.

Diese Diagramme helfen dabei, Probleme wie Overfitting (wenn sich das Modell die Trainingsdaten merkt, aber Schwierigkeiten mit neuen Daten hat) oder Underfitting (wenn das Modell Muster nicht ausreichend lernt, um genaue Ergebnisse zu liefern) zu erkennen und Anpassungen zur Verbesserung der Genauigkeit vorzunehmen. Außerdem ist es wichtig, das Modell mit neuen Bildern oder Videos zu testen, um zu sehen, wie gut es in realen Szenarien funktioniert.

Anwendungen KI-gestützter Lösungen zur Handverfolgung#

Sehen wir uns nun einige der wirkungsvollsten Anwendungen der Schlüsselpunktschätzung an Händen mit Ultralytics YOLO11 an.

Gestenerkennung in Echtzeit mit Ultralytics YOLO11#

Stell dir vor, du könntest die Lautstärke deines Fernsehers einfach durch Winken anpassen oder ein Smart-Home-System mit einer simplen Bewegung durch die Luft steuern. Die von Ultralytics YOLO11 unterstützte Gestenerkennung in Echtzeit macht solche berührungslosen Interaktionen möglich, indem sie Handbewegungen präzise in Echtzeit erkennt.

Dies funktioniert mithilfe von KI-Kameras, die Schlüsselpunkte an deiner Hand verfolgen und Gesten als Befehle interpretieren. Kameras zur Tiefenerfassung, Infrarotsensoren oder sogar gewöhnliche Webcams erfassen Handbewegungen, während Ultralytics YOLO11 die Daten verarbeiten kann, um verschiedene Gesten zu erkennen. Ein solches System kann beispielsweise zwischen einer Wischbewegung zum Wechseln eines Liedes, einer Kneifbewegung zum Vergrößern und einer Kreisbewegung zum Anpassen der Lautstärke unterscheiden.

Erkennung von Handschlüsselpunkten mit KI zur Gebärdenspracherkennung#

KI-Lösungen zur Handverfolgung können eine reibungslose Kommunikation zwischen gehörlosen Menschen und Personen unterstützen, die keine Gebärdensprache beherrschen. Beispielsweise können intelligente Geräte mit integrierten Kameras und Ultralytics YOLO11 verwendet werden, um Gebärdensprache sofort in Text oder Sprache zu übersetzen.

Dank Fortschritten wie Ultralytics YOLO11 werden Werkzeuge zur Gebärdensprachübersetzung genauer und zugänglicher. Dies wirkt sich auf Anwendungen wie unterstützende Technologien, Live-Übersetzungsdienste und Bildungsplattformen aus. KI kann helfen, Kommunikationsbarrieren zu überwinden und Inklusion an Arbeitsplätzen, in Schulen und im öffentlichen Raum zu fördern.

Computer Vision für die Handverfolgung: Verbesserte AR- und VR-Erlebnisse#

Hast du schon einmal ein Virtual-Reality-Spiel (VR) gespielt, in dem du Gegenstände ohne Controller greifen konntest? Die durch Computer Vision unterstützte Handverfolgung macht dies möglich, indem sie es Benutzern erlaubt, natürlich in Umgebungen mit erweiterter Realität (AR) und VR zu interagieren.

Abb. 4 Die Handverfolgung ist ein wichtiger Bestandteil von AR- und VR-Anwendungen.

Durch die Schlüsselpunktschätzung an Händen mit Modellen wie Ultralytics YOLO11 verfolgt die KI Bewegungen in Echtzeit und ermöglicht Gesten wie Kneifen, Greifen und Wischen. Dies verbessert Spiele, virtuelles Training und die Zusammenarbeit über große Entfernungen und macht Interaktionen intuitiver. Mit der Weiterentwicklung der Handverfolgungstechnologie werden AR und VR noch immersiver und realistischer wirken.

Wichtige Erkenntnisse#

Die Schlüsselpunktschätzung an Händen mit Ultralytics YOLO11 macht KI-gestützte Lösungen zur Handverfolgung zugänglicher und zuverlässiger. Von der Gestenerkennung in Echtzeit über die Gebärdensprachinterpretation bis hin zu AR/VR-Anwendungen eröffnet Computer Vision neue Möglichkeiten für die Mensch-Computer-Interaktion.

Außerdem helfen optimierte Prozesse für individuelles Training und Feinabstimmung Entwicklern dabei, effiziente Modelle für verschiedene Anwendungen in der Praxis zu erstellen. Mit der Weiterentwicklung der Computer-Vision-Technologie können wir noch mehr Innovationen in Bereichen wie Gesundheitswesen, Robotik, Spieleentwicklung und Sicherheit erwarten.

Engagiere dich in unserer Community und erkunde AI-Fortschritte in unserem GitHub-Repository. Entdecke die Auswirkungen von AI in der Fertigung und Computer Vision im Gesundheitswesen auf unseren Lösungsseiten. Erkunde unsere Lizenzpläne und starte noch heute deine AI-Reise!