Verbesserung der Schätzung von Hand-Keypoints mit Ultralytics YOLO11

In letzter Zeit haben die Gebärdensprachdolmetscher beim Super Bowl viel Aufmerksamkeit erregt. Wenn du ihnen im Fernsehen dabei zusiehst, wie sie das Lied deines Lieblingskünstlers übersetzen, kannst du sie verstehen, falls du Gebärdensprache beherrschst, da dein Gehirn ihre Handbewegungen verarbeitet. Aber was, wenn ein Computer das Gleiche könnte? Dank KI-gestützter Hand-Tracking-Lösungen ist es Maschinen möglich, Handbewegungen mit beeindruckender Genauigkeit zu verfolgen und zu interpretieren.

Im Zentrum dieser Lösungen steht Computer Vision, ein Teilbereich der KI, der es Maschinen ermöglicht, visuelle Informationen zu verarbeiten und zu verstehen. Durch die Analyse von Bildern und Videos hilft Vision AI dabei, Objekte zu erkennen, Bewegungen zu verfolgen und komplexe Gesten mit bemerkenswerter Genauigkeit zu erkennen.

Beispielsweise können Computer-Vision-Modelle wie Ultralytics YOLO11 trainiert werden, um Hand-Keypoints in Echtzeit mithilfe von Pose Estimation zu erkennen und zu analysieren. Auf diese Weise können diese Modelle für Anwendungen wie Gestenerkennung, Gebärdensprachübersetzung und AR/VR-Interaktionen eingesetzt werden.

In diesem Artikel untersuchen wir, wie Ultralytics YOLO11 KI-basiertes Hand-Tracking ermöglicht, welche Datensätze für das Training verwendet werden und wie du ein Modell für die Hand-Pose-Schätzung custom-train kannst. Wir werfen außerdem einen Blick auf reale Anwendungsfälle. Fangen wir an!

Verständnis der KI-basierten Hand-Keypoint-Erkennung#

KI kann verwendet werden, um Handbewegungen in visuellen Daten zu erkennen und zu verfolgen, indem Keypoints wie Handgelenk, Fingerspitzen und Fingergelenke identifiziert werden. Ein Ansatz, der als Pose Estimation bekannt ist, hilft Computern, menschliche Bewegungen zu verstehen, indem er Keypoints abbildet und analysiert, wie sie sich im Laufe der Zeit verändern. Dies ermöglicht es KI-Systemen, Körperhaltung, Gesten und Bewegungsmuster mit hoher Genauigkeit zu interpretieren.

Computer-Vision-Modelle machen dies möglich, indem sie Bilder oder Videos analysieren, um Keypoints an der Hand zu identifizieren und ihre Bewegung zu verfolgen. Sobald diese Punkte zugeordnet sind, kann die KI Gesten erkennen, indem sie die räumlichen Beziehungen zwischen den Keypoints und deren Veränderung im Laufe der Zeit analysiert.

Wenn beispielsweise der Abstand zwischen Daumen und Zeigefinger abnimmt, kann die KI dies als Greifbewegung interpretieren. Ähnlich hilft das Verfolgen von Schlüsselpunktsequenzen dabei, komplexe Handgesten zu identifizieren und sogar zukünftige Bewegungen vorherzusagen.

Abb. 1. Ein Beispiel für das Erkennen der Keypoints in einer Hand mit Computer Vision.

Interessanterweise hat die Pose Estimation für das Hand-Tracking spannende Möglichkeiten eröffnet, von der berührungslosen Steuerung intelligenter Geräte bis hin zu verbesserter Robotikpräzision und Unterstützung im Gesundheitswesen. Da KI und Computer Vision sich ständig weiterentwickeln, wird Hand-Tracking voraussichtlich eine größere Rolle dabei spielen, Technologie interaktiver, zugänglicher und intuitiver im Alltag zu machen.

Erkundung von Ultralytics YOLO11 für die Pose-Schätzung#

Bevor wir uns damit befassen, wie du eine Lösung für KI-basiertes Hand-Tracking entwickelst, schauen wir uns die Pose-Schätzung genauer an und wie Ultralytics YOLO11 diese computer vision task unterstützt. Im Gegensatz zur standardmäßigen Objekterkennung, die ganze Objekte identifiziert, konzentriert sich die Pose-Schätzung auf die Erkennung von Schlüsselmerkmalen – wie Gelenken, Gliedmaßen oder Kanten –, um Bewegungen und Haltungen zu analysieren.

Insbesondere ist Ultralytics YOLO11 für Pose Estimation in Echtzeit konzipiert. Durch die Nutzung von Top-Down- und Bottom-Up-Methoden erkennt es effizient Personen und schätzt Schlüsselpunkte in einem Schritt, womit es vorherige Modelle in Geschwindigkeit und Genauigkeit übertrifft.

Out of the box ist Ultralytics YOLO11 auf dem COCO-Pose dataset vorab trainiert und kann Keypoints am menschlichen Körper erkennen, einschließlich Kopf, Schultern, Ellbogen, Handgelenken, Hüften, Knien und Knöcheln.

Abb. 2. Verwendung von YOLO11 zur Pose Estimation von Menschen.

Über die menschliche Pose-Schätzung hinaus kann Ultralytics YOLO11 so trainiert werden, dass es Keypoints an einer Vielzahl von Objekten, sowohl belebten als auch unbelebten, erkennt. Diese Flexibilität macht YOLO11 zu einer großartigen Option für ein breites Anwendungsspektrum.

Ein Überblick über den Hand Keypoints Datensatz#

Der erste Schritt beim benutzerdefinierten Training eines Modells besteht darin, Daten zu sammeln und zu annotieren oder einen bestehenden Datensatz zu finden, der den Anforderungen des Projekts entspricht. Beispielsweise ist der Hand Keypoints-Datensatz ein guter Ausgangspunkt für das Training von Vision-AI-Modellen für Hand-Tracking und Pose Estimation. Mit 26.768 annotierten Bildern entfällt die Notwendigkeit einer manuellen Etikettierung.

Er kann dazu verwendet werden, Modelle wie Ultralytics YOLO11 zu trainieren, um schnell zu lernen, wie Handbewegungen erkannt und verfolgt werden. Der Datensatz enthält 21 Schlüsselpunkte pro Hand, die Handgelenk, Finger und Gelenke abdecken. Zudem wurden die Annotationen des Datensatzes mit Google MediaPipe generiert, einem Werkzeug zur Entwicklung von KI-gestützten Lösungen für die Echtzeit-Medienverarbeitung, was eine präzise und zuverlässige Keypoint-Erkennung gewährleistet.

Abb. 3. Die 21 Keypoints im Hand Keypoints-Datensatz.

Die Verwendung eines so strukturierten Datensatzes spart Zeit und ermöglicht es Entwicklern, sich auf das Training und die Feinabstimmung ihrer Modelle zu konzentrieren, anstatt Daten zu sammeln und zu labeln. Tatsächlich ist der Datensatz bereits in Trainings- (18.776 Bilder) und Validierungs- (7.992 Bilder) Teilmengen unterteilt, was die Bewertung der Modellleistung erleichtert.

So trainierst du Ultralytics YOLO11 für die Hand-Pose-Schätzung#

Das Training von YOLO11 für die Hand-Pose-Estimation ist ein unkomplizierter Prozess, insbesondere mit dem Ultralytics Python-Paket, das die Einrichtung und das Training des Modells erleichtert. Da der Hand Keypoints-Datensatz bereits in der Training-Pipeline unterstützt wird, kann er sofort ohne zusätzliche Formatierung verwendet werden, was Zeit und Aufwand spart.

So funktioniert der Trainingsprozess:

• Umgebung einrichten: Der erste Schritt ist die Installation des Ultralytics Python-Pakets.
• Lade den Hand Keypoints dataset: Ultralytics YOLO11 unterstützt dieses Dataset nativ, sodass es automatisch heruntergeladen und vorbereitet werden kann.
• Verwende ein vortrainiertes Modell: Du kannst mit einem vortrainierten Ultralytics YOLO11 Pose-Estimation-Modell beginnen, was dazu beiträgt, die Genauigkeit zu verbessern und den Trainingsprozess zu beschleunigen.
• Modell trainieren: Das Modell lernt, Hand-Keypoints zu erkennen und zu verfolgen, indem es mehrere Trainingszyklen durchläuft.
• Leistung überwachen: Das Ultralytics-Paket bietet zudem integrierte Werkzeuge, um wichtige Kennzahlen wie Genauigkeit und Verlust zu verfolgen, was sicherstellt, dass sich das Modell mit der Zeit verbessert.
• Speichern und bereitstellen: Nach dem Training kann das Modell exportiert und für Echtzeit-Hand-Tracking-Anwendungen verwendet werden.

Dein benutzerdefiniertes Modell bewerten#

Während du die Schritte zur Erstellung eines benutzerdefinierten Modells durchläufst, wirst du merken, dass die Überwachung der Leistung unerlässlich ist. Neben der Fortschrittsverfolgung während des Trainings ist eine anschließende Bewertung des Modells entscheidend, um sicherzustellen, dass es Hand-Keypoints präzise erkennt und verfolgt.

Wichtige Leistungsmetriken wie Genauigkeit, Verlustwerte und Mean Average Precision (mAP) helfen dabei, die Leistung des Modells zu bewerten. Das Ultralytics Python-Paket bietet integrierte Tools, um Ergebnisse zu visualisieren und Vorhersagen mit echten Annotationen zu vergleichen, was es einfacher macht, Bereiche mit Verbesserungspotenzial zu erkennen.

Um die Leistung des Modells besser zu verstehen, kannst du Bewertungsdiagramme wie Verlustkurven, Precision-Recall-Plots und Konfusionsmatrizen überprüfen, die automatisch in den Trainingsprotokollen generiert werden.

Diese Diagramme helfen dabei, Probleme wie Overfitting (wenn das Modell Trainingsdaten auswendig lernt, aber bei neuen Daten Schwierigkeiten hat) oder Underfitting (wenn das Modell Muster nicht gut genug lernt, um präzise zu arbeiten) zu identifizieren und Anpassungen zur Verbesserung der Genauigkeit anzuleiten. Zudem ist das Testen des Modells mit neuen Bildern oder Videos wichtig, um zu sehen, wie es in realen Szenarien funktioniert.

Anwendungen von KI-gestützten Hand-Tracking-Lösungen#

Als Nächstes gehen wir durch einige der wirkungsvollsten Anwendungen der Hand Keypoints Estimation mit Ultralytics YOLO11.

Echtzeit-Gestenerkennung mit Ultralytics YOLO11#

Angenommen, du könntest die Lautstärke deines Fernsehers durch einfaches Winken mit der Hand regeln oder ein Smart-Home-System mit einem einfachen Wisch in der Luft steuern. Echtzeit-Gestenerkennung, angetrieben von Ultralytics YOLO11, macht diese berührungslosen Interaktionen möglich, indem Handbewegungen in Echtzeit präzise erkannt werden.

Dies funktioniert, indem AI cameras verwendet werden, um Keypoints an deiner Hand zu verfolgen und Gesten als Befehle zu interpretieren. Tiefenerfassungskameras, Infrarotsensoren oder sogar gewöhnliche Webcams erfassen Handbewegungen, während Ultralytics YOLO11 die Daten verarbeiten kann, um verschiedene Gesten zu erkennen. Ein solches System kann beispielsweise den Unterschied erkennen zwischen einem Wisch zum Wechseln eines Songs, einem Pinch zum Heranzoomen oder einer kreisförmigen Bewegung zum Einstellen der Lautstärke.

KI-basierte Hand-Keypoint-Erkennung zur Gebärdenspracherkennung#

KI-Lösungen für das Hand-Tracking können eine nahtlose Kommunikation zwischen einer tauben Person und jemandem unterstützen, der keine Gebärdensprache beherrscht. Zum Beispiel können Smart-Geräte, die mit Kameras und Ultralytics YOLO11 integriert sind, verwendet werden, um Gebärdensprache sofort in Text oder Sprache zu übersetzen.

Dank Fortschritten wie Ultralytics YOLO11 werden Tools zur Übersetzung von Gebärdensprache genauer und zugänglicher. Dies wirkt sich auf Anwendungen wie assistive Technologie, Live-Übersetzungsdienste und Bildungsplattformen aus. KI kann dazu beitragen, Kommunikationslücken zu schließen und Inklusion an Arbeitsplätzen, Schulen und in öffentlichen Räumen zu fördern.

Computer Vision für Hand-Tracking: Verbesserung von AR- und VR-Erlebnissen#

Hast du schon einmal ein Virtual-Reality-Spiel (VR) gespielt, bei dem du Objekte greifen konntest, ohne einen Controller zu verwenden? Hand-Tracking auf Basis von Computer Vision macht dies möglich, indem es Benutzern ermöglicht, auf natürliche Weise in Augmented Reality (AR)- und VR-Umgebungen zu interagieren.

Abb. 4. Hand-Tracking ist ein zentraler Bestandteil von AR- und VR-Anwendungen.

Mit der Hand-Keypoint-Schätzung unter Verwendung von Modellen wie Ultralytics YOLO11 verfolgt die KI Bewegungen in Echtzeit und ermöglicht Gesten wie Kneifen, Greifen und Wischen. Dies verbessert Gaming, virtuelle Trainings und Remote-Zusammenarbeit, wodurch Interaktionen intuitiver werden. Mit der Verbesserung der Hand-Tracking-Technologie werden AR und VR noch immersiver und lebensechter wirken.

Wichtige Erkenntnisse#

Die Hand-Keypoint-Schätzung mit Ultralytics YOLO11 macht KI-gestützte Hand-Tracking-Lösungen zugänglicher und zuverlässiger. Von der Gestenerkennung in Echtzeit bis hin zu Gebärdensprachdolmetschen und AR/VR-Anwendungen eröffnet Computer Vision neue Möglichkeiten in der Mensch-Computer-Interaktion.

Darüber hinaus helfen optimierte Prozesse für benutzerdefiniertes Training und Feinabstimmung Entwicklern dabei, effiziente Modelle für verschiedene reale Anwendungen zu erstellen. Während sich die Computer-Vision-Technologie weiterentwickelt, können wir noch mehr Innovationen in Bereichen wie Gesundheitswesen, Robotik, Gaming und Sicherheit erwarten.

Interagiere mit our community und entdecke KI-Fortschritte auf unserem GitHub repository. Entdecke die Auswirkungen von AI in manufacturing und computer vision in healthcare über unsere Lösungsseiten. Erkunde our licensing plans und starte noch heute deine KI-Reise!