Visuelle KI ermöglicht berührungslose Gestenerkennung

Mit der Weiterentwicklung der Technologie verändert sich auch die Art, wie wir mit ihr interagieren. Frühe Maschinen waren auf körperliche Anstrengung und mechanische Bedienelemente angewiesen, während die moderne Informatik Touchscreens und Spracheingabe eingeführt hat.

Nun ist Gestenerkennung ein weiterer Schritt, bei dem natürliche Bewegungen als Benutzerschnittstelle dienen. Eine einfache Handbewegung, eine Pinch-Geste oder ein kurzes Handzeichen kann bereits Apps, Bildschirme und Maschinen steuern.

Diese berührungslose Interaktion lässt sich mit Computer Vision ermöglichen, einem Teilgebiet der KI, das Maschinen hilft, die von einer Kamera erfassten Bilder zu sehen und zu interpretieren. Vision-KI-Systeme können in Smartphones, Virtual-Reality- (VR-) und Augmented-Reality- (AR-)Headsets, Autos und Smart-Home-Geräte integriert werden. Dort können Gesten Tippen, Klicken und Tasten ersetzen und so für eine reibungslosere Benutzererfahrung sorgen.

Berührungslose Steuerung wird im Alltag immer verbreiteter. An Arbeitsplätzen und in gemeinsam genutzten Räumen kann der Verzicht auf direkten Kontakt die Hygiene und Sicherheit verbessern. Auch viele digitale Produkte setzen zunehmend auf freihändige Bedienung. Gesten bieten eine einfache, intuitive Möglichkeit, Geräte zu steuern, ohne sie zu berühren.

In diesem Artikel erfährst du, was Gestenerkennung ist, wie Computer Vision ihre Genauigkeit verbessert und in welchen praktischen Anwendungen sie zum Einsatz kommt.

Was ist Gestenerkennung?#

Gestenerkennung ist eine Sensortechnologie, mit der Maschinen menschliche Gesten wie Handzeichen oder Körperbewegungen verstehen und in digitale Aktionen umwandeln können. Statt auf einen Bildschirm zu tippen oder Tasten zu drücken, können Nutzer Geräte mit einfachen, natürlichen Bewegungen steuern.

Dadurch fühlt sich die Interaktion intuitiver an. Deshalb kommt gestenbasierte Eingabe in vielen Steuerungssystemen für maschinelles Lernen und KI zum Einsatz. Die Erkennung von Handgesten ist eine der am weitesten verbreiteten Formen der Gestenerkennung und stützt sich häufig auf Computer Vision.

Einfach gesagt kann eine Vision-KI-Lösung Hände im Kamerabild erkennen, ihre Bewegungen oder Formveränderungen verfolgen und diese Muster einer bekannten Geste zuordnen, um eine Aktion auf dem Bildschirm auszulösen.

Ein zentraler Bestandteil dieser Lösungen ist ein Computer-Vision-Modell, das mit Datensätzen aus gekennzeichneten Bildern oder Videos verschiedener Handgesten trainiert wird. Mit vielfältigen Trainingsdaten und sorgfältiger Auswertung kann das Modell besser auf unterschiedliche Nutzer, Lichtverhältnisse und Hintergründe verallgemeinern und Gesten dadurch in realen Umgebungen zuverlässiger erkennen.

Abb. 1. Daten zum Trainieren eines Computer-Vision-Modells für die Erkennung von Gesten-Schlüsselpunkten (Quelle)

Verschiedene Gestenarten und die Mensch-Computer-Interaktion#

Bevor wir uns genauer ansehen, welche Rolle Computer Vision bei der Gestenerkennung spielt, werfen wir zunächst einen Blick auf die Gestenarten, die diese Systeme typischerweise erkennen.

In den meisten Fällen lassen sich Gesten in zwei Kategorien einteilen: statische und dynamische. Statische Gesten sind feste Handhaltungen, etwa ein nach oben gereckter Daumen, ein Stoppsignal oder ein Friedenszeichen. Da sie keine Bewegung umfassen, lassen sie sich häufig anhand eines einzelnen Bildes erkennen.

Dynamische Gesten umfassen hingegen Bewegungen über einen bestimmten Zeitraum, etwa Winken oder eine Wischbewegung in der Luft. Um sie zu erkennen, muss ein Vision-KI-System mehrere Bilder analysieren, damit es die Handbewegung verfolgen und Richtung sowie zeitlichen Ablauf der Geste erfassen kann.

Die Rolle von Computer-Vision-Algorithmen bei der Gestenerkennung#

Gestenerkennungssysteme lassen sich auf unterschiedliche Weise entwickeln. Manche Systeme verwenden tragbare Sensoren wie Handschuhe oder am Handgelenk befestigte Tracker, um Handbewegungen zu erfassen.

Diese Systeme können genau sein, sind aber nicht immer praktisch. Tragbare Geräte müssen angezogen, eingerichtet, geladen und gewartet werden. In gemeinsam genutzten Räumen oder im täglichen Gebrauch können sie außerdem einschränkend wirken.

Deshalb setzen viele moderne Systeme stattdessen auf Computer Vision. Mit herkömmlichen RGB-Kameras und Tiefen- oder Laufzeitsensoren können Geräte Hand- und Körperbewegungen in Echtzeit erfassen, ohne dass Nutzerinnen und Nutzer zusätzliche Geräte tragen müssen. Dadurch eignet sich die gestenbasierte Steuerung mit Bildverarbeitung besonders gut für Smartphones, Autos, Smart-TVs sowie AR- und VR-Headsets.

Computer-Vision-Modelle wie Ultralytics YOLO11 und das neuere Ultralytics YOLO26 unterstützen beispielsweise Aufgaben wie Objekterkennung, Objektverfolgung und Pose Estimation. Mit diesen Funktionen lassen sich Hände in jedem Bild erkennen, ihre Bewegungen im Zeitverlauf verfolgen und Schlüsselpunkte wie Fingerspitzen und Gelenke zuordnen. So können Gesten erkannt werden, etwa eine erhobene Handfläche zum Pausieren, eine Kneifbewegung zum Zoomen, ein Wischen zum Navigieren in Menüs oder eine Zeigegeste zum Auswählen eines Elements in AR und VR.

Computer-Vision-Aufgaben zur Erkennung von Mensch-Maschine-Interaktionen#

Hier findest du einen Überblick über einige wichtige Computer-Vision-Aufgaben, die bei der Gestenerkennung zum Einsatz kommen:

• Objekterkennung: Mit dieser Aufgabe werden Hände in einem Bild oder Videobild lokalisiert, meist indem Begrenzungsrahmen um sie gezeichnet werden. So kann sich das System auf den Gestenbereich konzentrieren und unwichtige Hintergrunddetails ignorieren.
• Objektverfolgung: Aufbauend auf der Objekterkennung verfolgt diese Aufgabe erkannte Hände über mehrere Bilder hinweg und hält ihre Identität im Zeitverlauf fest. Das ist besonders bei dynamischen Gesten hilfreich, bei denen Bewegung und Richtung entscheidend sind.
• Pose Estimation: Statt sich auf Begrenzungsrahmen zu konzentrieren, ermittelt Pose Estimation Schlüsselpunkte an der Hand, etwa Fingerspitzen, Knöchel und Handgelenk. Diese Orientierungspunkte bilden ein einfaches Handskelett ab, das Fingerpositionen und feine Bewegungen erfasst und so eine detailliertere Gestenklassifizierung ermöglicht. Datensätze wie Hand Keypoints enthalten beschriftete Handorientierungspunkte für das Training.
• Instanzsegmentierung: Bei dieser Aufgabe wird jede Hand auf Pixelebene vom Hintergrund getrennt, indem für jede sichtbare Hand eine Maske erzeugt wird. Das ist in unübersichtlichen Szenen, bei überlappenden Händen oder bei mehreren Händen im Bild hilfreich.

Viele Vision-KI-Lösungen kombinieren diese Aufgaben in einer einzigen Verarbeitungskette. Ein System könnte beispielsweise zunächst mit Objekterkennung die Hände finden und sie dann mithilfe der Objektverfolgung über mehrere Bilder hinweg verfolgen, um dynamische Gesten zu erkennen.

Hängt die Geste von der Fingerstellung ab, kann die Posenschätzung zusätzliche Schlüsselpunkte für mehr Details liefern. In unübersichtlichen Szenen oder bei überlappenden Händen kann die Instanzsegmentierung jede Hand genauer abgrenzen. Zusammen liefern diese Schritte Informationen zu Position und Bewegung und machen die Gestenerkennung dadurch genauer und zuverlässiger.

So funktioniert die gestenbasierte Erkennung mit Computer Vision#

Nachdem wir nun die Computer-Vision-Aufgaben hinter der Gestenerkennung besser kennen, sehen wir uns Schritt für Schritt an, wie ein auf Computer Vision basierendes System funktioniert.

Ein typisches System beginnt mit der Videoaufnahme über eine Kamera, gegebenenfalls ergänzt durch Tiefendaten, sofern das Gerät diese unterstützt. Anschließend werden die Bilder mithilfe der Bildverarbeitung vorverarbeitet, damit das Modell sie einheitlicher verarbeiten kann. Dazu gehören etwa das Ändern der Größe, die Stabilisierung sowie die Verringerung von Rauschen und Bewegungsunschärfe.

Anschließend ermittelt das System Hände im Bild mithilfe von Erkennung oder Segmentierung und verfolgt sie im Zeitverlauf. Benötigt die Anwendung genauere Details, kann sie zusätzlich Pose Estimation ausführen, um Schlüsselpunkte wie Fingerspitzen und Gelenke zu extrahieren. Anhand dieser Informationen klassifiziert das Modell die Geste, ob es sich nun um eine Pose in einem einzelnen Bild wie einen Daumen nach oben oder ein Bewegungsmuster wie ein Wischen handelt.

Abschließend wird die erkannte Geste einer Aktion in der Benutzeroberfläche zugeordnet, etwa Scrollen, Vergrößern, Auswählen eines Elements, Anpassen der Lautstärke oder Steuern von AR- und VR-Interaktionen. Die genaue Verarbeitungskette kann variieren: Einfache Anwendungen verwenden weniger Schritte, während komplexere Anwendungen Erkennung, Verfolgung und Posenschätzung für höhere Genauigkeit kombinieren.

Anwendungsbereiche der gestenbasierten Erkennung mit Computer Vision#

Sehen wir uns nun einige praktische Anwendungen der gestenbasierten Steuerung mit Bildverarbeitung an.

Gestensteuerung von Infotainmentsystemen im Auto#

Gestenerkennung findet zunehmend Eingang in die Benutzeroberflächen moderner Fahrzeuge, insbesondere in Infotainmentsysteme. Sie ermöglicht es, bestimmte Funktionen bequem mit einfachen Handbewegungen zu steuern. Dadurch müssen Fahrer seltener nach Touchscreens oder physischen Tasten greifen. Mit einer kurzen Geste lassen sich beispielsweise die Lautstärke anpassen, Anrufe verwalten oder Bildschirmmenüs durchblättern.

Abb. 2. Ein Fahrer führt Handgesten im Erfassungsbereich eines Infotainmentsystems aus (Quelle)

Gestengesteuerte Interaktionen beim Spielen#

Beim Spielen und in immersiven Erlebnissen verändert die gestenbasierte Steuerung die Interaktion mit virtuellen Welten. Statt sich ausschließlich auf Controller oder Joysticks zu verlassen, können Spieler mit natürlichen Handbewegungen Menüs durchblättern, virtuelle Objekte aufnehmen, Figuren steuern oder Aktionen im Spiel auslösen.

Abb. 3. Spielen mit Handgesten (Quelle).

Diese berührungslose Interaktion kann sich besonders in AR und VR flüssiger anfühlen. Daher werden Handverfolgung und Gestensteuerung zunehmend zu gängigen Funktionen in VR- und Mixed-Reality-Headsets.

Reibungslose Gestensteuerung für Smart-Home-Geräte#

Smart-Home-Geräte wie Smart-TVs, Lautsprecher und vernetzte Leuchten unterstützen zunehmend die Gestensteuerung, um schnelle Aktionen ohne Berührung zu ermöglichen. Mit einer einfachen Handbewegung können Nutzer das Licht einschalten, die Lautstärke anpassen oder grundlegende Befehle auslösen, ohne nach Schaltern oder Fernbedienungen greifen zu müssen.

So können in Heimkinosystemen integrierte oder angeschlossene Tiefenkameras beispielsweise Gesten wie Wischen, Zeigen oder das Heben einer Hand erkennen. Dadurch lassen sich Menüs leichter durchstöbern, Einstellungen ändern oder Auswahlen von der anderen Seite des Raums bestätigen. Im Hintergrund verarbeiten Computer-Vision-Modelle das Kamerabild in Echtzeit, um diese Gesten zu erkennen und zu interpretieren.

KI-gestützte Gestensteuerung in der Robotik#

Stell dir eine Situation in einer Fabrik vor, in der ein Mitarbeiter einen Roboter steuern muss, während er Teile trägt, Handschuhe anhat oder in sicherer Entfernung zu beweglichen Anlagen steht. Unter diesen Bedingungen kann der Griff zu Tasten oder einem Bedienfeld umständlich oder sogar gefährlich sein.

Gestenbasierte Steuerungssysteme bieten dagegen eine praktischere Möglichkeit, diese Maschinen freihändig zu bedienen. Das ist besonders für kollaborative Roboter, sogenannte Cobots, nützlich, die für die Zusammenarbeit mit Menschen entwickelt wurden.

Statt zum Bedienfeld zu gehen, können Bediener mit einfachen Handzeichen einen Roboter aus der Entfernung starten, anhalten oder steuern. So sind sie weniger auf physische Bedienelemente angewiesen, und die Arbeitsabläufe in der Fertigung können sicherer werden.

Fortschrittliche, bildverarbeitungsbasierte Steuerungssysteme, die auf Deep-Learning-Modellen oder Lernalgorithmen beruhen, können auch über einfache Befehle hinausgehen. Sie können feinere Handbewegungen interpretieren und fließend auf kleine Richtungsänderungen reagieren, wodurch eine präzisere Steuerung und Automatisierung möglich wird.

Abb. 4. Eine Roboterhand analysiert die Geste eines Nutzers (Quelle)

Vor- und Nachteile der Gestenerkennungstechnologie#

Hier sind einige wichtige Vorteile der Gestenerkennungstechnologie:

• Bessere Barrierefreiheit: Gesten können eine Alternative für Nutzer bieten, denen die Bedienung von Tastaturen, Touchscreens oder Controllern schwerfällt.
• Funktioniert auch aus der Entfernung: Gesten lassen sich von der anderen Seite eines Raums erkennen. Das ist für Smart-TVs, Kioske und Geräte im Haushalt hilfreich.
• Flexibel auf verschiedenen Geräten einsetzbar: Ähnliche Gestensätze können auf Smartphones, in Autos, auf Smart-Displays sowie mit AR- oder VR-Headsets funktionieren und sorgen so für eine einheitliche Bedienung.

Gleichzeitig gibt es einige praktische Herausforderungen, die sich auf Genauigkeit und Zuverlässigkeit auswirken können. Hier sind einige Faktoren, die du beachten solltest:

• Probleme mit Beleuchtung und Kameraqualität: Schlechte Lichtverhältnisse, Blendung, Schatten oder Kameras mit niedriger Auflösung können die Erkennungsleistung beeinträchtigen. Dies kann sich wiederum auf die Bewegungssteuerung auswirken.
• Unterschiede zwischen Nutzern: Menschen führen Gesten auf natürliche Weise unterschiedlich aus. Auch Unterschiede bei Handgröße, Fingerbeweglichkeit oder Accessoires können sich auf die Genauigkeit auswirken.
• Einschränkungen bei schnellen Bewegungen: Schnelle Gesten können Bewegungsunschärfe verursachen oder dazu führen, dass das Modell wichtige Bilder übersieht, insbesondere bei Kameras mit niedriger Bildrate.

Die wichtigsten Erkenntnisse#

Die Gestenerkennung hat die Forschungslabore hinter sich gelassen und ist inzwischen Bestandteil alltäglicher Geräte und Innovationen. Insbesondere ermöglicht Computer Vision eine berührungslose Steuerung in den Bereichen Gaming, Robotik, Smart Homes und Fahrzeugsysteme. Mit der Verbesserung von Bildverarbeitungsmodellen lassen sich diese berührungslosen Schnittstellen wahrscheinlich einfacher entwickeln und werden zunehmend verbreitet sein.

Besuche unsere Community und unser GitHub-Repository, um mehr über Computer-Vision-Modelle zu erfahren. Auf unseren Lösungsseiten findest du Anwendungen wie Computer Vision in der Robotik und Computer Vision in der Logistik. Informiere dich über unsere Lizenzoptionen und beginne mit der Entwicklung deines eigenen Vision-KI-Modells.