Vision-KI ermöglicht berührungslose Gestenerkennung

Mit der Weiterentwicklung der Technologie verändert sich auch die Art und Weise, wie wir mit ihr interagieren. Frühe Maschinen waren auf körperliche Anstrengung und mechanische Bedienelemente angewiesen, während die moderne Informatik Touchscreens und Spracheingabe eingeführt hat.

Die Gestenerkennung ist nun Teil des nächsten Entwicklungsschritts und verwendet natürliche Bewegungen als Benutzeroberfläche. Ein einfaches Winken, eine Pinch-Geste oder ein schnelles Handzeichen kann bereits Apps, Bildschirme und Maschinen steuern.

Diese berührungslose Interaktion kann durch Computer Vision ermöglicht werden, einen Bereich der KI, der Maschinen dabei hilft, zu erkennen und zu interpretieren, was eine Kamera aufnimmt. Vision-AI-Systeme können in Smartphones, Headsets für virtuelle Realität (VR) und erweiterte Realität (AR), Autos und Smart-Home-Geräte integriert werden, wo Gesten Tippen, Klicken und Tasten ersetzen können und so für eine reibungslosere Benutzererfahrung sorgen.

Berührungslose Steuerung wird im Alltag immer häufiger eingesetzt. An Arbeitsplätzen und in gemeinsam genutzten Bereichen kann die Vermeidung von Körperkontakt Hygiene und Sicherheit verbessern. Auch viele digitale Produkte entwickeln sich hin zu einer freihändigen Interaktion, und Gesten bieten eine einfache, intuitive Möglichkeit, Geräte zu steuern, ohne sie zu berühren.

In diesem Artikel erfährst du, was Gestenerkennung ist, wie Computer Vision sie präziser macht und wo sie in Anwendungen aus der Praxis eingesetzt wird. Legen wir los!

Was ist Gestenerkennung?#

Gestenerkennung ist eine Sensortechnologie, mit der Maschinen menschliche Gesten wie Handzeichen oder Körperbewegungen verstehen und in digitale Aktionen umwandeln können. Statt auf einen Bildschirm zu tippen oder Tasten zu drücken, können Benutzer Geräte durch einfache, natürliche Bewegungen steuern.

Dadurch wirken Interaktionen intuitiver. Deshalb wird die gestenbasierte Eingabe in vielen Steuerungssystemen für maschinelles Lernen und KI zunehmend eingesetzt. Insbesondere die Erkennung von Handgesten ist eine der am weitesten verbreiteten Formen der Gestenerkennung und basiert häufig auf Computer Vision.

Vereinfacht gesagt kann eine Vision-AI-Lösung Hände in einem Kamerabild erkennen, verfolgen, wie sie sich bewegen oder ihre Form verändern, und diese Muster einer bekannten Geste zuordnen, um eine Aktion auf dem Bildschirm auszulösen.

Ein zentraler Bestandteil dieser Lösungen ist ein Computer-Vision-Modell, das mit Datensätzen aus gekennzeichneten Bildern oder Videos verschiedener Handgesten trainiert wird. Durch vielfältige Trainingsdaten und eine sorgfältige Bewertung kann das Modell besser auf unterschiedliche Benutzer, Lichtverhältnisse und Hintergründe verallgemeinern und Gesten dadurch in realen Umgebungen zuverlässiger erkennen.

Abb. 1. Daten zum Trainieren eines Computer-Vision-Modells zur Erkennung von Schlüsselpunkten von Gesten (Quelle)

Verschiedene Gestentypen und die Mensch-Computer-Interaktion#

Bevor wir uns genauer mit der Rolle von Computer Vision bei der Gestenerkennung befassen, betrachten wir zunächst die Arten von Gesten, die diese Systeme typischerweise erkennen.

In den meisten Fällen lassen sich Gesten in zwei Kategorien einteilen: statische und dynamische. Statische Gesten sind unveränderte Handhaltungen, etwa ein Daumen hoch, ein Stoppsignal oder ein Siegeszeichen. Da sie keine Bewegung umfassen, können sie häufig anhand eines einzelnen Bildes erkannt werden.

Dynamische Gesten umfassen dagegen Bewegungen über einen bestimmten Zeitraum, etwa Winken oder Wischen in der Luft. Um sie zu erkennen, muss ein Vision-AI-System mehrere Bilder analysieren, damit es verfolgen kann, wie sich die Hand bewegt, und Richtung sowie zeitlichen Ablauf der Geste verstehen kann.

Die Rolle von Computer-Vision-Algorithmen bei der Gestenerkennung#

Gestenerkennungssysteme können auf unterschiedliche Weise realisiert werden. Einige Systeme zur Eingabemethode verwenden tragbare Sensoren, etwa Handschuhe oder am Handgelenk befestigte Tracker, um Handbewegungen zu erfassen.

Solche Lösungen können präzise sein, sind aber nicht immer praktisch. Tragbare Geräte müssen getragen, eingerichtet, geladen und gewartet werden und können in gemeinsam genutzten Bereichen oder bei täglicher Verwendung als einschränkend empfunden werden.

Deshalb setzen viele hochmoderne Systeme stattdessen auf Computer Vision. Mit herkömmlichen RGB-Kameras sowie Tiefen- oder Laufzeitsensoren können Geräte Hand- und Körperbewegungen in Echtzeit erfassen, ohne dass Benutzer zusätzliche Geräte tragen müssen. Dadurch eignet sich die visionsbasierte Gestenerkennung besonders gut für Smartphones, Autos, Smart-TVs sowie AR- und VR-Headsets.

Computer-Vision-Modelle wie Ultralytics YOLO11 und das kommende Ultralytics YOLO26 unterstützen beispielsweise Aufgaben wie Objekterkennung, Objektverfolgung und Posenschätzung. Diese Fähigkeiten können eingesetzt werden, um Hände in jedem Bild zu erkennen, ihre Bewegung über die Zeit zu verfolgen und Schlüsselpunkte wie Fingerspitzen und Gelenke zuzuordnen. Dadurch lassen sich Gesten wie eine erhobene Handfläche zum Pausieren, eine Pinch-Geste zum Zoomen, ein Wischen zur Navigation durch Menüs oder eine Zeigegeste zur Auswahl eines Elements in AR und VR erkennen.

Computer-Vision-Aufgaben zur Erkennung der Mensch-Maschine-Interaktion#

Hier findest du einen Überblick über einige der wichtigsten Computer-Vision-Aufgaben, die bei der Gestenerkennung eingesetzt werden:

• Objekterkennung: Mit dieser Aufgabe werden Hände in einem Bild oder Videobild lokalisiert, meist durch das Zeichnen von Begrenzungsrahmen um sie herum. Dadurch kann sich das System auf den Gestenbereich konzentrieren und unnötige Hintergrunddetails ignorieren.
• Objektverfolgung: Aufbauend auf der Objekterkennung verfolgt diese Aufgabe erkannte Hände über mehrere Bilder hinweg und bewahrt ihre Identität im Zeitverlauf. Sie ist besonders für dynamische Gesten nützlich, bei denen Bewegung und Richtung entscheidend sind.
• Posenschätzung: Statt sich auf Begrenzungsrahmen zu konzentrieren, identifiziert die Posenschätzung Schlüsselpunkte an der Hand, etwa Fingerspitzen, Knöchel und Handgelenk. Diese Orientierungspunkte bilden ein einfaches Handskelett, das Fingerpositionen und subtile Bewegungen erfasst und dadurch eine detailliertere Gestenklassifizierung ermöglicht.
• Instanzsegmentierung: Diese Aufgabe trennt jede Hand auf Pixelebene vom Hintergrund, indem für jede sichtbare Hand eine Maske erzeugt wird. Sie ist hilfreich in unübersichtlichen Szenen, bei sich überlappenden Händen oder wenn mehrere Hände im Bild erscheinen.

Viele Vision-AI-Lösungen verwenden diese Aufgaben gemeinsam als Teil einer einzigen Verarbeitungskette. Ein System könnte beispielsweise mit der Objekterkennung beginnen, um die Hände zu finden, und anschließend die Verfolgung einsetzen, um sie bei dynamischen Gesten über mehrere Bilder hinweg zu verfolgen.

Wenn die Geste von der Fingerposition abhängt, kann die Posenschätzung für zusätzliche Schlüsselpunkte und dadurch für mehr Detailgenauigkeit sorgen, während die Instanzsegmentierung dabei helfen kann, jede Hand in unübersichtlichen Szenen oder bei überlappenden Händen präziser abzugrenzen. Zusammen liefern diese Schritte sowohl Informationen zu Position als auch Bewegung und machen die Gestenerkennung genauer und zuverlässiger.

So funktioniert visionsbasierte Gestenerkennung#

Nachdem wir nun die Computer-Vision-Aufgaben hinter der Gestenerkennung besser verstehen, betrachten wir Schritt für Schritt, wie ein visionsbasiertes System funktioniert.

Ein typisches System beginnt mit der Aufnahme von Videodaten durch eine Kamera, gegebenenfalls zusammen mit Tiefendaten, sofern das Gerät diese unterstützt. Anschließend werden die Bilder mithilfe der Bildverarbeitung vorverarbeitet, damit das Modell sie konsistent verarbeiten kann, etwa durch Größenänderung, Stabilisierung oder die Reduzierung von Rauschen und Bewegungsunschärfe.

Als Nächstes erkennt das System Hände im Bild mithilfe von Erkennung oder Segmentierung und verfolgt sie im Zeitverlauf. Wenn die Anwendung mehr Detailgenauigkeit benötigt, kann sie zusätzlich eine Posenschätzung durchführen, um Schlüsselpunkte wie Fingerspitzen und Gelenke zu extrahieren. Anhand dieser Informationen klassifiziert das Modell die Geste – unabhängig davon, ob es sich um eine Haltung in einem einzelnen Bild wie einen Daumen hoch oder um ein Bewegungsmuster wie ein Wischen handelt.

Abschließend wird die erkannte Geste einer Aktion in der Benutzeroberfläche zugeordnet, etwa dem Scrollen, Zoomen, Auswählen eines Elements, Anpassen der Lautstärke oder Steuern von Interaktionen in AR und VR. Die genaue Verarbeitungskette kann variieren: Einfachere Anwendungen verwenden weniger Schritte, während komplexere Anwendungen Erkennung, Verfolgung und Posenschätzung für eine höhere Genauigkeit kombinieren.

Anwendungen der visionsbasierten Gestenerkennung#

Als Nächstes sehen wir uns an, wie Gestenerkennung in Anwendungen aus der Praxis eingesetzt wird, um Handpositionen zu erkennen.

Gestenbasierte Interaktion mit Infotainmentsystemen im Auto#

Gestenerkennung findet zunehmend Eingang in intelligente Fahrzeugschnittstellen, insbesondere in Infotainmentsystemen. Sie bietet eine komfortable Möglichkeit, bestimmte Funktionen mit einfachen Handbewegungen zu steuern, sodass Fahrer seltener nach Touchscreens oder physischen Tasten greifen müssen. Eine schnelle Geste kann beispielsweise zum Anpassen der Lautstärke, Verwalten von Anrufen oder Navigieren durch Bildschirmmenüs verwendet werden.

Abb. 2. Ein Fahrer führt im Erfassungsbereich eines Infotainmentsystems Handgesten aus (Quelle)

Gestengesteuerte Interaktionen beim Gaming#

Beim Gaming und bei immersiven Erlebnissen verändert die gestenbasierte Steuerung die Art und Weise, wie Menschen mit virtuellen Welten interagieren. Statt sich ausschließlich auf Controller oder Joysticks zu verlassen, können Spieler natürliche Handbewegungen verwenden, um durch Menüs zu navigieren, virtuelle Objekte aufzuheben, Figuren zu steuern oder Aktionen in einem Spiel auszulösen.

Abb. 3. Spielen mit Handgesten (Quelle).

Diese Art der berührungslosen Interaktion kann sich besonders in AR und VR flüssiger anfühlen. Daher werden Handverfolgung und Gestensteuerung zu gängigen Funktionen in VR- und Mixed-Reality-Headsets.

Nahtlose Gestensteuerung für Smart-Home-Geräte#

Smart-Home-Geräte wie Smart-TVs, Lautsprecher und vernetzte Leuchten unterstützen zunehmend eine gestenbasierte Steuerung für schnelle, berührungslose Aktionen. Mit einer einfachen Handbewegung können Benutzer Lichter einschalten, die Lautstärke anpassen oder grundlegende Befehle auslösen, ohne nach Schaltern oder Fernbedienungen greifen zu müssen.

In Unterhaltungsanlagen zu Hause können beispielsweise eingebaute oder angeschlossene Tiefenkameras Gesten wie Wischen, Zeigen oder das Heben einer Hand erkennen. Dadurch wird es einfacher, von einem anderen Ort im Raum aus durch Menüs zu navigieren, Einstellungen zu ändern oder Auswahlen zu bestätigen. Im Hintergrund verarbeiten Computer-Vision-Modelle das Kamerabild in Echtzeit, um diese Gesten zu erkennen und zu interpretieren.

KI-gestützte Gestensteuerung in der Robotik#

Stell dir eine Situation in einer Fabrik vor, in der ein Mitarbeiter einen Roboter anleiten muss, während er Teile trägt, Handschuhe trägt oder in sicherem Abstand zu beweglichen Anlagen steht. In solchen Situationen kann das Greifen nach Tasten oder einem Bedienfeld langsam oder sogar unsicher sein.

Im Gegensatz dazu können gestenbasierte Steuerungssysteme eine praktischere, freihändige Möglichkeit zur Interaktion mit diesen Maschinen bieten. Das ist besonders für kollaborative Roboter oder Cobots nützlich, die für die Zusammenarbeit mit Menschen entwickelt wurden.

Statt zu einem Bedienfeld zu gehen, können Bediener einfache Handzeichen verwenden, um einen Roboter aus der Entfernung zu starten, anzuhalten oder zu führen. Dadurch wird die Abhängigkeit von physischen Bedienelementen verringert und ein sichererer Arbeitsablauf in der Produktion unterstützt.

Fortschrittliche visionsbasierte Steuerungssysteme, die durch Deep-Learning-Modelle oder Lernalgorithmen ermöglicht werden, können zudem über grundlegende Befehle hinausgehen. Sie können feinere Handbewegungen interpretieren und reibungslos auf kleine Richtungsänderungen sowie präzisere Anweisungen und Automatisierungsaufgaben reagieren.

Abb. 4. Eine Roboterhand analysiert die Geste eines Benutzers (Quelle)

Vor- und Nachteile der Gestenerkennungstechnologie#

Hier sind einige wichtige Vorteile der Gestenerkennungstechnologie:

• Verbesserte Barrierefreiheit: Gesten können eine Alternative für Benutzer bieten, die Schwierigkeiten bei der Verwendung von Tastaturen, Touchscreens oder Controllern haben.
• Funktioniert über größere Entfernungen: Gesten können von der anderen Seite eines Raums erkannt werden, was für Smart-TVs, Kiosksysteme und Geräte im Haushalt hilfreich ist.
• Flexibel auf verschiedenen Geräten: Ähnliche Gestensätze können auf Smartphones, in Autos, auf Smart Displays sowie mit AR- oder VR-Headsets funktionieren und sorgen so für eine einheitliche Interaktion.

Gleichzeitig gibt es einige Herausforderungen in der Praxis, die Genauigkeit und Konsistenz beeinträchtigen können. Hier sind einige Faktoren, die du berücksichtigen solltest:

• Probleme mit der Beleuchtung und Kameraqualität: Schwaches Licht, Blendung, Schatten oder niedrig auflösende Kameras können die Erkennungsleistung beeinträchtigen. Dies wiederum kann die Bewegungssteuerung beeinträchtigen.
• Unterschiede zwischen Benutzern: Menschen führen Gesten ganz natürlich unterschiedlich aus, und Unterschiede bei Handgröße, Fingerbeweglichkeit oder Zubehör können die Genauigkeit beeinflussen.
• Einschränkungen bei schnellen Bewegungen: Schnelle Gesten können Bewegungsunschärfe verursachen oder dazu führen, dass das Modell wichtige Bilder übersieht, insbesondere bei Kameras mit niedriger Bildrate.

Wichtige Erkenntnisse#

Die Gestenerkennungstechnologie hat die Forschungslabore hinter sich gelassen und ist mittlerweile Bestandteil alltäglicher Geräte und Innovationen. Insbesondere ermöglicht Computer Vision eine berührungslose Steuerung beim Gaming, in der Robotik, in Smart Homes und in Fahrzeugsystemen. Mit der Verbesserung der Vision-Modelle werden sich diese berührungslosen Schnittstellen wahrscheinlich einfacher entwickeln und breiter einsetzen lassen.

Entdecke unsere Community und unser GitHub-Repository, um mehr über Computer-Vision-Modelle zu erfahren. Auf unseren Lösungsseiten findest du weitere Informationen zu Anwendungen wie KI in der Landwirtschaft und Computer Vision in der Logistik. Sieh dir unsere Lizenzierungsoptionen an und beginne mit der Entwicklung deines eigenen Vision-AI-Modells.