Was ist OpenPose? Erforschung eines Meilensteins in der Pose-Schätzung

Heutzutage sind Bilder und Kameras allgegenwärtig – sie sind in unsere Telefone, Häuser und sogar öffentliche Räume integriert. Wir verlassen uns nicht nur darauf, um Momente festzuhalten, sondern auch, um die Welt um uns herum besser zu verstehen und mit ihr zu interagieren.

Hinter den Kulissen macht dies die Computer Vision, ein Teilbereich der Künstlichen Intelligenz (KI), möglich, indem sie Maschinen befähigt, visuelle Daten zu interpretieren. Sie ermöglicht es Systemen, Objekte zu erkennen, Gesichter zu identifizieren und Bewegungen zu verfolgen, und spielt eine Schlüsselrolle in vielen der Technologien, die wir täglich nutzen.

Dank der jüngsten Fortschritte in der KI können Computer-Vision-Modelle nun komplexere Daten und Erkenntnisse analysieren und extrahieren. Ein Beispiel hierfür ist die Pose-Schätzung, eine Aufgabe der Computer Vision, die sich auf das Verständnis menschlicher Bewegungen konzentriert.

Sie funktioniert, indem Schlüsselpunkte am Körper, wie Schultern, Ellbogen und Knie, in Bildern oder Videos identifiziert werden. Dies ermöglicht es, Bewegungsabläufe zu analysieren, was Anwendungen in der Fitness-Verfolgung, Animation, im Gesundheitswesen und mehr erschließt.

Unter den vielen für die Pose-Schätzung entwickelten Tools sticht OpenPose als bedeutender Durchbruch hervor. Es wurde von Forschern des Perceptual Computing Lab an der Carnegie Mellon University entwickelt und war eines der ersten Open-Source-Systeme, das in der Lage war, Ganzkörper-Posen – einschließlich Händen, Füßen und Gesichtspunkten – für mehrere Personen gleichzeitig in Echtzeit mit nur einer Kamera zu erkennen (mit bis zu 135 Schlüsselpunkten pro Person).

In diesem Artikel erkunden wir OpenPose, wie es funktioniert und welche Bedeutung es als Meilenstein der Computer Vision hat.

Abb. 1. Multi-Personen-Pose-Schätzung mit OpenPose.

Link to this sectionEin Blick auf die Geschichte der Pose-Schätzung#

Bevor KI weit verbreitet war, erforderte die Verfolgung menschlicher Bewegungen in Videos spezialisierte Ausrüstung. In Branchen wie Film und Animation trugen Schauspieler oft Anzüge mit reflektierenden Markern, damit Kameras ihre Bewegungen in einer kontrollierten Studio-Umgebung erfassen konnten.

Während diese markerbasierten Motion-Capture-Techniken genau waren, waren sie auch teuer und auf spezifische Aufbauten beschränkt. Mit dem Fortschritt der Computer Vision suchten Forscher nach Wegen, Körperbewegungen ohne Marker zu verfolgen. Sie nutzten Kanten, Konturen und Vorlagen, um menschliche Formen in Bildern zu finden.

Diese frühen Systeme funktionierten in einfachen und direkten Fällen, hatten aber in realen Szenarien Schwierigkeiten. Sie lieferten oft schlechte Ergebnisse, wenn sich Personen unerwartet bewegten oder wenn mehr als eine Person in einem Bild erschien.

In den späten 2010er Jahren brachte Deep Learning einen großen Wandel für die Pose-Schätzung. Vision-KI-Modelle konnten auf großen Datensätzen menschlicher Posen trainiert werden. Anstatt sich auf Kanten und Vorlagen zu verlassen, lernten die Modelle, Körpergelenke und -strukturen durch das Studium tausender beschrifteter Bilder zu erkennen. Dies machte die Pose-Schätzung genauer, flexibler und wirkungsvoller in einer größeren Bandbreite von Umgebungen.

Abb. 2. Die Evolution der Modelle zur menschlichen Pose-Schätzung von 2017 bis 2023.

Link to this sectionOpenPose: Wo die moderne Pose-Schätzung ihren Anfang nahm#

OpenPose wurde erstmals 2017 veröffentlicht und ist in der Lage, die Posen mehrerer Personen gleichzeitig in einem einzigen Bild zu schätzen. Im Gegensatz zu älteren Systemen benötigt OpenPose keine speziellen Anzüge oder Marker. Es arbeitet mit Standardkameras und kann Bilder und Videos in Echtzeit verarbeiten. Diese Funktionen machten die Pose-Schätzung für Entwickler und Forscher zugänglicher.

Das Fundament, das OpenPose für die Computer Vision legte, half anderen, neuere Architekturen für eine Vielzahl anderer Anwendungen zu entwickeln. Heute bieten Vision-KI-Modelle wie Ultralytics YOLOv8 und Ultralytics YOLO11, die Pose-Schätzungsaufgaben unterstützen, schnellere Ergebnisse und geringere Latenzzeiten.

Abb. 3. Verwendung von YOLO11 zur Pose-Schätzung.

OpenPose ist jedoch ein hervorragender Ausgangspunkt, wenn du neugierig darauf bist, wie sich die Pose-Schätzung entwickelt hat. Es führte Schlüsselkonzepte ein, auf die viele neuere Systeme noch heute angewiesen sind.

Link to this sectionDie wichtigsten Funktionen von OpenPose#

Nachdem wir nun ein besseres Verständnis dafür haben, warum OpenPose wichtig ist, schauen wir uns genauer an, was es tatsächlich leisten kann.

Im Zentrum der Funktionen von OpenPose steht das sogenannte Keypoint Detection. Schlüsselpunkte sind spezifische Orientierungspunkte am menschlichen Körper, wie die Nasenspitze, das Zentrum der Schultern, Ellbogen, Handgelenke, Hüften, Knie und Knöchel. OpenPose kann bis zu 135 dieser Punkte pro Person erkennen, einschließlich detaillierter Bereiche wie Finger und Gesichtszüge.

Wenn diese Punkte verbunden werden, bilden sie eine vereinfachte Darstellung des menschlichen Körpers – man kann es sich wie ein digitales Skelett vorstellen. Dieser skelettartige Umriss zeigt nicht nur, wo sich eine Person befindet, sondern auch, wie sie sich positioniert: ob sie sitzt, steht, winkt, lächelt oder geht. Computer können menschliche Bewegungen mithilfe dieser Skelette visuell interpretieren, ähnlich wie wir instinktiv die Körpersprache anderer verstehen.

Skelettverfolgung ist besonders nützlich, da sie Hintergrundgeräusche und Ablenkungen ausblendet und es dem System ermöglicht, sich rein auf die menschliche Körperhaltung und Bewegung zu konzentrieren. Anstatt jedes Pixel zu analysieren, konzentriert sich OpenPose auf aussagekräftige Punkte, die die Geschichte erzählen, wie sich eine Person bewegt oder interagiert.

Durch die Extraktion dieser strukturierten Informationen aus alltäglichen Bildern oder Videos ermöglicht OpenPose die Erstellung von Anwendungen, die auf Gesten reagieren, körperliche Aktivität überwachen, emotionale Signale bewerten oder sogar digitale Charaktere animieren.

Link to this sectionWie funktioniert OpenPose?#

Hier ist ein Überblick darüber, wie OpenPose Schlüsselpunkte am menschlichen Körper aus visuellen Eingabedaten erkennt und verbindet:

• Beginnt mit einem Bild: OpenPose nimmt ein einzelnes Bild von einem Foto, Video oder einem Live-Kamera-Feed auf.
• Erkennt wichtige Körperteile: Das System sucht nach Schlüsselpunkten am Körper, wie Nase, Ellbogen, Handgelenke, Knie und Knöchel. Sie werden überall dort markiert, wo sich das System sicher ist, dass sich ein Körperteil befindet.
• Findet heraus, welche Teile zusammengehören: Als Nächstes prüft OpenPose, wie die Schlüsselpunkte verbunden sind. Es nutzt mathematische Berechnungen, um zu entscheiden, welche Gelenke zur selben Person gehören – zum Beispiel die Zuordnung eines Handgelenks zum rechten Ellbogen und zur Schulter.
• Zeichnet ein Skelett für jede Person: Nach der Gruppierung der Schlüsselpunkte verbindet OpenPose diese zu einer "Strichmännchen-Figur", die die Pose jeder Person darstellt. Dies funktioniert selbst dann, wenn mehrere Personen im selben Bild erscheinen.
• Gibt die Posen-Daten zurück: Schließlich stellt es die exakten Positionen aller erkannten Schlüsselpunkte bereit. Diese können verwendet werden, um Bewegungen zu verfolgen, Gesten zu erkennen oder interaktive Werkzeuge zu bauen – alles in Echtzeit.

Abb. 4. Menschliche Schlüsselpunkterkennung und Verfolgung mit OpenPose.

Link to this sectionAnwendungen der Pose-Schätzung in verschiedenen Branchen mit OpenPose#

OpenPose war eines der ersten fortschrittlichen Werkzeuge, das die Pose-Schätzung für eine Vielzahl realer Anwendungsfälle praktikabel machte. Obwohl es heute nicht mehr häufig in Echtzeit-Computer-Vision-Lösungen eingesetzt wird, spielte es eine wichtige Rolle bei der Gestaltung früher Arbeiten in Bereichen wie Sport, Unterhaltung, Bildung und Sicherheit.

Schauen wir uns genauer an, wie es dazu beigetragen hat, den Weg in diesen Bereichen zu ebnen.

Link to this sectionPose-Schätzung mit OpenPose für Fitness und Sport#

Wenn du Baseball ansiehst, ist es leicht zu verstehen, was passiert – du erkennst sofort einen Wurf, einen Schlag oder einen gestohlenen Base-Run. Als Menschen lesen wir intuitiv Körperbewegungen und verstehen sie ohne große Anstrengung. Aber für Maschinen ist das Erkennen dieser Aktionen weitaus komplexer. Sie benötigen präzise Informationen darüber, wie sich jeder Körperteil durch den Raum bewegt.

OpenPose war ein wesentlicher Fortschritt in diesem Bereich der Computer Vision. Es war ein praktisches Werkzeug zur Analyse athletischer Formen in einer Vielzahl von Umgebungen.

Viele Forschungsprojekte nutzten OpenPose, um Bewegungen wie Schwünge und Sprünge zu unterteilen und sogar spezifische Baseball-Aktionen basierend auf der Spielerbewegung zu klassifizieren. Da es in offenen Umgebungen mit Standardvideos funktionierte, ermöglichte es Forschern zu testen, wie solche Systeme in realen Trainings- oder Coaching-Szenarien funktionieren könnten.

Diese frühen Studien trugen dazu bei, den Grundstein für die heute in der fortgeschrittenen Sporttechnologie verwendeten Performance-Tracking-Tools zu legen.

Abb. 5. Ein Blick auf eine Pipeline zur Klassifizierung von Baseball-Aktionen mit OpenPose.

Link to this sectionVerwendung von OpenPose in Sicherheits- und Überwachungssystemen#

Ähnlich nutzten Forscher OpenPose auch, um zu untersuchen, wie videobasierte Posenverfolgung die Sicherheitsüberwachung unterstützen kann. Es wurde beim Erkennen von Verhaltensweisen wie Stürzen, unerwarteten Gesten oder Bewegungsmustern in öffentlichen Bereichen getestet.

Da es mit Standardkameras funktionierte, machte OpenPose frühe Experimente in Umgebungen wie Krankenhäusern und Verkehrsknotenpunkten zugänglicher. Diese Studien halfen, die Entwicklung neuerer Modelle voranzutreiben, die heute in der Überwachung, Sturzerkennung und bei Notfallreaktionssystemen eingesetzt werden.

Abb. 6. Sturzerkennung ermöglicht durch OpenPose.

Link to this sectionVor- und Nachteile von OpenPose#

Hier ist ein Einblick in einige der Vorteile, die OpenPose bietet:

• Nützlich für Forschung und Prototyping: Es wurde intensiv in der akademischen Forschung eingesetzt, insbesondere in Bereichen wie Mensch-Computer-Interaktion, Biomechanik und Verhaltensanalyse.
• Plattformübergreifende Unterstützung: Es läuft unter Windows, Linux und macOS, mit Unterstützung sowohl für zentrale Prozessoren (CPUs) als auch Grafikprozessoren (GPUs).
• Offline-Verarbeitungsfähigkeit: Es kann in Umgebungen ohne Internetzugang betrieben werden, was es ideal für datenschutzsensible Bereiche wie das Gesundheitswesen oder die Bildung macht.

Obwohl OpenPose ein bedeutender Fortschritt war, hat es auch technische Einschränkungen, die wichtig sind, im Hinterkopf zu behalten. Hier sind einige der zentralen Herausforderungen, die mit OpenPose verbunden sind:

• Hohe Verarbeitungsanforderungen: Das Ausführen von OpenPose in Echtzeit erfordert eine leistungsstarke GPU und beträchtliche Rechenressourcen.
• Empfindlich gegenüber der Umgebung: Die Leistung kann bei schlechten Lichtverhältnissen, in überfüllten Räumen oder bei nicht idealen Kamerawinkeln nachlassen.
• Schwer im Vergleich zu neueren Modellen: Im Vergleich zu neueren Pose-Schätzungsmodellen ist OpenPose relativ groß und langsamer. Es ist nicht gut für den Einsatz auf Geräten mit begrenzten Ressourcen wie Smartphones, Tablets oder eingebetteten Systemen geeignet.

Link to this sectionWichtige Erkenntnisse#

OpenPose spielte eine wichtige Rolle dabei, die Pose-Schätzung zugänglicher zu machen. Es zeigte, dass die Verfolgung von Körperbewegungen mit einer einfachen Kamera möglich war, ohne auf Anzüge oder spezialisierte Ausrüstung angewiesen zu sein.

Es legte den Grundstein für viele praktische Anwendungen in Gesundheitswesen, Bildung, Unterhaltung und Forschung. Während neuere Modelle heute schnellere Geschwindigkeiten und eine leichtere Leistung bieten, bleibt OpenPose ein wichtiger Referenzpunkt, um zu verstehen, wie sich die Pose-Schätzung entwickelt hat.

Werde Teil unserer Community und besuche unser GitHub-Repository, um mehr über KI zu erfahren. Wenn du eigene Computer-Vision-Lösungen entwickeln möchtest, erkunde unsere Lizenzoptionen. Schau dir auch an, wie Computer Vision im Gesundheitswesen und KI in der Logistik Wirkung zeigen!