Was ist OpenPose? Erforschung eines Meilensteins in der Pose-Schätzung

Heutzutage sind Bilder und Kameras allgegenwärtig – sie sind in unsere Telefone, Häuser und sogar öffentliche Räume integriert. Wir verlassen uns nicht nur darauf, um Momente festzuhalten, sondern auch, um die Welt um uns herum besser zu verstehen und mit ihr zu interagieren.

Hinter den Kulissen macht dies computer vision – ein Teilgebiet der künstlichen Intelligenz (KI) – möglich, indem es Maschinen befähigt, visuelle Daten zu interpretieren. Es versetzt Systeme in die Lage, Objekte zu erkennen, Gesichter zu identifizieren und Bewegungen zu verfolgen, was in vielen Technologien, die wir täglich nutzen, eine Schlüsselrolle spielt.

Dank jüngster Fortschritte in der KI können Computer-Vision-Modelle nun komplexere Daten und Erkenntnisse analysieren und extrahieren. Ein Beispiel hierfür ist die pose estimation, eine Computer-Vision-Aufgabe, die sich auf das Verstehen menschlicher Bewegungen konzentriert.

Sie funktioniert, indem Schlüsselpunkte am Körper, wie Schultern, Ellbogen und Knie, in Bildern oder Videos identifiziert werden. Dies ermöglicht es, Bewegungsabläufe zu analysieren, was Anwendungen in der Fitness-Verfolgung, Animation, im Gesundheitswesen und mehr erschließt.

Unter den vielen für die Pose-Schätzung entwickelten Tools sticht OpenPose als bedeutender Durchbruch hervor. Es wurde von Forschern des Perceptual Computing Lab an der Carnegie Mellon University entwickelt und war eines der ersten Open-Source-Systeme, das in der Lage war, Ganzkörper-Posen – einschließlich Händen, Füßen und Gesichtspunkten – für mehrere Personen gleichzeitig in Echtzeit mit nur einer Kamera zu erkennen (mit bis zu 135 Schlüsselpunkten pro Person).

In diesem Artikel erkunden wir OpenPose, wie es funktioniert und welche Bedeutung es als Meilenstein der Computer Vision hat.

Fig 1. Mehrpersonen-Schätzung von Körperhaltungen mit OpenPose.

Ein Blick auf die Geschichte der Pose-Schätzung#

Bevor KI weit verbreitet wurde, erforderte die Verfolgung menschlicher Bewegungen in Videos den Einsatz spezieller Ausrüstung. In Branchen wie film and animation trugen Schauspieler häufig Anzüge mit reflektierenden Markierungen, damit Kameras ihre Bewegungen in einer kontrollierten Studioumgebung erfassen konnten.

Während diese markerbasierten Motion-Capture-Techniken genau waren, waren sie auch teuer und auf spezifische Aufbauten beschränkt. Mit dem Fortschritt der Computer Vision suchten Forscher nach Wegen, Körperbewegungen ohne Marker zu verfolgen. Sie nutzten Kanten, Konturen und Vorlagen, um menschliche Formen in Bildern zu finden.

Diese frühen Systeme funktionierten in einfachen und direkten Fällen, hatten aber in realen Szenarien Schwierigkeiten. Sie lieferten oft schlechte Ergebnisse, wenn sich Personen unerwartet bewegten oder wenn mehr als eine Person in einem Bild erschien.

In den späten 2010er Jahren brachte das deep learning einen großen Wandel in die Posenschätzung. Vision-KI-Modelle konnten anhand großer Datensätze menschlicher Posen trainiert werden. Anstatt sich auf Kanten und Vorlagen zu verlassen, lernten die Modelle, Gelenke und die Struktur des Körpers durch das Studium Tausender annotierter Bilder zu erkennen. Dies machte die Posenschätzung genauer, flexibler und wirkungsvoller in einer größeren Bandbreite von Szenarien.

Fig 2. Die Evolution der Modelle zur Schätzung menschlicher Körperhaltungen von 2017 bis 2023.

OpenPose: Wo die moderne Pose-Schätzung ihren Anfang nahm#

OpenPose wurde erstmals 2017 veröffentlicht und ist in der Lage, die Posen mehrerer Personen gleichzeitig in einem einzigen Bild zu schätzen. Im Gegensatz zu älteren Systemen benötigt OpenPose keine speziellen Anzüge oder Marker. Es arbeitet mit Standardkameras und kann Bilder und Videos in Echtzeit verarbeiten. Diese Funktionen machten die Pose-Schätzung für Entwickler und Forscher zugänglicher.

Das Fundament, das OpenPose für Computer Vision legte, half anderen dabei, neuere Architekturen für eine Vielzahl weiterer Anwendungen zu entwickeln. Heute bieten Vision-KI-Modelle wie Ultralytics YOLOv8 und Ultralytics YOLO11, die Aufgaben zur Posenschätzung unterstützen, schneller Ergebnisse und eine geringere Latenz.

Fig 3. Verwendung von YOLO11 zur Posenschätzung.

OpenPose ist jedoch ein hervorragender Ausgangspunkt, wenn du neugierig darauf bist, wie sich die Pose-Schätzung entwickelt hat. Es führte Schlüsselkonzepte ein, auf die viele neuere Systeme noch heute angewiesen sind.

Die wichtigsten Funktionen von OpenPose#

Nachdem wir nun ein besseres Verständnis dafür haben, warum OpenPose wichtig ist, schauen wir uns genauer an, was es tatsächlich leisten kann.

Das Herzstück der Funktionen von OpenPose ist die sogenannte keypoint detection. Schlüsselpunkte sind spezifische Orientierungspunkte am menschlichen Körper, wie die Nasenspitze, die Mitte der Schultern, Ellbogen, Handgelenke, Hüften, Knie und Knöchel. OpenPose kann bis zu 135 dieser Punkte pro Person erkennen, einschließlich detaillierter Bereiche wie Finger und Gesichtszüge.

Wenn diese Punkte verbunden werden, bilden sie eine vereinfachte Darstellung des menschlichen Körpers – man kann es sich wie ein digitales Skelett vorstellen. Dieser skelettartige Umriss zeigt nicht nur, wo sich eine Person befindet, sondern auch, wie sie sich positioniert: ob sie sitzt, steht, winkt, lächelt oder geht. Computer können menschliche Bewegungen mithilfe dieser Skelette visuell interpretieren, ähnlich wie wir instinktiv die Körpersprache anderer verstehen.

Skelettverfolgung ist besonders nützlich, da sie Hintergrundgeräusche und Ablenkungen ausblendet und es dem System ermöglicht, sich rein auf die menschliche Körperhaltung und Bewegung zu konzentrieren. Anstatt jedes Pixel zu analysieren, konzentriert sich OpenPose auf aussagekräftige Punkte, die die Geschichte erzählen, wie sich eine Person bewegt oder interagiert.

Durch die Extraktion dieser strukturierten Informationen aus alltäglichen Bildern oder Videos ermöglicht OpenPose die Erstellung von Anwendungen, die auf Gesten reagieren, körperliche Aktivität überwachen, emotionale Signale bewerten oder sogar digitale Charaktere animieren.

Wie funktioniert OpenPose?#

Hier ist ein Überblick darüber, wie OpenPose Schlüsselpunkte am menschlichen Körper aus visuellen Eingabedaten erkennt und verbindet:

• Beginnt mit einem Bild: OpenPose verarbeitet ein einzelnes Bild aus einem Foto, Video oder Live-camera-Feed.
• Erkennt wichtige Körperteile: Das System sucht nach Schlüsselpunkten am Körper, wie Nase, Ellbogen, Handgelenke, Knie und Knöchel. Sie werden überall dort markiert, wo sich das System sicher ist, dass sich ein Körperteil befindet.
• Findet heraus, welche Teile zusammengehören: Als Nächstes prüft OpenPose, wie die Schlüsselpunkte verbunden sind. Es nutzt mathematische Berechnungen, um zu entscheiden, welche Gelenke zur selben Person gehören – zum Beispiel die Zuordnung eines Handgelenks zum rechten Ellbogen und zur Schulter.
• Zeichnet ein Skelett für jede Person: Nach der Gruppierung der Schlüsselpunkte verbindet OpenPose diese zu einer "Strichmännchen-Figur", die die Pose jeder Person darstellt. Dies funktioniert selbst dann, wenn mehrere Personen im selben Bild erscheinen.
• Gibt die Posen-Daten zurück: Schließlich stellt es die exakten Positionen aller erkannten Schlüsselpunkte bereit. Diese können verwendet werden, um Bewegungen zu verfolgen, Gesten zu erkennen oder interaktive Werkzeuge zu bauen – alles in Echtzeit.

Fig 4. Erkennung und Verfolgung menschlicher Schlüsselpunkte mit OpenPose.

Anwendungen der Pose-Schätzung in verschiedenen Branchen mit OpenPose#

OpenPose war eines der ersten fortgeschrittenen Tools, das die Posenschätzung für eine Vielzahl realer Anwendungsfälle praktikabel machte. Zwar wird es heute in Echtzeit-computer vision solutions nicht mehr häufig eingesetzt, es spielte jedoch eine wichtige Rolle bei der Gestaltung der frühen Arbeit in Bereichen wie Sport, Unterhaltung, Bildung und Sicherheit.

Schauen wir uns genauer an, wie es dazu beigetragen hat, den Weg in diesen Bereichen zu ebnen.

Pose-Schätzung mit OpenPose für Fitness und Sport#

Wenn du Baseball ansiehst, ist es leicht zu verstehen, was passiert – du erkennst sofort einen Wurf, einen Schlag oder einen gestohlenen Base-Run. Als Menschen lesen wir intuitiv Körperbewegungen und verstehen sie ohne große Anstrengung. Aber für Maschinen ist das Erkennen dieser Aktionen weitaus komplexer. Sie benötigen präzise Informationen darüber, wie sich jeder Körperteil durch den Raum bewegt.

OpenPose war ein wesentlicher Fortschritt in diesem Bereich der Computer Vision. Es war ein praktisches Werkzeug zur Analyse athletischer Formen in einer Vielzahl von Umgebungen.

Viele Forschungsprojekte nutzten OpenPose, um Bewegungen wie Schwünge und Sprünge aufzuschlüsseln und sogar bestimmte baseball actions basierend auf der Bewegung der Spieler zu klassifizieren. Da es in offenen Umgebungen mit Standardvideos funktionierte, ermöglichte es Forschern zu testen, wie solche Systeme in realen Trainings- oder Coaching-Szenarien funktionieren könnten.

Diese frühen Studien trugen dazu bei, den Grundstein für die Tools zur Leistungsverfolgung zu legen, die heute in fortschrittlicher sports technology verwendet werden.

Fig 5. Einblick in eine Pipeline zur Klassifizierung von Baseball-Aktionen mit OpenPose.

Verwendung von OpenPose in Sicherheits- und Überwachungssystemen#

Ähnlich nutzten Forscher OpenPose auch, um zu untersuchen, wie videobasierte Posenverfolgung die Sicherheitsüberwachung unterstützen kann. Es wurde beim detecting behaviors wie Stürzen, unerwarteten Gesten oder Bewegungsmustern in öffentlichen Bereichen getestet.

Da es mit Standardkameras arbeitete, machte OpenPose frühe Experimente in Umgebungen wie Krankenhäusern und Verkehrsknotenpunkten zugänglicher. Diese Studien trugen dazu bei, die Entwicklung newer models voranzutreiben, die heute in der Überwachung, Sturzerkennung und in Notfallreaktionssystemen eingesetzt werden.

Fig 6. Durch OpenPose ermöglichte Sturzerkennung.

Vor- und Nachteile von OpenPose#

Hier ist ein Einblick in einige der Vorteile, die OpenPose bietet:

• Nützlich für Forschung und Prototyping: Es wurde intensiv in der akademischen Forschung eingesetzt, insbesondere in Bereichen wie Mensch-Computer-Interaktion, Biomechanik und Verhaltensanalyse.
• Plattformübergreifende Unterstützung: Es läuft unter Windows, Linux und macOS und bietet Unterstützung sowohl für Zentraleinheiten (CPUs) als auch für graphics processing units (GPUs).
• Offline-Verarbeitungsfähigkeit: Es kann in Umgebungen ohne Internetzugang betrieben werden, was es ideal für datenschutzsensible Bereiche wie das Gesundheitswesen oder die Bildung macht.

Obwohl OpenPose ein bedeutender Fortschritt war, hat es auch technische Einschränkungen, die wichtig sind, im Hinterkopf zu behalten. Hier sind einige der zentralen Herausforderungen, die mit OpenPose verbunden sind:

• Hohe Verarbeitungsanforderungen: Das Ausführen von OpenPose in Echtzeit erfordert eine leistungsstarke GPU und beträchtliche Rechenressourcen.
• Empfindlich gegenüber der Umgebung: Die Leistung kann bei schlechten Lichtverhältnissen, in überfüllten Räumen oder bei nicht idealen Kamerawinkeln nachlassen.
• Schwer im Vergleich zu neueren Modellen: Im Vergleich zu neueren Pose-Schätzungsmodellen ist OpenPose relativ groß und langsamer. Es ist nicht gut für den Einsatz auf Geräten mit begrenzten Ressourcen wie Smartphones, Tablets oder eingebetteten Systemen geeignet.

Wichtige Erkenntnisse#

OpenPose spielte eine wichtige Rolle dabei, die Pose-Schätzung zugänglicher zu machen. Es zeigte, dass die Verfolgung von Körperbewegungen mit einer einfachen Kamera möglich war, ohne auf Anzüge oder spezialisierte Ausrüstung angewiesen zu sein.

Es legte den Grundstein für viele praktische Anwendungen in Gesundheitswesen, Bildung, Unterhaltung und Forschung. Während neuere Modelle heute schnellere Geschwindigkeiten und eine leichtere Leistung bieten, bleibt OpenPose ein wichtiger Referenzpunkt, um zu verstehen, wie sich die Pose-Schätzung entwickelt hat.

Tritt unserer community bei und besuche unser GitHub repository, um mehr über KI zu erfahren. Wenn du eigene Computer-Vision-Lösungen entwickeln möchtest, erkunde unsere licensing options. Sieh dir außerdem an, wie computer vision in healthcare und AI in logistics Wirkung zeigen!