Action Recognition

Aktivitätserkennung, auch häufig als Erkennung menschlicher Aktivitäten (HAR) bezeichnet, ist ein dynamisches Teilgebiet der Computervision (CV), das sich mit der Identifizierung und Klassifizierung bestimmter Verhaltensweisen oder Bewegungen von Personen in Videodaten befasst. Während die traditionelle Objekterkennung die Frage „Was befindet sich im Bild?“ beantwortet, befasst sich die Aktivitätserkennung mit der komplexeren Frage „Was geschieht im Laufe der Zeit?“. Durch die Analyse von Bildfolgen statt statischer Bilder können Modelle des maschinellen Lernens (ML) komplexe Aktivitäten wie „Gehen“, „Radfahren“, „Stürzen“ oder „Händeschütteln“ unterscheiden, was sie zu einer entscheidenden Komponente für den Aufbau intelligenter Systeme macht, die menschliche Absichten und Zusammenhänge verstehen.

Grundlegende Konzepte und Techniken#

Für die Erkennung von Aktivitäten muss ein Modell sowohl räumliche Informationen (wie Objekte oder Personen aussehen) als auch zeitliche Informationen (wie sie sich im Laufe der Zeit bewegen) verarbeiten. Zu diesem Zweck verwenden moderne Systeme der künstlichen Intelligenz (AI) häufig spezialisierte Architekturen, die über standardmäßige Faltungsneuronale Netze (CNNs) hinausgehen.

• Posenschätzung: Eine leistungsstarke Technik, bei der das Modell bestimmte Schlüsselpunkte des menschlichen Körpers verfolgt, etwa Ellbogen, Knie und Schultern. Die geometrischen Veränderungen dieser Schlüsselpunkte im Laufe der Zeit liefern ein starkes Signal für die Klassifizierung von Aktivitäten, unabhängig von störenden Hintergrundelementen.
• Zeitliche Modellierung: Algorithmen nutzen Strukturen wie rekurrente neuronale Netze (RNNs) oder Netze mit langem Kurzzeitgedächtnis (LSTM), um sich an vergangene Bilder zu erinnern und zukünftige Aktivitäten vorherzusagen. In jüngerer Zeit erfreuen sich Video-Transformer aufgrund ihrer Fähigkeit, weitreichende Abhängigkeiten in Videoströmen zu verarbeiten, zunehmender Beliebtheit.
• Zwei-Strom-Netzwerke: Dieser Ansatz verarbeitet räumliche Merkmale (RGB-Bilder) und zeitliche Merkmale (häufig mithilfe des optischen Flusses) in parallelen Strömen und führt die Daten für eine abschließende Klassifizierung zusammen.

Anwendungen in der Praxis#

Die Fähigkeit, menschliche Bewegungen automatisch zu interpretieren, birgt in verschiedenen Branchen enormes Veränderungspotenzial und verbessert Sicherheit, Effizienz und Benutzererfahrung.

• AI im Gesundheitswesen: Die Aktivitätserkennung ist für Systeme zur Patientenüberwachung von entscheidender Bedeutung. Sie ermöglicht beispielsweise die automatische Erkennung von Stürzen in Pflegeheimen und benachrichtigt das Personal sofort, wenn ein Patient stürzt. Sie wird außerdem bei der physiotherapeutischen Rehabilitation aus der Ferne eingesetzt, bei der KI-gestützte Trainer die Ausführung der Übungen eines Patienten analysieren, um sicherzustellen, dass er die Bewegungen korrekt und sicher ausführt.
• Intelligente Überwachung und Sicherheit: Über die einfache Bewegungserkennung hinaus nutzen fortschrittliche Sicherheitssysteme die Aktivitätserkennung, um verdächtiges Verhalten wie Kämpfe, Ladendiebstahl oder unbefugtes Eindringen zu erkennen und gleichzeitig harmlose Aktivitäten zu ignorieren. Dies reduziert Fehlalarme und verbessert die Sicherheitsüberwachung in Echtzeit.

Implementierung der Aktivitätsanalyse mit Ultralytics#

Ein gängiger Arbeitsablauf besteht darin, zunächst Personen und deren Skelettpose zu erkennen und anschließend die Bewegung dieser Gelenke zu analysieren. Das Modell Ultralytics YOLO26 bietet eine Geschwindigkeit und Genauigkeit auf dem neuesten Stand der Technik für den ersten Schritt der Posenschätzung, der die Grundlage vieler Pipelines zur Aktivitätserkennung bildet.

Das folgende Beispiel zeigt, wie sich Skelett-Schlüsselpunkte aus einem Videobild mit Python extrahieren lassen:

from ultralytics import YOLO

# Load the YOLO26 pose estimation model
model = YOLO("yolo26n-pose.pt")

# Run inference on an image to detect person keypoints
results = model("https://ultralytics.com/images/bus.jpg")

# Process results
for result in results:
    # Access the keypoints (x, y, visibility)
    if result.keypoints is not None:
        print(f"Detected keypoints shape: {result.keypoints.data.shape}")

Abgrenzung verwandter Begriffe#

Es ist wichtig, die Aktivitätserkennung von ähnlichen Aufgaben der Computervision zu unterscheiden, damit die richtigen Methoden angewendet werden.

• Aktivitätserkennung vs. Objektverfolgung: Die Objektverfolgung konzentriert sich darauf, die Identität eines bestimmten Objekts oder einer Person über mehrere Bilder hinweg beizubehalten, während sich das Objekt oder die Person bewegt (z. B. „Person A befindet sich an Koordinate X“). Die Aktivitätserkennung interpretiert das Verhalten der verfolgten Person (z. B. „Person A läuft“).
• Aktivitätserkennung vs. Videoverständnis: Während die Aktivitätserkennung bestimmte körperliche Handlungen identifiziert, ist Videoverständnis ein umfassenderes Konzept, das das Erfassen der gesamten Handlung, des Kontexts und der kausalen Zusammenhänge innerhalb einer Videoszene umfasst.

Herausforderungen und zukünftige Entwicklungen#

Die Entwicklung robuster Modelle zur Aktivitätserkennung ist mit Herausforderungen verbunden, insbesondere aufgrund des Bedarfs an großen, annotierten Videodatensätzen wie Kinetics-400 oder UCF101. Die Kennzeichnung von Videodaten ist deutlich zeitaufwendiger als die Kennzeichnung statischer Bilder. Tools wie die Ultralytics Platform helfen dabei, den Arbeitsablauf für Annotation und Training zu optimieren.

Darüber hinaus ist die Recheneffizienz von entscheidender Bedeutung. Die Verarbeitung hochauflösender Videos in Echtzeit erfordert erhebliche Hardwareressourcen. Die Branche bewegt sich zunehmend in Richtung Edge AI und optimiert Modelle so, dass sie direkt auf Kameras und Mobilgeräten ausgeführt werden können, um Latenz und Bandbreitennutzung zu reduzieren. Künftige Fortschritte zielen darauf ab, die Modellgeneralisierung zu verbessern, sodass Systeme Aktivitäten auch aus Perspektiven erkennen können, auf die sie nicht ausdrücklich trainiert wurden.