Action Recognition

Die Aktenerkennung (Action Recognition), auch häufig als Human Activity Recognition (HAR) bezeichnet, ist ein dynamisches Teilgebiet des Computer Vision (CV), das sich mit der Identifizierung und Klassifizierung spezifischer Verhaltensweisen oder Bewegungen von Subjekten in Videodaten befasst. Während die traditionelle Objekterkennung die Frage „Was ist im Bild?“ beantwortet, widmet sich die Aktenerkennung der komplexeren Frage „Was passiert im Laufe der Zeit?“. Durch die Analyse von Bildsequenzen anstelle statischer Bilder können Machine Learning (ML)-Modelle zwischen komplizierten Aktivitäten wie „Gehen“, „Radfahren“, „Stürzen“ oder „Händeschütteln“ unterscheiden, was sie zu einer entscheidenden Komponente für den Aufbau intelligenter Systeme macht, die menschliche Absichten und Kontexte verstehen.

Kernkonzepte und -techniken#

Das Erkennen von Handlungen erfordert, dass ein Modell sowohl räumliche Informationen (wie Objekte oder Personen aussehen) als auch zeitliche Informationen (wie sie sich im Laufe der Zeit bewegen) verarbeitet. Um dies zu erreichen, setzen moderne Künstliche Intelligenz (KI)-Systeme häufig auf spezielle Architekturen, die über standardmäßige Convolutional Neural Networks (CNNs) hinausgehen.

• Pose Estimation: Eine leistungsstarke Technik, bei der das Modell spezifische Keypoints am menschlichen Körper wie Ellbogen, Knie und Schultern verfolgt. Die geometrischen Veränderungen dieser Keypoints im Laufe der Zeit liefern ein starkes Signal zur Klassifizierung von Handlungen, unabhängig von Hintergrundunordnung.
• Zeitliche Modellierung: Algorithmen verwenden Strukturen wie Recurrent Neural Networks (RNNs) oder Long Short-Term Memory (LSTM)-Netzwerke, um sich an vergangene Frames zu erinnern und zukünftige Handlungen vorherzusagen. In jüngerer Zeit haben Video Transformers aufgrund ihrer Fähigkeit, langfristige Abhängigkeiten in Videoströmen zu verarbeiten, an Beliebtheit gewonnen.
• Zwei-Stream-Netzwerke: Dieser Ansatz verarbeitet räumliche Merkmale (RGB-Frames) und zeitliche Merkmale (häufig unter Verwendung von optical flow) in parallelen Streams und führt die Daten zusammen, um eine finale Klassifizierung vorzunehmen.

Praxisanwendungen#

Die Fähigkeit, menschliche Bewegungen automatisch zu interpretieren, besitzt transformatives Potenzial in verschiedenen Branchen und verbessert Sicherheit, Effizienz und Benutzererfahrung.

• AI in Healthcare: Die Aktenerkennung ist für Patientenüberwachungssysteme von entscheidender Bedeutung. Sie ermöglicht beispielsweise die automatisierte Sturzerkennung in Pflegeheimen und alarmiert das Personal sofort, wenn ein Patient kollabiert. Sie wird auch bei der remote physical rehabilitation eingesetzt, bei der KI-Trainer die Übungsform eines Patienten analysieren, um sicherzustellen, dass er Bewegungen korrekt und sicher ausführt.
• Intelligente Überwachung und Sicherheit: Über die einfache Bewegungserkennung hinaus nutzen fortschrittliche Sicherheitssysteme die Aktenerkennung, um verdächtige Verhaltensweisen wie Kämpfe, Ladendiebstahl oder unbefugten Zutritt zu identifizieren und gleichzeitig gutartige Aktivitäten zu ignorieren. Dies reduziert Fehlalarme und verbessert die real-time security monitoring.

Implementierung der Aktionsanalyse mit Ultralytics#

Ein gängiger Workflow besteht darin, zuerst Personen und deren Skelettpose zu erkennen und dann die Bewegung dieser Gelenke zu analysieren. Das Ultralytics YOLO26-Modell bietet modernste Geschwindigkeit und Genauigkeit für den anfänglichen Pose Estimation-Schritt, der die Grundlage für viele Aktenerkennungs-Pipelines bildet.

Das folgende Beispiel zeigt, wie du Skelett-Keypoints aus einem Video-Frame mit Python extrahierst:

from ultralytics import YOLO

# Load the YOLO26 pose estimation model
model = YOLO("yolo26n-pose.pt")

# Run inference on an image to detect person keypoints
results = model("https://ultralytics.com/images/bus.jpg")

# Process results
for result in results:
    # Access the keypoints (x, y, visibility)
    if result.keypoints is not None:
        print(f"Detected keypoints shape: {result.keypoints.data.shape}")

Unterscheidung verwandter Begriffe#

Es ist wichtig, die Aktionserkennung von ähnlichen Computer-Vision-Aufgaben zu unterscheiden, um sicherzustellen, dass die richtigen Methoden angewendet werden.

• Aktenerkennung vs. Object Tracking: Beim Object Tracking geht es darum, die Identität eines bestimmten Objekts oder einer Person beizubehalten, während sie sich über Frames hinweg bewegen (z. B. „Person A befindet sich bei Koordinate X“). Die Aktenerkennung interpretiert das Verhalten dieses verfolgten Subjekts (z. B. „Person A läuft“).
• Aktenerkennung vs. Video Understanding: Während die Aktenerkennung spezifische physische Handlungen identifiziert, ist Video Understanding ein breiter gefasster Begriff, der das Verstehen der gesamten Erzählung, des Kontexts und der kausalen Beziehungen innerhalb einer Videoszene umfasst.

Herausforderungen und zukünftige Trends#

Die Entwicklung robuster Aktenerkennungsmodelle birgt Herausforderungen, insbesondere im Hinblick auf den Bedarf an großen, annotierten video datasets wie Kinetics-400 oder UCF101. Das Labeln von Videodaten ist deutlich zeitaufwändiger als das Labeln statischer Bilder. Um dem entgegenzuwirken, helfen Tools wie die Ultralytics Platform, den Annotations- und Trainings-Workflow zu optimieren.

Darüber hinaus ist die Recheneffizienz von entscheidender Bedeutung. Die Echtzeitverarbeitung hochauflösender Videos erfordert erhebliche Hardware-Ressourcen. Die Branche bewegt sich zunehmend in Richtung Edge AI und optimiert Modelle so, dass sie direkt auf Kameras und Mobilgeräten ausgeführt werden können, um Latenz und Bandbreitennutzung zu reduzieren. Zukünftige Fortschritte zielen darauf ab, die model generalization zu verbessern, damit Systeme Handlungen selbst aus Blickwinkeln erkennen können, für die sie nicht explizit trainiert wurden.