Action Recognition

Распознавание действий, также широко известное как распознавание активности человека (HAR), — это динамичная подобласть computer vision (CV), связанная с идентификацией и классификацией конкретных моделей поведения или движений, выполняемых субъектами на видеоданных. В то время как традиционное object detection отвечает на вопрос «что находится на изображении?», распознавание действий решает более сложную задачу — «что происходит с течением времени?». Анализируя последовательности кадров, а не статические изображения, модели machine learning (ML) могут различать сложные действия, такие как «ходьба», «езда на велосипеде», «падение» или «рукопожатие», что делает эту область важнейшим компонентом при создании интеллектуальных систем, понимающих намерения и контекст человека.

Link to this sectionОсновные концепции и методы#

Для распознавания действий модели необходимо обрабатывать как пространственную информацию (как выглядят объекты или люди), так и временную (как они перемещаются во времени). Чтобы добиться этого, современные системы artificial intelligence (AI) часто используют специализированные архитектуры, выходящие за рамки стандартных convolutional neural networks (CNNs).

• Pose Estimation: мощная техника, при которой модель отслеживает конкретные keypoints на теле человека, такие как локти, колени и плечи. Геометрические изменения этих ключевых точек с течением времени дают мощный сигнал для классификации действий, независимо от фона.
• Temporal Modeling (Временное моделирование): алгоритмы используют структуры, такие как Recurrent Neural Networks (RNNs) или сети с долгой краткосрочной памятью (LSTM), чтобы запоминать прошлые кадры и прогнозировать будущие действия. В последнее время Video Transformers завоевали популярность благодаря своей способности работать с долгосрочными зависимостями в видеопотоках.
• Двухпотоковые сети: этот подход обрабатывает пространственные признаки (RGB-кадры) и временные признаки (часто с использованием optical flow) в параллельных потоках, объединяя данные для выполнения итоговой классификации.

Link to this sectionРеальные приложения#

Способность автоматически интерпретировать движения человека обладает трансформационным потенциалом для различных отраслей, повышая безопасность, эффективность и качество пользовательского опыта.

• AI in Healthcare: распознавание действий жизненно важно для систем мониторинга пациентов. Например, оно обеспечивает автоматическое обнаружение падений в домах престарелых, немедленно оповещая персонал, если пациент упал. Оно также используется в remote physical rehabilitation, где ИИ-тренеры анализируют технику выполнения упражнений пациентом, чтобы убедиться, что он выполняет движения правильно и безопасно.
• Умное наблюдение и безопасность: помимо простого обнаружения движения, продвинутые системы безопасности используют распознавание действий для идентификации подозрительного поведения, такого как драки, магазинные кражи или несанкционированный доступ, игнорируя при этом обычные действия. Это снижает количество ложных срабатываний и улучшает real-time security monitoring.

Link to this sectionРеализация анализа действий с помощью Ultralytics#

Распространенный рабочий процесс включает в себя обнаружение людей и их скелетной позы, а затем анализ движения этих суставов. Модель Ultralytics YOLO26 обеспечивает передовую скорость и точность для этапа первичной оценки позы, который является фундаментом для многих конвейеров распознавания действий.

В следующем примере показано, как извлечь скелетные ключевые точки из видеокадра с использованием Python:

from ultralytics import YOLO

# Load the YOLO26 pose estimation model
model = YOLO("yolo26n-pose.pt")

# Run inference on an image to detect person keypoints
results = model("https://ultralytics.com/images/bus.jpg")

# Process results
for result in results:
    # Access the keypoints (x, y, visibility)
    if result.keypoints is not None:
        print(f"Detected keypoints shape: {result.keypoints.data.shape}")

Link to this sectionРазграничение связанных терминов#

Важно отличать распознавание действий от схожих задач компьютерного зрения, чтобы обеспечить применение правильных методов.

• Распознавание действий vs. Object Tracking: отслеживание объектов фокусируется на сохранении идентичности конкретного объекта или человека по мере их перемещения между кадрами (например, «Человек А находится в координате X»). Распознавание действий интерпретирует поведение этого отслеживаемого субъекта (например, «Человек А бежит»).
• Распознавание действий vs. Video Understanding: в то время как распознавание действий идентифицирует конкретные физические акты, понимание видео — это более широкая концепция, которая включает в себя осмысление всего повествования, контекста и причинно-следственных связей внутри видеосцены.

Link to this sectionПроблемы и будущие тенденции#

Разработка надежных моделей распознавания действий представляет собой сложную задачу, особенно в части необходимости больших аннотированных video datasets, таких как Kinetics-400 или UCF101. Разметка видеоданных требует значительно больше времени, чем разметка статических изображений. Для решения этой проблемы такие инструменты, как Ultralytics Platform, помогают оптимизировать процесс аннотирования и обучения.

Кроме того, критически важна вычислительная эффективность. Обработка видео высокого разрешения в реальном времени требует значительных аппаратных ресурсов. Отрасль все чаще переходит к Edge AI, оптимизируя модели для работы непосредственно на камерах и мобильных устройствах, чтобы уменьшить задержку и использование пропускной способности. Будущие достижения направлены на улучшение model generalization, позволяя системам распознавать действия даже с тех ракурсов, на которых они не обучались явно.