Что такое OpenPose? Важный этап развития оценки позы

Сегодня изображения и камеры повсюду: они встроены в телефоны, дома и даже общественные пространства. Мы используем их не только для съёмки памятных моментов, но и для того, чтобы понимать окружающий мир и взаимодействовать с ним.

За кадром компьютерное зрение — подраздел искусственного интеллекта (AI) — делает это возможным, позволяя машинам интерпретировать визуальные данные. Оно помогает системам обнаруживать объекты, распознавать лица и отслеживать движения, играя важную роль во многих технологиях, которыми мы пользуемся каждый день.

Благодаря недавним достижениям в области ИИ модели компьютерного зрения теперь могут анализировать и извлекать более сложные данные и закономерности. Один из примеров — оценка позы, задача компьютерного зрения, направленная на анализ движений человека.

Для этого на изображениях или видео определяются ключевые точки тела, например плечи, локти и колени. Это позволяет анализировать движения людей и создавать приложения для отслеживания физической активности, анимации, здравоохранения и других областей.

Среди множества инструментов для оценки позы особенно выделяется OpenPose — важный прорыв в этой области. Разработанная исследователями из лаборатории Perceptual Computing Lab Университета Карнеги — Меллона, эта система стала одной из первых систем с открытым исходным кодом, способных в реальном времени обнаруживать позы всего тела нескольких людей, включая кисти, стопы и ключевые точки лица, используя только камеру (до 135 ключевых точек на человека).

В этой статье мы расскажем об OpenPose, принципах его работы и значении этого этапа в развитии компьютерного зрения.

Рис. 1. Оценка поз нескольких людей с помощью OpenPose.

История развития оценки позы#

До широкого распространения ИИ для отслеживания движений человека на видео использовали специализированное оборудование. В таких отраслях, как кино и анимация, актёры часто надевали костюмы со светоотражающими маркерами, чтобы камеры могли записывать их движения в контролируемых условиях студии.

Хотя эти методы захвата движения с маркерами были точными, они также были дорогими и подходили только для специально оборудованных площадок. По мере развития компьютерного зрения исследователи искали способы отслеживать движения тела без маркеров. Для поиска человеческих фигур на изображениях они использовали границы, контуры и шаблоны.

Первые системы хорошо справлялись с простыми и предсказуемыми ситуациями, но испытывали трудности в реальных условиях. Результаты часто были плохими, когда люди двигались неожиданным образом или в кадре находилось несколько человек.

В конце 2010-х годов глубокое обучение существенно изменило подход к оценке позы. Модели визуального ИИ можно было обучать на крупных наборах данных с позами людей. Вместо того чтобы полагаться на границы и шаблоны, модели учились распознавать суставы и структуру тела, анализируя тысячи размеченных изображений. Благодаря этому оценка позы стала точнее, гибче и пригоднее для более широкого спектра задач.

Рис. 2. Развитие моделей оценки позы человека с 2017 по 2023 год.

OpenPose: начало современной оценки позы#

OpenPose впервые представили в 2017 году. Система способна одновременно оценивать позы нескольких людей на одном изображении. В отличие от более ранних систем, OpenPose не требует специальных костюмов или маркеров. Она работает со стандартными камерами и обрабатывает изображения и видео в реальном времени. Благодаря этим особенностям оценка позы стала доступнее разработчикам и исследователям.

Основа, заложенная OpenPose для компьютерного зрения, помогла другим разработать новые архитектуры для самых разных задач. Сегодня модели визуального ИИ, такие как Ultralytics YOLOv8 и Ultralytics YOLO11, а позднее и Ultralytics YOLO26, поддерживающие задачи оценки позы, обеспечивают более быстрые результаты и меньшую задержку.

Рис. 3. Оценка позы с помощью YOLO11.

Если тебе интересно, как развивалась оценка позы, OpenPose — отличная отправная точка. Эта система предложила ключевые идеи, на которые до сих пор опираются многие более новые системы.

Основные возможности OpenPose#

Теперь, когда мы разобрались, почему OpenPose важен, давай подробнее рассмотрим, что именно он умеет.

В основе возможностей OpenPose лежит так называемое обнаружение ключевых точек. Ключевые точки — это конкретные ориентиры на теле человека: например, кончик носа, центр плеч, локти, запястья, бёдра, колени и лодыжки. OpenPose может обнаруживать до 135 таких точек на человеке, включая такие детализированные области, как пальцы и черты лица.

Если соединить эти точки, получится упрощённое изображение человеческого тела — его можно представить как цифровой скелет. Такой скелет показывает не только положение человека, но и его позу: сидит ли он, стоит, машет рукой, улыбается или идёт. Компьютеры могут анализировать движения людей по этим скелетам — примерно так же, как мы интуитивно понимаем язык тела другого человека.

Отслеживание скелета особенно полезно, поскольку оно устраняет фоновый шум и отвлекающие детали, позволяя системе сосредоточиться только на позе и движениях человека. Вместо анализа каждого пикселя OpenPose обрабатывает значимые точки, по которым можно понять, как человек движется или взаимодействует с окружающими.

Извлекая структурированную информацию из обычных изображений и видео, OpenPose позволяет создавать приложения, которые реагируют на жесты, отслеживают физическую активность, оценивают эмоциональные сигналы и даже анимируют цифровых персонажей.

Как работает OpenPose?#

Ниже описано, как OpenPose обнаруживает ключевые точки на теле человека по визуальным данным и соединяет их:

• Начинает с изображения: OpenPose получает одно изображение из фотографии, видео или потока с работающей камеры.
• Находит важные части тела: система ищет ключевые точки тела — например, нос, локти, запястья, колени и лодыжки. Она отмечает точки, в которых, по её оценке, находится соответствующая часть тела.
• Определяет, какие части тела связаны: затем OpenPose проверяет, как соединены ключевые точки. С помощью математических вычислений система определяет, какие суставы принадлежат одному и тому же человеку, например сопоставляет запястье с нужными локтем и плечом.
• Рисует скелет для каждого человека: сгруппировав ключевые точки, OpenPose соединяет их в фигурку, которая показывает позу каждого человека. Это работает, даже если в кадре несколько человек.
• Возвращает данные о позе: наконец, система выдаёт точные координаты всех обнаруженных ключевых точек. Эти данные можно использовать для отслеживания движений, распознавания жестов и создания интерактивных инструментов — всё это в реальном времени.

Рис. 4. Обнаружение и отслеживание ключевых точек человека с помощью OpenPose.

Применение оценки позы с помощью OpenPose в разных отраслях#

OpenPose стал одним из первых передовых инструментов, благодаря которым оценка позы стала практически применимой в самых разных сценариях реального мира. Сегодня эту систему редко используют в решениях для компьютерного зрения в реальном времени, но она сыграла важную роль в первых исследованиях в таких областях, как спорт, развлечения, образование и безопасность.

Рассмотрим подробнее, как эта система помогла развитию этих областей.

Оценка позы с помощью OpenPose в фитнесе и спорте#

Когда ты смотришь бейсбольный матч, тебе легко понять, что происходит: ты сразу распознаёшь подачу, удар битой или попытку украсть базу. Мы, люди, интуитивно считываем движения тела и без особых усилий понимаем их смысл. Для машин же распознавание таких действий гораздо сложнее. Им нужна точная информация о том, как движется в пространстве каждая часть тела.

OpenPose стал важным шагом вперёд в этой области компьютерного зрения. Это был практичный инструмент для анализа спортивной техники в самых разных условиях.

Во многих исследовательских проектах OpenPose использовали для анализа таких движений, как замахи и прыжки, и даже для классификации конкретных действий в бейсболе по движениям игроков. Поскольку система работала в открытых пространствах и использовала обычное видео, исследователи могли проверять, как такие системы поведут себя в реальных условиях тренировок и занятий с тренером.

Эти ранние исследования заложили основу инструментов отслеживания результатов, которые теперь применяются в передовых решениях спортивных технологий.

Рис. 5. Пример конвейера классификации действий в бейсболе с использованием OpenPose.

Использование OpenPose в системах безопасности и охраны#

Исследователи также использовали OpenPose, чтобы изучить, как отслеживание поз по видео может помочь в мониторинге безопасности. OpenPose проверяли на распознавание действий, таких как падения, необычные жесты и характерные движения в общественных местах.

Поскольку OpenPose работала со стандартными камерами, ранние эксперименты стали доступнее в таких местах, как больницы и транспортные узлы. Эти исследования способствовали разработке новых моделей, которые теперь используются в системах видеонаблюдения, обнаружения падений и реагирования на чрезвычайные ситуации.

Рис. 6. Обнаружение падений с помощью OpenPose.

Преимущества и недостатки OpenPose#

Рассмотрим некоторые преимущества OpenPose:

• Полезна для исследований и создания прототипов: OpenPose широко применялась в академических исследованиях, особенно в таких областях, как взаимодействие человека с компьютером, биомеханика и анализ поведения.
• Кроссплатформенная поддержка: OpenPose работает в Windows, Linux и macOS, поддерживая как центральные процессоры (CPUs), так и графические процессоры (GPUs).
• Работа без подключения к интернету: OpenPose может работать в средах без доступа к интернету, поэтому она подходит для сфер с повышенными требованиями к конфиденциальности, например здравоохранения и образования.

Несмотря на то что OpenPose стала важным шагом вперед, у нее есть технические ограничения, о которых важно помнить. Вот несколько основных проблем, связанных с OpenPose:

• Высокие требования к обработке: Для работы OpenPose в реальном времени нужен мощный GPU и значительные вычислительные ресурсы.
• Чувствительность к условиям среды: Производительность может снижаться при слабом освещении, в людных местах или при неоптимальном ракурсе камеры.
• Тяжелее новых моделей: По сравнению с более современными моделями оценки поз OpenPose относительно велика и работает медленнее. Она плохо подходит для развертывания на устройствах с ограниченными ресурсами, таких как смартфоны, планшеты и встраиваемые системы.

Главные выводы#

OpenPose сыграла важную роль в том, чтобы сделать оценку поз доступнее. Она показала, что движения тела можно отслеживать с помощью простой камеры, без специальных костюмов и оборудования.

Она заложила основу для множества практических приложений в здравоохранении, образовании, развлечениях и исследованиях. Хотя новые модели теперь работают быстрее и требуют меньше ресурсов, OpenPose остается важным ориентиром для понимания эволюции оценки позы.

Присоединяйся к нашему сообществу и загляни в наш репозиторий GitHub, чтобы узнать больше об ИИ. Если ты хочешь создавать собственные решения для компьютерного зрения, изучи наши варианты лицензирования. Также узнай, как компьютерное зрение в здравоохранении и ИИ в логистике меняют отрасли!