Что такое OpenPose? Знакомство с важной вехой в оценке позы

Сегодня изображения и камеры повсюду — они встроены в наши телефоны, дома и даже общественные пространства. Мы полагаемся на них не только для того, чтобы запечатлевать моменты, но и чтобы понимать окружающий мир и взаимодействовать с ним.

За кулисами компьютерное зрение, подотрасль искусственного интеллекта (AI), делает это возможным, позволяя машинам интерпретировать визуальные данные. Оно позволяет системам обнаруживать объекты, распознавать лица и отслеживать движения, играя ключевую роль во многих технологиях, которыми мы пользуемся каждый день.

Благодаря последним достижениям в области AI модели компьютерного зрения теперь могут анализировать и извлекать более сложные данные и сведения. Один из примеров — оценка позы, задача компьютерного зрения, ориентированная на понимание движений человека.

Она работает за счёт определения ключевых точек тела, таких как плечи, локти и колени, на изображениях или видео. Это позволяет анализировать движения людей и создавать приложения для отслеживания физической активности, анимации, здравоохранения и других областей.

Среди множества инструментов, разработанных для оценки позы, OpenPose выделяется как важный прорыв. Созданная исследователями из Perceptual Computing Lab при Carnegie Mellon University, эта система стала одной из первых систем с открытым исходным кодом, способных в реальном времени обнаруживать позы всего тела нескольких людей, включая кисти, стопы и лицевые ключевые точки, используя только камеру (до 135 ключевых точек на человека).

В этой статье мы рассмотрим OpenPose, принцип его работы и его значение как важной вехи в развитии компьютерного зрения.

Рис. 1. Оценка позы нескольких людей с помощью OpenPose.

Краткая история оценки позы#

До широкого внедрения AI отслеживание движений человека на видео требовало специализированного оборудования. В таких сферах, как кино и анимация, актёры часто надевали костюмы со светоотражающими маркерами, чтобы камеры могли фиксировать их движения в контролируемых условиях студии.

Хотя эти технологии захвата движений на основе маркеров были точными, они также были дорогими и применялись только в определённых условиях. По мере развития компьютерного зрения исследователи искали способы отслеживать движения тела без маркеров. Для поиска человеческих силуэтов на изображениях они использовали границы, контуры и шаблоны.

Эти ранние системы хорошо работали в простых и предсказуемых ситуациях, но испытывали трудности в реальных условиях. Они часто выдавали плохие результаты, когда люди двигались неожиданным образом или в кадре находилось несколько человек.

В конце 2010-х годов глубокое обучение привнесло серьёзные изменения в оценку позы. Модели AI для компьютерного зрения можно было обучать на больших наборах данных о человеческих позах. Вместо опоры на границы и шаблоны модели учились распознавать суставы и структуру тела, анализируя тысячи размеченных изображений. Благодаря этому оценка позы стала точнее, гибче и эффективнее в более широком спектре условий.

Рис. 2. Развитие моделей оценки позы человека с 2017 по 2023 год.

OpenPose: начало современной оценки позы#

OpenPose впервые представили в 2017 году. Система способна одновременно оценивать позы нескольких людей на одном изображении. В отличие от старых систем, OpenPose не требует специальных костюмов или маркеров. Она работает со стандартными камерами и может обрабатывать изображения и видео в реальном времени. Благодаря этим особенностям оценка позы стала доступнее для разработчиков и исследователей.

Основа, заложенная OpenPose в компьютерное зрение, помогла другим разработчикам создавать новые архитектуры для множества других приложений. Сегодня модели AI для компьютерного зрения, такие как Ultralytics YOLOv8 и Ultralytics YOLO11, поддерживающие задачи оценки позы, обеспечивают более высокую скорость и меньшую задержку.

Рис. 3. Использование YOLO11 для оценки позы.

Однако OpenPose — отличная отправная точка, если тебе интересно, как развивалась оценка позы. Она заложила ключевые идеи, на которые многие более новые системы по-прежнему опираются.

Ключевые возможности OpenPose#

Теперь, когда мы лучше понимаем, почему OpenPose важна, давай подробнее рассмотрим, что именно она умеет.

В основе возможностей OpenPose лежит так называемое обнаружение ключевых точек. Ключевые точки — это определённые ориентиры на теле человека, например кончик носа, центр плеч, локти, запястья, бёдра, колени и лодыжки. OpenPose может обнаруживать до 135 таких точек на человека, включая подробные области вроде пальцев и черт лица.

При соединении эти точки образуют упрощённое представление человеческого тела — его можно представить как цифровой скелет. Этот скелет показывает не только положение человека, но и его позу: сидит ли он, стоит, машет рукой, улыбается или идёт. Компьютеры могут визуально интерпретировать движения человека с помощью таких скелетов, подобно тому как мы инстинктивно понимаем язык тела.

Отслеживание скелета особенно полезно, поскольку оно устраняет фоновый шум и отвлекающие элементы, позволяя системе сосредоточиться исключительно на позе и движениях человека. Вместо анализа каждого пикселя OpenPose фокусируется на значимых точках, которые показывают, как человек движется или взаимодействует с окружающими.

Извлекая эту структурированную информацию из обычных изображений или видео, OpenPose позволяет создавать приложения, реагирующие на жесты, отслеживающие физическую активность, оценивающие эмоциональные сигналы и даже анимирующие цифровых персонажей.

Как работает OpenPose?#

Ниже приведён обзор того, как OpenPose обнаруживает и соединяет ключевые точки человеческого тела по визуальным данным:

• Начинает с изображения: OpenPose получает одно изображение из фотографии, видео или прямой трансляции с камеры.
• Находит важные части тела: Система ищет ключевые точки на теле, такие как нос, локти, запястья, колени и лодыжки. Они отмечаются в тех местах, где система уверена в расположении соответствующей части тела.
• Определяет, какие части принадлежат одному человеку: Затем OpenPose проверяет, как соединены ключевые точки. С помощью математических вычислений система определяет, какие суставы принадлежат одному человеку, например сопоставляет запястье с правыми локтем и плечом.
• Рисует скелет для каждого человека: После группировки ключевых точек OpenPose соединяет их в «палочную фигурку», показывающую позу каждого человека. Это работает даже тогда, когда в одном кадре находятся несколько людей.
• Возвращает данные о позе: Наконец, система предоставляет точные координаты всех обнаруженных ключевых точек. Их можно использовать для отслеживания движений, распознавания жестов или создания интерактивных инструментов — всё это в реальном времени.

Рис. 4. Обнаружение и отслеживание ключевых точек человека с помощью OpenPose.

Применение оценки позы с OpenPose в различных отраслях#

OpenPose стала одним из первых передовых инструментов, сделавших оценку позы практичной для множества реальных задач. Хотя сегодня она редко используется в работающих в реальном времени решениях на основе компьютерного зрения, система сыграла важную роль в развитии ранних исследований в таких областях, как спорт, развлечения, образование и безопасность.

Давай подробнее рассмотрим, как она помогла проложить путь в этих областях.

Оценка позы с OpenPose для фитнеса и спорта#

Когда ты смотришь бейсбол, легко понять, что происходит: ты сразу распознаёшь подачу, удар битой или кражу базы. Мы, люди, интуитивно считываем движения тела и без особых усилий понимаем их смысл. Для машин же распознавание таких действий гораздо сложнее. Им нужна точная информация о том, как каждая часть тела перемещается в пространстве.

OpenPose стала значительным шагом вперёд в этой области компьютерного зрения. Это был практичный инструмент для анализа техники спортсменов в самых разных условиях.

Во многих исследовательских проектах OpenPose использовали для анализа таких движений, как удары и прыжки, а также для классификации конкретных действий в бейсболе на основе движений игроков. Поскольку система работала в открытых условиях со стандартным видео, она позволяла исследователям проверять, как такие системы могут функционировать в реальных сценариях тренировок и обучения.

Эти ранние исследования помогли заложить основу для инструментов отслеживания результатов, которые сегодня используются в передовых решениях спортивных технологий.

Рис. 5. Обзор конвейера классификации действий в бейсболе с использованием OpenPose.

Использование OpenPose в системах безопасности и защиты#

Аналогичным образом исследователи использовали OpenPose, чтобы изучить, как отслеживание позы по видео может помочь в мониторинге безопасности. Систему тестировали для обнаружения поведения, такого как падения, неожиданные жесты или характерные модели движений в общественных местах.

Поскольку OpenPose работала со стандартными камерами, она сделала первые эксперименты доступнее в таких местах, как больницы и транспортные узлы. Эти исследования способствовали разработке более новых моделей, которые сегодня применяются в системах видеонаблюдения, обнаружения падений и реагирования на чрезвычайные ситуации.

Рис. 6. Обнаружение падений с помощью OpenPose.

Преимущества и недостатки OpenPose#

Вот некоторые преимущества OpenPose:

• Полезна для исследований и прототипирования: Она широко использовалась в академических исследованиях, особенно в таких областях, как взаимодействие человека и компьютера, биомеханика и анализ поведения.
• Кроссплатформенная поддержка: Она может работать в Windows, Linux и macOS с поддержкой как центральных процессоров (CPUs), так и графических процессоров (GPUs).
• Возможность автономной обработки: Она может работать в средах без доступа к интернету, что делает её идеальной для областей с повышенными требованиями к конфиденциальности, таких как здравоохранение и образование.

Хотя OpenPose стала важным шагом вперёд, у неё есть и технические ограничения, которые важно учитывать. Вот некоторые ключевые проблемы, связанные с OpenPose:

• Высокие требования к обработке: Для работы OpenPose в реальном времени требуются мощный GPU и значительные вычислительные ресурсы.
• Зависимость от условий окружающей среды: Производительность может снижаться при слабом освещении, в людных местах или при неудачных ракурсах камеры.
• Тяжёлая по сравнению с более новыми моделями: По сравнению с более новыми моделями оценки позы OpenPose относительно велика и работает медленнее. Она плохо подходит для развёртывания на устройствах с ограниченными ресурсами, таких как смартфоны, планшеты и встраиваемые системы.

Основные выводы#

OpenPose сыграла важную роль в повышении доступности оценки позы. Она показала, что отслеживать движения тела можно с помощью простой камеры, без костюмов и специализированного оборудования.

Она заложила основу для множества практических приложений в здравоохранении, образовании, индустрии развлечений и исследованиях. Хотя новые модели теперь обеспечивают более высокую скорость и требуют меньше ресурсов, OpenPose остаётся важной точкой отсчёта для понимания развития оценки позы.

Присоединяйся к нашему сообществу и посети наш репозиторий на GitHub, чтобы узнать больше об AI. Если ты хочешь создавать собственные решения на основе компьютерного зрения, изучи наши варианты лицензирования. Также узнай, как компьютерное зрение в здравоохранении и AI в логистике меняют эти отрасли!