Что такое OpenPose? Изучаем важную веху в оценке позы

Сегодня изображения и камеры повсюду — они встроены в наши телефоны, дома и даже общественные места. Мы полагаемся на них не только для того, чтобы запечатлеть моменты, но и чтобы лучше понимать окружающий мир и взаимодействовать с ним.

За кулисами computer vision, подполе искусственного интеллекта (AI), делает это возможным, позволяя машинам интерпретировать визуальные данные. Оно позволяет системам обнаруживать объекты, распознавать лица и отслеживать движение, играя ключевую роль во многих технологиях, которыми ты пользуешься каждый день.

Благодаря недавним достижениям в области AI модели computer vision теперь могут анализировать и извлекать более сложные данные и инсайты. Одним из примеров является pose estimation — задача computer vision, направленная на понимание человеческих движений.

Она работает путем идентификации ключевых точек на теле, таких как плечи, локти и колени, на изображениях или видео. Это дает возможность анализировать, как люди двигаются, что открывает путь для приложений в фитнес-трекинге, анимации, здравоохранении и многом другом.

Среди множества инструментов, разработанных для pose estimation, OpenPose выделяется как значительный прорыв. Созданная исследователями из Perceptual Computing Lab в Университете Карнеги-Меллона, она стала одной из первых систем с открытым исходным кодом, способных обнаруживать позы всего тела, включая ключевые точки рук, ног и лица, для нескольких людей в реальном времени, используя только одну камеру (до 135 ключевых точек на человека).

В этой статье мы рассмотрим OpenPose, то, как она работает, и ее значимость как вехи в области computer vision.

Fig 1. Оценка позы нескольких людей с помощью OpenPose.

Link to this sectionВзгляд на историю pose estimation#

До того как AI получил широкое распространение, отслеживание движений человека на видео требовало специального оборудования. В таких отраслях, как film and animation, актеры часто носили костюмы со светоотражающими маркерами, чтобы камеры могли фиксировать их движения в контролируемой студийной среде.

Хотя эти методы захвата движения на основе маркеров были точными, они также были дорогими и ограниченными конкретными условиями. По мере развития computer vision исследователи искали способы отслеживания движения тела без маркеров. Они использовали края, контуры и шаблоны для поиска человеческих форм на изображениях.

Эти ранние системы работали в простых и понятных случаях, но с трудом справлялись с реальными сценариями. Они часто давали плохие результаты, когда люди двигались непредсказуемо или когда в кадре появлялось более одного человека.

В конце 2010-х годов deep learning привнесло значительные изменения в pose estimation. Vision AI модели можно было обучать на больших наборах данных человеческих поз. Вместо того чтобы полагаться на края и шаблоны, модели учились распознавать суставы и структуру тела, изучая тысячи размеченных изображений. Это сделало pose estimation более точной, гибкой и эффективной в самых разных условиях.

Fig 2. Эволюция моделей human pose estimation с 2017 по 2023 год.

Link to this sectionOpenPose: С чего началась современная pose estimation#

OpenPose была впервые выпущена в 2017 году и способна оценивать позы нескольких людей одновременно на одном изображении. В отличие от старых систем, OpenPose не требует специальных костюмов или маркеров. Она работает со стандартными камерами и может обрабатывать изображения и видео в реальном времени. Эти возможности сделали pose estimation более доступной для разработчиков и исследователей.

Основа, которую OpenPose заложила для computer vision, помогла другим создавать более новые архитектуры для множества других приложений. Сегодня vision AI модели, такие как Ultralytics YOLOv8 и Ultralytics YOLO11, которые поддерживают задачи pose estimation, обеспечивают более быстрые результаты и меньшую задержку.

Fig 3. Использование YOLO11 для pose estimation.

Тем не менее, OpenPose — отличное место для старта, если тебе интересно, как развивалась pose estimation. Она представила ключевые идеи, на которые многие современные системы опираются до сих пор.

Link to this sectionКлючевые возможности OpenPose#

Теперь, когда у нас есть лучшее понимание того, почему OpenPose важна, давай подробнее рассмотрим, что она на самом деле умеет.

В основе возможностей OpenPose лежит keypoint detection. Ключевые точки — это специфические ориентиры на теле человека, такие как кончик носа, центр плеч, локти, запястья, бедра, колени и лодыжки. OpenPose может обнаруживать до 135 таких точек на человека, включая детальные области, такие как пальцы и черты лица.

Когда эти точки соединяются, они образуют упрощенное представление человеческого тела — можешь воспринимать это как цифровой скелет. Этот скелетный контур показывает не только где находится человек, но и в какой он позе: сидит, стоит, машет рукой, улыбается или идет. Компьютеры могут интерпретировать человеческое движение визуально, используя эти скелеты, подобно тому, как мы инстинктивно понимаем язык тела.

Скелетное отслеживание особенно полезно, поскольку оно убирает фоновый шум и отвлекающие факторы, позволяя системе сосредоточиться исключительно на осанке и движении человека. Вместо того чтобы анализировать каждый пиксель, OpenPose концентрируется на значимых точках, которые рассказывают историю того, как человек движется или взаимодействует.

Извлекая эту структурированную информацию из повседневных изображений или видео, OpenPose позволяет создавать приложения, которые реагируют на жесты, отслеживают физическую активность, оценивают эмоциональные сигналы или даже анимируют цифровых персонажей.

Link to this sectionКак работает OpenPose?#

Вот обзор того, как OpenPose обнаруживает и соединяет ключевые точки на теле человека на основе визуальных данных:

• Начинается с изображения: OpenPose берет одно изображение из фотографии, видео или потока camera.
• Находит важные части тела: Система ищет ключевые точки на теле, такие как нос, локти, запястья, колени и лодыжки. Они отмечаются везде, где система уверена, что часть тела находится в этом месте.
• Определяет, какие части сочетаются: Затем OpenPose проверяет, как соединены ключевые точки. Она использует математические расчеты, чтобы решить, какие суставы принадлежат одному человеку — например, сопоставляя запястье с нужным локтем и плечом.
• Рисует скелет для каждого человека: После группировки ключевых точек OpenPose соединяет их в «палочную фигуру», которая показывает позу каждого человека. Это работает, даже когда в одном кадре появляется несколько людей.
• Возвращает данные о позе: Наконец, она предоставляет точные позиции всех обнаруженных ключевых точек. Их можно использовать для отслеживания движения, распознавания жестов или создания интерактивных инструментов — все в реальном времени.

Fig 4. Обнаружение и отслеживание ключевых точек человека с помощью OpenPose.

Link to this sectionПриложения pose estimation в различных отраслях с использованием OpenPose#

OpenPose была одним из первых передовых инструментов, сделавших pose estimation практичной для множества реальных задач. Хотя сегодня она не часто используется в современных решениях computer vision solutions, она сыграла важную роль в формировании ранних разработок в таких областях, как спорт, развлечения, образование и безопасность.

Давай подробнее рассмотрим, как она помогла проложить путь в этих областях.

Link to this sectionPose estimation с помощью OpenPose для фитнеса и спорта#

Когда ты смотришь бейсбол, легко понять, что происходит — ты можешь мгновенно распознать подачу, взмах битой или кражу базы. Как люди, мы интуитивно считываем движения тела и осознаем их без особых усилий. Но для машин распознавание этих действий гораздо сложнее. Им нужна точная информация о том, как каждая часть тела перемещается в пространстве.

OpenPose стала существенным шагом вперед в этой области computer vision. Это был практичный инструмент для анализа спортивной формы в самых разных условиях.

Многие исследовательские проекты использовали OpenPose для разбора движений, таких как махи и прыжки, даже классифицируя специфические baseball actions в зависимости от того, как игроки двигались. Поскольку она работала в открытых средах со стандартным видео, это позволило исследователям проверить, как такие системы могут функционировать в реальных сценариях тренировок или коучинга.

Эти ранние исследования помогли заложить основу для инструментов отслеживания производительности, которые сейчас используются в передовых sports technology.

Fig 5. Взгляд на конвейер классификации бейсбольных действий с помощью OpenPose.

Link to this sectionИспользование OpenPose в системах безопасности#

Аналогичным образом исследователи использовали OpenPose для изучения того, как отслеживание поз на основе видео может поддерживать мониторинг безопасности. Она тестировалась в detecting behaviors, таких как падения, неожиданные жесты или модели движения в общественных местах.

Поскольку она работала со стандартными камерами, OpenPose сделала ранние эксперименты более доступными в таких средах, как больницы и транспортные узлы. Эти исследования способствовали разработке newer models, которые сейчас используются в наблюдении, обнаружении падений и системах реагирования на чрезвычайные ситуации.

Fig 6. Обнаружение падений с помощью OpenPose.

Link to this sectionПлюсы и минусы OpenPose#

Вот краткий обзор некоторых преимуществ, которые предлагает OpenPose:

• Полезна для исследований и прототипирования: Она широко использовалась в академических исследованиях, особенно в таких областях, как взаимодействие человека и компьютера, биомеханика и поведенческий анализ.
• Кроссплатформенная поддержка: Она может работать на Windows, Linux и macOS, с поддержкой как центральных процессоров (CPUs), так и graphics processing units (GPUs).
• Возможность офлайн-обработки: Она может работать в средах без доступа к интернету, что делает её идеальной для условий с требованиями конфиденциальности, таких как здравоохранение или образование.

Хотя OpenPose была важным шагом вперед, у нее также есть технические ограничения, о которых важно помнить. Вот некоторые из ключевых проблем, связанных с OpenPose:

• Высокие требования к обработке: Работа OpenPose в реальном времени требует мощного GPU и значительных вычислительных ресурсов.
• Чувствительность к среде: Производительность может снижаться при плохом освещении, в людных местах или когда углы обзора камеры не идеальны.
• Тяжелая по сравнению с новыми моделями: По сравнению с более новыми моделями pose estimation, OpenPose относительно велика и медленнее. Она плохо подходит для развертывания на устройствах с ограниченными ресурсами, таких как смартфоны, планшеты или встроенные системы.

Link to this sectionОсновные выводы#

OpenPose сыграла важную роль в том, чтобы сделать pose estimation более доступной. Она показала, что отслеживание движений тела можно выполнять с помощью простой камеры, не полагаясь на костюмы или специальное оборудование.

Она заложила основу для множества практических приложений в здравоохранении, образовании, развлечениях и исследованиях. Хотя современные модели предлагают более высокие скорости и легкую производительность, OpenPose остается ключевой точкой отсчета для понимания того, как развивалась pose estimation.

Присоединяйся к нашему community и посети наш GitHub repository, чтобы узнать больше об AI. Если ты хочешь создать свои собственные решения computer vision, изучи наши licensing options. Также посмотри, как computer vision in healthcare и AI in logistics влияют на индустрию!