Что такое OpenPose? Изучаем важную веху в оценке позы

Сегодня изображения и камеры повсюду — они встроены в наши телефоны, дома и даже общественные места. Мы полагаемся на них не только для того, чтобы запечатлеть моменты, но и чтобы лучше понимать окружающий мир и взаимодействовать с ним.

За кулисами computer vision, подраздел искусственного интеллекта (ИИ), делает это возможным, позволяя машинам интерпретировать визуальные данные. Это позволяет системам обнаруживать объекты, распознавать лица и отслеживать движение, играя ключевую роль во многих технологиях, которые ты используешь каждый день.

Благодаря недавним достижениям в области ИИ модели computer vision теперь могут анализировать и извлекать более сложные данные и инсайты. Одним из примеров этого является pose estimation, задача computer vision, ориентированная на понимание движений человека.

Она работает путем идентификации ключевых точек на теле, таких как плечи, локти и колени, на изображениях или видео. Это дает возможность анализировать, как люди двигаются, что открывает путь для приложений в фитнес-трекинге, анимации, здравоохранении и многом другом.

Среди множества инструментов, разработанных для pose estimation, OpenPose выделяется как значительный прорыв. Созданная исследователями из Perceptual Computing Lab в Университете Карнеги-Меллона, она стала одной из первых систем с открытым исходным кодом, способных обнаруживать позы всего тела, включая ключевые точки рук, ног и лица, для нескольких людей в реальном времени, используя только одну камеру (до 135 ключевых точек на человека).

В этой статье мы рассмотрим OpenPose, то, как она работает, и ее значимость как вехи в области computer vision.

Fig 1. Оценка позы нескольких людей с использованием OpenPose.

Взгляд на историю pose estimation#

До широкого распространения ИИ отслеживание движений человека на видео предполагало использование специализированного оборудования. В таких индустриях, как film and animation, актеры часто носили костюмы со светоотражающими маркерами, чтобы камеры могли фиксировать их движения в контролируемой студийной среде.

Хотя эти методы захвата движения на основе маркеров были точными, они также были дорогими и ограниченными конкретными условиями. По мере развития computer vision исследователи искали способы отслеживания движения тела без маркеров. Они использовали края, контуры и шаблоны для поиска человеческих форм на изображениях.

Эти ранние системы работали в простых и понятных случаях, но с трудом справлялись с реальными сценариями. Они часто давали плохие результаты, когда люди двигались непредсказуемо или когда в кадре появлялось более одного человека.

В конце 2010-х годов deep learning принесло серьезные изменения в pose estimation. Модели Vision AI можно было обучать на больших наборах данных человеческих поз. Вместо того чтобы полагаться на контуры и шаблоны, модели научились распознавать суставы и структуру тела, изучая тысячи размеченных изображений. Это сделало pose estimation более точным, гибким и эффективным в самых разных условиях.

Fig 2. Эволюция моделей оценки позы человека с 2017 по 2023 год.

OpenPose: С чего началась современная pose estimation#

OpenPose была впервые выпущена в 2017 году и способна оценивать позы нескольких людей одновременно на одном изображении. В отличие от старых систем, OpenPose не требует специальных костюмов или маркеров. Она работает со стандартными камерами и может обрабатывать изображения и видео в реальном времени. Эти возможности сделали pose estimation более доступной для разработчиков и исследователей.

Фундамент, заложенный OpenPose для computer vision, помог другим создать более новые архитектуры для множества других приложений. Сегодня модели Vision AI, такие как Ultralytics YOLOv8 и Ultralytics YOLO11, которые поддерживают задачи pose estimation, обеспечивают более быстрые результаты и меньшую задержку.

Fig 3. Использование YOLO11 для pose estimation.

Тем не менее, OpenPose — отличное место для старта, если тебе интересно, как развивалась pose estimation. Она представила ключевые идеи, на которые многие современные системы опираются до сих пор.

Ключевые возможности OpenPose#

Теперь, когда у нас есть лучшее понимание того, почему OpenPose важна, давай подробнее рассмотрим, что она на самом деле умеет.

В основе возможностей OpenPose лежит то, что называется keypoint detection. Ключевые точки — это определенные ориентиры на человеческом теле, такие как кончик носа, центр плеч, локти, запястья, бедра, колени и лодыжки. OpenPose может обнаруживать до 135 таких точек на человека, включая детализированные области, такие как пальцы и черты лица.

Когда эти точки соединяются, они образуют упрощенное представление человеческого тела — можешь воспринимать это как цифровой скелет. Этот скелетный контур показывает не только где находится человек, но и в какой он позе: сидит, стоит, машет рукой, улыбается или идет. Компьютеры могут интерпретировать человеческое движение визуально, используя эти скелеты, подобно тому, как мы инстинктивно понимаем язык тела.

Скелетное отслеживание особенно полезно, поскольку оно убирает фоновый шум и отвлекающие факторы, позволяя системе сосредоточиться исключительно на осанке и движении человека. Вместо того чтобы анализировать каждый пиксель, OpenPose концентрируется на значимых точках, которые рассказывают историю того, как человек движется или взаимодействует.

Извлекая эту структурированную информацию из повседневных изображений или видео, OpenPose позволяет создавать приложения, которые реагируют на жесты, отслеживают физическую активность, оценивают эмоциональные сигналы или даже анимируют цифровых персонажей.

Как работает OpenPose?#

Вот обзор того, как OpenPose обнаруживает и соединяет ключевые точки на теле человека на основе визуальных данных:

• Начинается с изображения: OpenPose принимает одно изображение с фото, видео или трансляции с camera в реальном времени.
• Находит важные части тела: Система ищет ключевые точки на теле, такие как нос, локти, запястья, колени и лодыжки. Они отмечаются везде, где система уверена, что часть тела находится в этом месте.
• Определяет, какие части сочетаются: Затем OpenPose проверяет, как соединены ключевые точки. Она использует математические расчеты, чтобы решить, какие суставы принадлежат одному человеку — например, сопоставляя запястье с нужным локтем и плечом.
• Рисует скелет для каждого человека: После группировки ключевых точек OpenPose соединяет их в «палочную фигуру», которая показывает позу каждого человека. Это работает, даже когда в одном кадре появляется несколько людей.
• Возвращает данные о позе: Наконец, она предоставляет точные позиции всех обнаруженных ключевых точек. Их можно использовать для отслеживания движения, распознавания жестов или создания интерактивных инструментов — все в реальном времени.

Fig 4. Обнаружение и отслеживание ключевых точек человека с использованием OpenPose.

Приложения pose estimation в различных отраслях с использованием OpenPose#

OpenPose был одним из первых передовых инструментов, сделавших pose estimation практичным для различных сценариев реального мира. Хотя сегодня он не так часто используется в реальном времени в computer vision solutions, он сыграл важную роль в формировании ранних разработок в таких сферах, как спорт, развлечения, образование и безопасность.

Давай подробнее рассмотрим, как она помогла проложить путь в этих областях.

Pose estimation с помощью OpenPose для фитнеса и спорта#

Когда ты смотришь бейсбол, легко понять, что происходит — ты можешь мгновенно распознать подачу, взмах битой или кражу базы. Как люди, мы интуитивно считываем движения тела и осознаем их без особых усилий. Но для машин распознавание этих действий гораздо сложнее. Им нужна точная информация о том, как каждая часть тела перемещается в пространстве.

OpenPose стала существенным шагом вперед в этой области computer vision. Это был практичный инструмент для анализа спортивной формы в самых разных условиях.

Многие исследовательские проекты использовали OpenPose для разбора движений, таких как махи и прыжки, и даже классификации конкретных baseball actions на основе того, как двигались игроки. Поскольку он работал в открытой среде со стандартным видео, он позволял исследователям тестировать, как такие системы могут функционировать в реальных тренировках или сценариях коучинга.

Эти ранние исследования помогли заложить основу для инструментов отслеживания производительности, которые теперь используются в передовых sports technology.

Fig 5. Обзор конвейера классификации бейсбольных действий с использованием OpenPose.

Использование OpenPose в системах безопасности#

Аналогичным образом исследователи также использовали OpenPose для изучения того, как отслеживание позы на основе видео может поддерживать мониторинг безопасности. Он тестировался при detecting behaviors, таких как падения, неожиданные жесты или паттерны движения в общественных местах.

Поскольку OpenPose работал со стандартными камерами, он сделал ранние эксперименты более доступными в таких средах, как больницы и транспортные узлы. Эти исследования помогли стимулировать разработку newer models, которые теперь используются в системах видеонаблюдения, обнаружения падений и реагирования на чрезвычайные ситуации.

Fig 6. Обнаружение падений с помощью OpenPose.

Плюсы и минусы OpenPose#

Вот краткий обзор некоторых преимуществ, которые предлагает OpenPose:

• Полезна для исследований и прототипирования: Она широко использовалась в академических исследованиях, особенно в таких областях, как взаимодействие человека и компьютера, биомеханика и поведенческий анализ.
• Кроссплатформенная поддержка: Он может работать на Windows, Linux и macOS с поддержкой как центральных процессоров (CPU), так и graphics processing units (GPUs).
• Возможность офлайн-обработки: Она может работать в средах без доступа к интернету, что делает её идеальной для условий с требованиями конфиденциальности, таких как здравоохранение или образование.

Хотя OpenPose была важным шагом вперед, у нее также есть технические ограничения, о которых важно помнить. Вот некоторые из ключевых проблем, связанных с OpenPose:

• Высокие требования к обработке: Работа OpenPose в реальном времени требует мощного GPU и значительных вычислительных ресурсов.
• Чувствительность к среде: Производительность может снижаться при плохом освещении, в людных местах или когда углы обзора камеры не идеальны.
• Тяжелая по сравнению с новыми моделями: По сравнению с более новыми моделями pose estimation, OpenPose относительно велика и медленнее. Она плохо подходит для развертывания на устройствах с ограниченными ресурсами, таких как смартфоны, планшеты или встроенные системы.

Основные выводы#

OpenPose сыграла важную роль в том, чтобы сделать pose estimation более доступной. Она показала, что отслеживание движений тела можно выполнять с помощью простой камеры, не полагаясь на костюмы или специальное оборудование.

Она заложила основу для множества практических приложений в здравоохранении, образовании, развлечениях и исследованиях. Хотя современные модели предлагают более высокие скорости и легкую производительность, OpenPose остается ключевой точкой отсчета для понимания того, как развивалась pose estimation.

Присоединяйся к нашему community и посети наш GitHub repository, чтобы узнать больше об ИИ. Если ты хочешь создать собственные решения в области computer vision, изучи наши licensing options. Кроме того, узнай, как computer vision in healthcare и AI in logistics меняют ситуацию к лучшему!