Нажимая “Принять все файлы cookie”, вы соглашаетесь на сохранение файлов cookie на вашем устройстве с целью улучшения навигации по сайту, анализа использования сайта и помощи в наших маркетинговых усилиях. Подробнее
Настройки cookie
Нажимая “Принять все файлы cookie”, вы соглашаетесь на сохранение файлов cookie на вашем устройстве с целью улучшения навигации по сайту, анализа использования сайта и помощи в наших маркетинговых усилиях. Подробнее
В настоящее время изображения и камеры есть повсюду — они встроены в наши телефоны, дома и даже общественные места. Мы полагаемся на них не только для того, чтобы запечатлевать моменты, но и для того, чтобы понимать мир вокруг нас и взаимодействовать с ним.
За кулисами компьютерное зрение, подобласть искусственного интеллекта (ИИ), делает это возможным, позволяя машинам интерпретировать визуальные данные. Это позволяет системам обнаруживать объекты, распознавать лица и отслеживать движения, играя ключевую роль во многих технологиях, которые мы используем каждый день.
Благодаря последним достижениям в области ИИ, модели компьютерного зрения теперь могут анализировать и извлекать более сложные данные и аналитические выводы. Одним из примеров этого является оценка позы – задача компьютерного зрения, ориентированная на понимание движений человека.
Он работает путем определения ключевых точек на теле, таких как плечи, локти и колени, на изображениях или видео. Это позволяет анализировать, как двигаются люди, что позволяет использовать его в фитнес-трекинге, анимации, здравоохранении и многом другом.
Среди множества инструментов, разработанных для оценки позы, OpenPose выделяется как крупный прорыв. Созданная исследователями из Perceptual Computing Lab в Университете Карнеги-Меллона, она была одной из первых систем с открытым исходным кодом, способных обнаруживать позы всего тела, включая руки, ноги и ключевые точки лица, для нескольких людей в режиме реального времени, используя только камеру (до 135 ключевых точек на человека).
В этой статье мы рассмотрим OpenPose, как он работает и его значение как важной вехи в компьютерном зрении.
Рис. 1. Оценка позы нескольких человек с использованием OpenPose.
Обзор истории оценки позы
До того, как ИИ получил широкое распространение, отслеживание движений человека в видео включало использование специализированного оборудования. В таких отраслях, как кино и анимация, актеры часто носили костюмы со светоотражающими маркерами, чтобы камеры могли фиксировать их движения в контролируемой студийной среде.
Хотя эти методы захвата движения на основе маркеров были точными, они также были дорогими и ограничивались определенными настройками. По мере развития компьютерного зрения исследователи искали способы отслеживать движения тела без использования маркеров. Они использовали края, контуры и шаблоны для поиска человеческих фигур на изображениях.
Эти ранние системы работали в простых и понятных случаях, но испытывали трудности с реальными сценариями. Они часто давали плохие результаты, когда люди двигались неожиданным образом или когда в кадре появлялось более одного человека.
В конце 2010-х годов глубокое обучение привело к серьезному сдвигу в оценке позы. Модели Vision AI можно было обучать на больших наборах данных человеческих поз. Вместо того чтобы полагаться на края и шаблоны, модели научились распознавать суставы тела и структуру, изучая тысячи размеченных изображений. Это сделало оценку позы более точной, гибкой и эффективной в более широком диапазоне настроек.
Рис. 2. Эволюция моделей оценки позы человека с 2017 по 2023 год.
OpenPose: С чего началась современная оценка позы
OpenPose был впервые выпущен в 2017 году и способен оценивать позы нескольких людей одновременно на одном изображении. В отличие от более старых систем, OpenPose не требует специальных костюмов или маркеров. Он работает со стандартными камерами и может обрабатывать изображения и видео в режиме реального времени. Эти функции сделали оценку позы более доступной для разработчиков и исследователей.
Основа, заложенная OpenPose для компьютерного зрения, помогла другим построить новые архитектуры для множества других приложений. Сегодня модели Vision AI, такие как Ultralytics YOLO8 и Ultralytics YOLO11, которые поддерживают задачи оценки позы, предлагают более быстрые результаты и меньшую задержку.
Однако OpenPose — отличное место для начала, если вам интересно, как развивалась оценка позы. Он представил ключевые идеи, на которые до сих пор опираются многие новые системы.
Ключевые возможности OpenPose
Теперь, когда у нас есть лучшее понимание того, почему OpenPose важен, давайте подробнее рассмотрим, что он может делать на самом деле.
В основе возможностей OpenPose лежит то, что называется обнаружением ключевых точек. Ключевые точки — это определенные ориентиры на теле человека, такие как кончик носа, центр плеч, локти, запястья, бедра, колени и лодыжки. OpenPose может обнаруживать до 135 этих точек на человека, включая детализированные области, такие как пальцы и черты лица.
Когда эти точки соединены, они образуют упрощенное представление человеческого тела - вы можете думать об этом как о цифровом скелете. Этот скелетный контур показывает не только то, где находится человек, но и то, как он расположен: сидит ли он, стоит, машет рукой, улыбается или идет. Компьютеры могут интерпретировать движения человека визуально, используя эти скелеты, так же, как мы инстинктивно понимаем язык тела человека.
Отслеживание скелета особенно полезно, поскольку оно отсеивает фоновый шум и отвлекающие факторы, позволяя системе сосредоточиться исключительно на позе и движении человека. Вместо анализа каждого пикселя, OpenPose концентрируется на значимых точках, которые рассказывают о том, как человек двигается или взаимодействует.
Извлекая эту структурированную информацию из повседневных изображений или видео, OpenPose позволяет создавать приложения, которые реагируют на жесты, отслеживают физическую активность, оценивают эмоциональные сигналы или даже анимируют цифровых персонажей.
Как работает OpenPose?
Вот обзор того, как OpenPose обнаруживает и соединяет ключевые точки на теле человека, получая визуальные данные:
Начинается с изображения: OpenPose принимает одно изображение с фотографии, видео или прямой трансляции с камеры.
Определяет важные части тела: Система ищет ключевые точки на теле, такие как нос, локти, запястья, колени и лодыжки. Они отмечаются везде, где система уверена, что находится часть тела.
Определяет, какие части сочетаются друг с другом: Далее OpenPose проверяет, как соединены ключевые точки. Он использует математические вычисления, чтобы решить, какие суставы принадлежат одному и тому же человеку — например, сопоставляет запястье с правым локтем и плечом.
Рисует скелет для каждого человека: После группировки ключевых точек OpenPose соединяет их в «фигуру из палочек», которая показывает позу каждого человека. Это работает, даже когда в одном кадре появляется несколько человек.
Возвращает данные о позе: Наконец, он предоставляет точные позиции всех обнаруженных ключевых точек. Их можно использовать для отслеживания движений, распознавания жестов или создания интерактивных инструментов - и все это в режиме реального времени.
Рис. 4. Обнаружение ключевых точек человека и отслеживание с использованием OpenPose.
Приложения для оценки позы в различных отраслях с использованием OpenPose
OpenPose был одним из первых передовых инструментов, который сделал оценку позы практичной для различных реальных сценариев использования. Хотя сегодня он обычно не используется в решениях компьютерного зрения в реальном времени, он сыграл важную роль в формировании ранних работ в таких областях, как спорт, развлечения, образование и безопасность.
Давайте подробнее рассмотрим, как это помогло проложить путь в этих областях.
Оценка позы с помощью OpenPose для фитнеса и спорта
Когда вы смотрите бейсбол, легко понять, что происходит - вы мгновенно распознаете подачу, удар или украденную базу. Как люди, мы интуитивно считываем движения тела и понимаем их без особых усилий. Но для машин распознавание этих действий гораздо сложнее. Им нужна точная информация о том, как каждая часть тела движется в пространстве.
OpenPose стал значительным шагом вперед в этой области компьютерного зрения. Это был практичный инструмент для анализа спортивной формы в различных условиях.
Во многих исследовательских проектах OpenPose использовался для анализа движений, таких как взмахи и прыжки, и даже для классификации конкретных действий в бейсболе на основе движений игроков. Благодаря тому, что система работала в открытой среде со стандартным видео, исследователи могли проверить, как такие системы могут функционировать в реальных сценариях тренировок или коучинга.
Эти ранние исследования помогли заложить основу для инструментов отслеживания производительности, которые сейчас используются в передовых спортивных технологиях.
Рис. 5. Обзор конвейера классификации бейсбольных действий с использованием OpenPose.
Использование OpenPose в системах безопасности
Аналогично, исследователи также использовали OpenPose для изучения того, как отслеживание позы на основе видео может поддерживать мониторинг безопасности. Он был протестирован в обнаружении поведения, такого как падения, неожиданные жесты или модели движения в общественных местах.
Благодаря тому, что OpenPose работал со стандартными камерами, он сделал ранние эксперименты более доступными в таких средах, как больницы и транспортные узлы. Эти исследования помогли стимулировать разработку новых моделей, которые сейчас используются в системах наблюдения, обнаружения падений и реагирования на чрезвычайные ситуации.
Вот краткий обзор некоторых преимуществ, которые предлагает OpenPose:
Полезно для исследований и прототипирования: Он широко используется в академических исследованиях, особенно в таких областях, как взаимодействие человека с компьютером, биомеханика и анализ поведения.
Кроссплатформенная поддержка: Может работать в Windows, Linux и macOS с поддержкой как центральных процессоров (CPU), так и графических процессоров (GPU).
Возможность автономной обработки: Может работать в средах без доступа к Интернету, что делает его идеальным для конфиденциальных сред, таких как здравоохранение или образование.
Несмотря на то, что OpenPose стал важным шагом вперед, у него также есть технические ограничения, о которых важно помнить. Вот некоторые из ключевых проблем, связанных с OpenPose:
Высокие требования к обработке: Запуск OpenPose в режиме реального времени требует мощного графического процессора и значительных вычислительных ресурсов.
Чувствительность к окружающей среде: Производительность может снизиться в условиях низкой освещенности, в людных местах или когда углы обзора камеры не идеальны.
Более тяжеловесная по сравнению с новыми моделями: По сравнению с новыми моделями оценки позы, OpenPose относительно большая и медленная. Она не подходит для развертывания на устройствах с ограниченными ресурсами, таких как смартфоны, планшеты или встроенные системы.
Основные выводы
OpenPose сыграл важную роль в том, что оценка позы стала более доступной. Он показал, что отслеживание движений тела можно выполнять с помощью простой камеры, не полагаясь на костюмы или специализированное оборудование.
Он заложил основу для множества практических применений в здравоохранении, образовании, развлечениях и исследованиях. Несмотря на то, что новые модели теперь предлагают более высокую скорость и производительность, OpenPose остается ключевым ориентиром для понимания эволюции оценки позы.
