Нажав кнопку "Принять все файлы cookie", вы соглашаетесь с сохранением файлов cookie на вашем устройстве для улучшения навигации по сайту, анализа его использования и помощи в наших маркетинговых усилиях. Дополнительная информация
Настройки файлов cookie
Нажав кнопку "Принять все файлы cookie", вы соглашаетесь с сохранением файлов cookie на вашем устройстве для улучшения навигации по сайту, анализа его использования и помощи в наших маркетинговых усилиях. Дополнительная информация
В наши дни изображения и камеры повсюду — встроены в наши телефоны, дома и даже общественные места. Мы полагаемся на них не только для того, чтобы запечатлеть моменты, но и чтобы они помогали нам понимать и взаимодействовать с окружающим миром.
За кулисами компьютерное зрение , подраздел искусственного интеллекта (ИИ), делает это возможным, позволяя машинам интерпретировать визуальные данные. Оно позволяет системам обнаруживать объекты, распознавать лица и отслеживать движение, играя ключевую роль во многих технологиях, которые мы используем каждый день.
Благодаря последним достижениям в области ИИ, модели компьютерного зрения теперь могут анализировать и извлекать более сложные данные и идеи. Одним из примеров этого является оценка позы , задача компьютерного зрения, направленная на понимание движения человека.
Он работает, определяя ключевые точки на теле, такие как плечи, локти и колени, на изображениях или видео. Это позволяет анализировать, как люди двигаются, что позволяет использовать приложения в фитнес-трекинге, анимации, здравоохранении и т. д.
Среди множества инструментов, разработанных для оценки поз, OpenPose выделяется как крупный прорыв. Созданная исследователями из Лаборатории перцептивных вычислений в Университете Карнеги-Меллона, она была одной из первых систем с открытым исходным кодом, способных определять позы всего тела, включая руки, ноги и ключевые точки лица, для нескольких людей в реальном времени, используя только камеру (до 135 ключевых точек на человека).
В этой статье мы рассмотрим OpenPose, принципы его работы и его значение как важной вехи в развитии компьютерного зрения.
Рис 1. Оценка позы нескольких человек с использованием OpenPose.
Взгляд на историю оценки позы
До того, как ИИ получил широкое распространение, отслеживание движений человека в видео требовало использования специализированного оборудования. В таких отраслях, как кино и анимация , актеры часто носили костюмы со светоотражающими маркерами, чтобы камеры могли фиксировать их движения в контролируемой студийной среде.
Хотя эти методы захвата движения на основе маркеров были точными, они также были дорогими и ограничивались определенными настройками. По мере развития компьютерного зрения исследователи искали способы отслеживать движение тела без использования маркеров. Они использовали края, контуры и шаблоны для поиска человеческих фигур на изображениях.
Эти ранние системы работали в простых и понятных случаях, но боролись с реальными сценариями. Они часто давали плохие результаты, когда люди двигались неожиданным образом или когда в кадре появлялось больше одного человека.
В конце 2010-х годов глубокое обучение внесло существенный сдвиг в оценку поз. Модели Vision AI могли обучаться на больших наборах данных человеческих поз. Вместо того чтобы полагаться на края и шаблоны, модели научились распознавать суставы и структуру тела, изучая тысячи помеченных изображений. Это сделало оценку поз более точной, гибкой и эффективной в более широком диапазоне настроек.
Рис 2. Эволюция моделей оценки позы человека с 2017 по 2023 год.
OpenPose: где зародилась современная оценка поз
OpenPose был впервые выпущен в 2017 году и способен оценивать позы нескольких людей одновременно на одном изображении. В отличие от старых систем, OpenPose не требует специальных костюмов или маркеров. Он работает со стандартными камерами и может обрабатывать изображения и видео в реальном времени. Эти функции сделали оценку поз более доступной для разработчиков и исследователей
Основа, которую OpenPose заложил для компьютерного зрения, помогла другим создать новые архитектуры для множества других приложений. Сегодня модели Vision AI, такие как Ultralytics YOLO8 и Ultralytics YOLO11 , которые поддерживают задачи оценки позы, предлагают более быстрые результаты и меньшую задержку.
Однако OpenPose — это отличное место для начала, если вам интересно, как развивалась оценка поз. Он представил ключевые идеи, на которые многие новые системы полагаются и сегодня.
Ключевые возможности OpenPose
Теперь, когда мы лучше понимаем, почему OpenPose так важен, давайте подробнее рассмотрим, что он на самом деле может делать.
В основе возможностей OpenPose лежит так называемое обнаружение ключевых точек . Ключевые точки — это особые ориентиры на теле человека, такие как кончик носа, центр плеч, локтей, запястий, бедер, коленей и лодыжек. OpenPose может обнаружить до 135 таких точек на человека, включая такие детализированные области, как пальцы и черты лица.
Когда эти точки соединены, они образуют упрощенное представление человеческого тела — вы можете думать о нем как о цифровом скелете. Этот скелетный контур показывает не только, где находится человек, но и как он поза: сидит ли он, стоит, машет рукой, улыбается или идет. Компьютеры могут визуально интерпретировать движения человека, используя эти скелеты, так же, как мы инстинктивно понимаем чей-то язык тела.
Отслеживание скелета особенно полезно, поскольку оно устраняет фоновый шум и отвлекающие факторы, позволяя системе сосредоточиться исключительно на позе и движении человека. Вместо того чтобы анализировать каждый пиксель, OpenPose концентрируется на значимых точках, которые рассказывают историю о том, как человек движется или взаимодействует.
Извлекая эту структурированную информацию из повседневных изображений или видео, OpenPose позволяет создавать приложения, которые реагируют на жесты, отслеживают физическую активность, оценивают эмоциональные сигналы или даже анимируют цифровых персонажей.
Как работает OpenPose?
Ниже представлен обзор того, как OpenPose обнаруживает и соединяет ключевые точки на теле человека на основе визуального ввода:
Начинается с изображения: OpenPose берет одно изображение из фотографии, видео или прямой трансляции с камеры .
Выявляет важные части тела: система ищет ключевые точки на теле, такие как нос, локти, запястья, колени и лодыжки. Они отмечаются там, где система уверена, что находится часть тела.
Выясняет, какие части подходят друг другу: Затем OpenPose проверяет, как связаны ключевые точки. Он использует математические расчеты, чтобы решить, какие суставы принадлежат одному и тому же человеку — например, сопоставляя запястье с правым локтем и плечом.
Рисует скелет для каждого человека: После группировки ключевых точек OpenPose соединяет их в «фигуру», которая показывает позу каждого человека. Это работает даже тогда, когда в одном кадре появляется несколько человек.
Возвращает данные о позе: Наконец, он предоставляет точные позиции всех обнаруженных ключевых точек. Их можно использовать для отслеживания движения, распознавания жестов или создания интерактивных инструментов — все в реальном времени.
Рис 4. Обнаружение и отслеживание ключевых точек человека с помощью OpenPose.
Приложения для оценки поз в различных отраслях с использованием OpenPose
OpenPose был одним из первых передовых инструментов, который сделал оценку позы практичной для различных реальных случаев использования. Хотя сегодня он нечасто используется в решениях для компьютерного зрения в реальном времени, он сыграл важную роль в формировании ранних работ в таких областях, как спорт, развлечения, образование и безопасность.
Давайте подробнее рассмотрим, как это помогло проложить путь в этих областях.
Оценка позы с OpenPose для фитнеса и спорта
Когда вы смотрите бейсбол, легко понять, что происходит — вы можете мгновенно распознать подачу, замах или украденную базу. Как люди, мы интуитивно считываем движения тела и понимаем их без особых усилий. Но для машин распознавание этих действий гораздо сложнее. Им нужна точная информация о том, как каждая часть тела движется в пространстве.
OpenPose был существенным шагом вперед в этой области компьютерного зрения. Это был практический инструмент для анализа спортивной формы в различных условиях.
Многие исследовательские проекты использовали OpenPose для разбивки движений, таких как замахи и прыжки, и даже для классификации конкретных действий в бейсболе на основе того, как двигались игроки. Поскольку он работал в открытых средах со стандартным видео, он позволял исследователям проверить, как такие системы могут функционировать в реальных сценариях тренировок или коучинга.
Эти ранние исследования помогли заложить основу для инструментов отслеживания результатов, которые сейчас используются в передовых спортивных технологиях .
Рис 5. Взгляд на конвейер классификации бейсбольных действий с использованием OpenPose.
Использование OpenPose в системах безопасности и охраны
Аналогичным образом исследователи также использовали OpenPose для изучения того, как отслеживание поз на основе видео может поддерживать мониторинг безопасности. Он был протестирован для обнаружения поведения, такого как падения, неожиданные жесты или модели движения в общественных местах.
Поскольку OpenPose работал со стандартными камерами, ранние эксперименты стали более доступными в таких средах, как больницы и транспортные узлы. Эти исследования помогли стимулировать разработку новых моделей, которые теперь используются в системах наблюдения, обнаружения падений и реагирования на чрезвычайные ситуации.
Рис 6. Обнаружение падения, реализованное в OpenPose.
Плюсы и минусы OpenPose
Вот краткий обзор некоторых преимуществ, которые предлагает OpenPose:
Полезен для исследований и создания прототипов: широко используется в академических исследованиях, особенно в таких областях, как взаимодействие человека и компьютера, биомеханика и поведенческий анализ.
Кроссплатформенная поддержка: может работать на Windows, Linux и macOS, с поддержкой как центральных процессоров (ЦП), так и графических процессоров (ГП) .
Возможность автономной обработки : может работать в средах без доступа к Интернету, что делает его идеальным для сфер с особыми требованиями к конфиденциальности, таких как здравоохранение или образование.
Хотя OpenPose был большим шагом вперед, он также имеет технические ограничения, которые важно иметь в виду. Вот некоторые из основных проблем, связанных с OpenPose:
Высокие требования к обработке: для работы OpenPose в реальном времени требуется мощный графический процессор и значительные вычислительные ресурсы.
Чувствительность к окружающей среде: производительность может снижаться при слабом освещении, в людных местах или при неидеальных углах обзора камеры.
Тяжелый по сравнению с новыми моделями: По сравнению с новыми моделями оценки позы OpenPose относительно большой и медленный. Он не очень подходит для развертывания на устройствах с ограниченными ресурсами, таких как смартфоны, планшеты или встроенные системы.
Основные выводы
OpenPose сыграл важную роль в том, чтобы сделать оценку поз более доступной. Он показал, что отслеживание движений тела можно осуществлять с помощью простой камеры, не полагаясь на костюмы или специализированное оборудование.
Он заложил основу для многих практических приложений в здравоохранении, образовании, развлечениях и исследованиях. Хотя новые модели теперь предлагают более высокую скорость и более легкую производительность, OpenPose остается ключевой точкой отсчета для понимания того, как развивалась оценка позы.
RU
EN
ZH
KO
JA
DE
FR
ES
PT
IT
TR
VI
AR
