Полное руководство по инструментам оценки позы

Мы, люди, инстинктивно считываем движения. Когда кто-то наклоняется вперед, поворачивает голову или поднимает руку, ты сразу понимаешь, что он делает. Это тихий, почти подсознательный навык, который определяет наше взаимодействие с людьми и познание мира.

По мере того как технологии становятся важнее в повседневной жизни, естественно хотеть, чтобы наши устройства понимали движения так же легко, как мы. Последние достижения в области искусственного интеллекта, особенно на основе глубокого обучения, делают это возможным. В частности, компьютерное зрение помогает машинам извлекать смысл из изображений и видео и способствует этому прогрессу.

Например, оценка позы — распространенная задача компьютерного зрения, которая предсказывает положение заранее определенных ключевых точек тела (например, плеч, локтей, бедер и коленей) на изображении или видеокадре. Эти ключевые точки можно соединить с помощью фиксированного определения скелета, чтобы сформировать упрощенное представление позы.

Модели компьютерного зрения, такие как Ultralytics YOLO11 и предстоящая Ultralytics YOLO26, поддерживают такие задачи, как оценка позы, и могут использоваться для создания приложений реального времени, включая обратную связь по технике выполнения упражнений в фитнесе и спорте, мониторинг безопасности и интерактивные возможности дополненной реальности.

Рис. 1. Обзор использования Ultralytics YOLO11 для оценки позы (Источник)

В этой статье мы подробно рассмотрим инструменты оценки позы и разберемся, как работает оценка позы, где она применяется, а также какие модели и библиотеки сегодня считаются одними из лучших. Начнем!

Что такое оценка позы?#

Оценка позы — это метод компьютерного зрения, который помогает системе понять, как человек или объект расположен на изображении или видео. Вместо анализа каждого пикселя с одинаковым вниманием система предсказывает набор согласованных ориентиров, таких как голова, плечи, локти, бедра, колени и лодыжки.

Большинство моделей выдают координаты этих ключевых точек и оценку, отражающую вероятность правильности каждого предсказания. Затем эти ключевые точки можно соединить с помощью заранее определенной схемы скелета, чтобы сформировать простое представление позы.

При обработке видео покадрово полученные ключевые точки можно сопоставлять во времени, чтобы оценивать движение. Это позволяет создавать такие приложения, как проверка техники выполнения упражнений, анализ движений и взаимодействие на основе жестов.

Рис. 2. Пример оценки позы (Источник)

Зачем нужны инструменты оценки позы#

Движения человека несут много информации. То, как человек сгибается, тянется или переносит вес, может раскрыть его намерения, усилия, усталость или даже риск травмы. До недавнего времени для получения такого уровня детализации обычно требовались специализированные датчики, костюмы для захвата движений или контролируемые лабораторные условия.

Оценка позы меняет ситуацию. Извлечение ключевых ориентиров тела из обычных изображений и видео позволяет компьютерам анализировать движения с помощью стандартных камер. Благодаря этому анализ движений становится доступнее, масштабируемее и практичнее для использования в реальных условиях.

Вот несколько способов, которыми оценка позы может повлиять на практику:

• Более безопасные рабочие места: системы на основе компьютерного зрения можно использовать для выявления опасных поз, повторяющихся нагрузок или небезопасной техники подъема до того, как произойдут травмы.
• Более эффективные тренировки и занятия спортом: решения на основе ИИ и компьютерного зрения могут оценивать технику, баланс и выполнение упражнений в реальном времени, предоставляя пользователям мгновенную обратную связь без носимых устройств.
• Здравоохранение и реабилитация: клиницисты могут удаленно отслеживать процесс восстановления, осанку и диапазон движений с помощью простых видеозаписей.
• Интерактивные возможности: оценка позы упрощает точное отслеживание и отражение движений человека цифровыми аватарами и в иммерсивных средах.

Эволюция алгоритмов оценки позы#

Идея оценки позы существует уже много лет. Ранние подходы использовали простые геометрические модели и заданные вручную правила и обычно работали только в контролируемых условиях.

Например, система могла хорошо работать, когда человек неподвижно стоит в фиксированном положении, но давать сбой, когда он начинал идти, поворачиваться или взаимодействовать с объектами в реальных сценах. Такие методы часто испытывали трудности с естественными движениями, меняющимися углами камеры, загроможденным фоном и частичным перекрытием объектов.

Современная оценка позы использует глубокое обучение для решения этих задач. Обучаясь на больших размеченных наборах данных с помощью сверточных нейронных сетей, модели осваивают визуальные закономерности, которые помогают им надежнее обнаруживать ключевые точки при разных позах, людях и условиях.

С увеличением числа примеров модель улучшает свои предсказания и лучше обобщает данные на новые сцены. Благодаря этому прогрессу оценка позы теперь поддерживает широкий спектр практических применений, включая мониторинг рабочих мест и эргономики, а также аналитику в спорте, где тренеры и аналитики изучают движения спортсменов.

Типы методов оценки позы#

Оценка позы бывает разных видов в зависимости от условий и того, что именно нужно измерить. Вот основные типы, с которыми ты встретишься:

• Оценка 2D-позы: этот подход обнаруживает ключевые точки тела на двумерном изображении или видеокадре. Он хорошо работает со стандартными камерами и требует мало вычислительных ресурсов, поэтому подходит для таких задач, как базовое отслеживание движений, анализ осанки и обратная связь по технике выполнения упражнений в реальном времени.
• Оценка 3D-позы: оценивая глубину в дополнение к координатам на изображении, оценка 3D-позы дает пространственное представление о движении тела. Это особенно полезно, когда важны движения вперед и назад, например в анализе спорта, реабилитации, биомеханике и анимации. В частности, оценка 3D-позы человека фиксирует положения суставов и движения в 3D-пространстве, уменьшая неоднозначность, которая может возникать при 2D-проекциях.
• Оценка позы одного человека: эти системы предназначены для отслеживания одного человека за раз. Обычно они лучше всего работают в контролируемых или частично контролируемых условиях, где объект хорошо виден, например в приложениях для занятий с инструктором, видеозвонках или системах анализа движений.
• Оценка позы нескольких людей: этот подход предназначен для сцен с несколькими людьми и одновременно обнаруживает и отслеживает позы нескольких человек. Он особенно полезен в загруженных местах, таких как рабочие места, спортзалы, общественные пространства и групповые занятия, где объекты могут перекрывать друг друга.

Рис. 3. Понимание движений человека в 3D-пространстве и 2D-пространстве изображения (Источник)

Как работают модели оценки позы человека#

Оценку позы можно применять к объектам многих типов, но для простоты сосредоточимся на оценке позы человека.

Большинство систем оценки позы человека обучается на размеченных наборах данных, где ключевые части тела отмечены в больших коллекциях изображений и видеокадров. Используя эти примеры, модель изучает визуальные закономерности, связанные с ориентирами тела человека, такими как плечи, локти, бедра, колени и лодыжки, чтобы точно предсказывать ключевые точки в новых сценах.

Еще один важный аспект — архитектура инференса модели, которая определяет, как она обнаруживает ключевые точки и объединяет их в полноценные позы. Одни системы сначала обнаруживают каждого человека, а затем оценивают ключевые точки в области каждого человека, тогда как другие обнаруживают ключевые точки по всему изображению, а затем объединяют их по отдельным людям. Более новые одноэтапные архитектуры могут предсказывать позы за один проход, обеспечивая баланс скорости и точности для использования в реальном времени.

Далее подробно рассмотрим различные подходы к оценке позы.

Оценка позы снизу вверх#

При подходе снизу вверх модель анализирует все изображение и сначала находит ключевые точки тела, такие как голова, плечи, локти, бедра, колени и лодыжки. На этом этапе она не пытается разделить людей. Она просто обнаруживает все ключевые точки или суставы тела, заданные скелетом позы, во всей сцене.

После этого система выполняет второй шаг — соединяет найденные точки. Она связывает ключевые точки, относящиеся к одному человеку, и объединяет их в полные скелеты, по одному на человека. Поскольку сначала не нужно обнаруживать каждого человека, методы снизу вверх часто хорошо работают в переполненных сценах, где люди перекрываются, имеют разные размеры или частично скрыты.

Обнаружение позы сверху вниз#

В отличие от этого, системы сверху вниз начинают с обнаружения каждого человека на изображении. Они помещают ограничивающую рамку вокруг каждого человека и рассматривают каждую рамку как отдельную область для анализа.

После изоляции человека модель предсказывает ключевые точки тела внутри этой области. Такая пошаговая схема часто дает очень точные результаты, особенно когда в сцене всего несколько человек и каждый из них хорошо виден.

Одноэтапная или гибридная оценка позы#

Одноэтапные, иногда называемые гибридными, модели предсказывают позы за один проход. Вместо последовательного запуска обнаружения человека и оценки ключевых точек они одновременно выдают местоположение человека и ключевые точки его тела.

Поскольку все происходит в одном модуле, такие модели часто работают быстрее и эффективнее, что делает их хорошо подходящими для задач реального времени, таких как отслеживание движений и захват движений в реальном времени. Такие модели, как Ultralytics YOLO11, построены на этой идее и стремятся обеспечить баланс между скоростью и надежностью предсказаний ключевых точек.

Обучение и оценка моделей оценки позы#

Независимо от выбранного подхода модель оценки позы необходимо тщательно обучить и протестировать, прежде чем она начнет надежно работать в реальном мире. Обычно она обучается на больших наборах изображений (а иногда и видео), где размечены ключевые точки тела, что помогает ей работать с разными позами, углами камеры и условиями окружающей среды.

К известным наборам данных для оценки позы относятся COCO Keypoints, MPII Human Pose, CrowdPose и OCHuman. Если эти наборы данных не отражают условия, с которыми модель столкнется при развертывании, инженеры часто собирают и размечают дополнительные изображения из целевой среды, например с производственного этажа, из спортзала или клиники.

Рис. 4. Различные позы, оцениваемые с помощью компьютерного зрения (Источник)

После обучения производительность модели оценивают на стандартных бенчмарках, чтобы измерить точность и устойчивость, а также определить направления дальнейшей настройки для использования в реальных условиях. Результаты часто представляют с помощью средней точности, обычно обозначаемой как mAP. Эта метрика обобщает производительность при разных порогах уверенности, сравнивая предсказанные позы с размеченной эталонной истиной.

Во многих бенчмарках для оценки позы предсказанную позу сопоставляют с эталонной позой с помощью метрики сходства ключевых точек объекта (OKS). OKS измеряет близость предсказанных ключевых точек к размеченным, учитывая такие факторы, как масштаб человека и типичную сложность локализации каждой ключевой точки.

Модели оценки позы также выдают оценки уверенности для обнаруженных людей и отдельных ключевых точек. Эти оценки отражают уверенность модели и используются для ранжирования и фильтрации предсказаний, что особенно важно в сложных условиях, таких как перекрытие объектов, размытие при движении или необычные углы камеры.

Популярные инструменты и библиотеки для оценки позы#

Сегодня доступно множество инструментов для оценки позы, каждый из которых обеспечивает свой баланс скорости, точности и простоты использования. Вот некоторые из наиболее широко используемых инструментов и библиотек:

• Ultralytics YOLO11: разработанная как передовая модель ИИ для компьютерного зрения с открытым исходным кодом, YOLO11 развивает идеи более ранних моделей, таких как Ultralytics YOLOv8. Она повышает скорость, точность и общую эффективность, поддерживая различные задачи компьютерного зрения, включая оценку позы. Благодаря высокой производительности на разных платформах — от ноутбуков до периферийных устройств — YOLO11 отлично подходит для многих развертываний в реальных условиях.
• Ultralytics YOLO26: эта предстоящая модель нового поколения разработана так, чтобы быть легче, компактнее и быстрее, сохраняя при этом высокую точность. Она предназначена для использования в реальном времени и упрощенного развертывания, а также поддерживает такие задачи, как обнаружение объектов, сегментация экземпляров и оценка позы, в вариантах разных размеров — от подходящих для периферийных устройств до предназначенных для более крупных систем.
• MediaPipe: это кроссплатформенный фреймворк для создания конвейеров компьютерного зрения и машинного обучения. Он легковесен и эффективно работает на мобильных устройствах, планшетах и в веб-приложениях, а также включает готовые решения и модели для оценки позы всего тела, ориентиров лица и отслеживания рук.
• OpenPose: эта сквозная система оценки позы с открытым исходным кодом широко известна обнаружением ключевых точек у нескольких людей. Она может одновременно оценивать ключевые точки тела, рук и лица и часто используется в исследованиях, анимации и анализе движений.
• MMPose: MMPose — это основанный на PyTorch инструментарий для оценки позы из экосистемы OpenMMLab. Он предоставляет множество реализаций моделей, утилит для обучения и параметров конфигурации, что делает его полезным для экспериментов и глубокой кастомизации.
• HRNet и AlphaPose: это более старые модели оценки позы, которые до сих пор используются в исследованиях. HRNet — архитектура модели оценки позы, сохраняющая признаки изображения высокого разрешения на всем протяжении сети, что помогает точно локализовать ключевые точки. AlphaPose — широко используемая система оценки позы нескольких людей, которую часто применяют, когда в переполненных или сложных сценах требуется высокая точность.

Практические применения анализа и оценки позы#

Оценку позы все чаще используют для преобразования обычных видео в полезные сведения о движениях. Отслеживая ключевые точки тела кадр за кадром, такие системы могут определять осанку, движения и физическое поведение по видеопотокам с камер, делая эту технологию практичной во многих реальных условиях.

Например, в здравоохранении и реабилитации отслеживание позы может помочь клиницистам увидеть и измерить, как пациент двигается во время терапии и восстановления. Извлекая ориентиры тела из обычных видеозаписей, система может оценивать осанку, диапазон движений и общие закономерности движений с течением времени. Эти измерения могут дополнять и оптимизировать традиционные клинические оценки, а в некоторых случаях упрощать отслеживание прогресса без носимых датчиков или специализированного оборудования.

Аналогично, в спорте и телевещании оценка позы может анализировать движения спортсменов непосредственно по видеопотокам. Интересный пример — Hawk-Eye, система отслеживания на основе камер, используемая в профессиональном спорте для судейства и создания графики трансляций. Она также обеспечивает отслеживание скелета, оценивая ключевые точки тела спортсмена по изображениям с камер.

Как выбрать подходящий инструмент для оценки позы#

Выбор подходящего инструмента для оценки позы начинается с понимания потребностей твоего проекта компьютерного зрения. Одни приложения отдают приоритет скорости работы в реальном времени, тогда как другим нужны более высокая точность и детализация.

Целевое устройство развертывания также имеет значение. Мобильным приложениям и периферийным устройствам обычно требуются легковесные и эффективные модели, тогда как более крупные модели часто лучше подходят для серверов или облачных сред.

Кроме того, важную роль может играть простота использования. Хорошая документация, удобное развертывание и поддержка кастомного обучения могут упростить твой проект.

Проще говоря, разные инструменты сильны в разных областях. Например, модели Ultralytics YOLO обеспечивают практичный баланс скорости, точности и простоты развертывания для многих реальных приложений оценки позы.

Рис. 5. Оценка позы животного с помощью Ultralytics YOLO11 (Источник)

Основные выводы#

Оценка позы помогает компьютерам понимать движения человека, обнаруживая ключевые точки тела на изображениях и видео. Такие модели, как YOLO11 и YOLO26, упрощают создание приложений реального времени для спорта, здравоохранения, безопасности на рабочих местах и интерактивных возможностей. По мере того как модели становятся быстрее и точнее, оценка позы, вероятно, превратится в стандартную функцию многих систем ИИ для компьютерного зрения.

Хочешь узнать больше об ИИ? Загляни в наше сообщество и репозиторий GitHub. Изучи страницы наших решений, чтобы узнать об ИИ в робототехнике и компьютерном зрении в производстве. Ознакомься с вариантами лицензирования и начни создавать решения с компьютерным зрением уже сегодня!