Что такое оценка позы и где её можно применять?

Когда ты видишь сутулящегося человека или человека с расправленными плечами и прямой осанкой, сразу понятно, выглядит ли он неуверенно или уверенно. Тебе не нужно это объяснять. Со временем мы естественным образом научились понимать язык тела.

Благодаря опыту и наблюдениям наш мозг научился хорошо распознавать позы самых разных объектов, в том числе людей. Благодаря недавним достижениям в области искусственного интеллекта (AI) и компьютерного зрения — области, которая позволяет машинам интерпретировать визуальную информацию об окружающем мире, — машины тоже начинают осваивать и воспроизводить эту способность.

Оценка позы — задача компьютерного зрения, которая помогает машинам определять положение и ориентацию человека или объекта по изображениям или видео. Для этого система распознаёт ключевые точки на теле, например суставы и конечности, чтобы понять, как движется человек или даже предмет.

Эта технология широко применяется в таких сферах, как фитнес, здравоохранение и анимация. Например, на рабочем месте её можно использовать для отслеживания позы сотрудников и поддержки инициатив по охране труда и благополучию. Модели компьютерного зрения, такие как Ultralytics YOLO11, позволяют оценивать позы людей в реальном времени.

Рис. 1. Пример мониторинга осанки работников с помощью Ultralytics YOLO11.

В этой статье мы подробнее рассмотрим оценку позы, принцип её работы и реальные сценарии применения, в которых она уже приносит пользу.

Эволюция оценки позы#

Исследования в области оценки позы начались ещё в конце 1960-х и в 1970-х годах. За прошедшие годы подходы к этой задаче компьютерного зрения прошли путь от базовой математики и геометрии до более продвинутых методов на основе искусственного интеллекта.

Изначально методы основывались на фиксированных углах обзора камер и известных опорных точках. Позже они стали использовать 3D-модели и сопоставление признаков. Сегодня модели глубокого обучения, такие как Ultralytics YOLO11 и её преемник Ultralytics YOLO26, могут определять положения тела в изображениях и видео в реальном времени, делая оценку позы быстрее и точнее, чем когда-либо прежде.

По мере развития технологий исследователи увидели потенциал мониторинга и отслеживания поз различных объектов, особенно людей и животных. Оценка позы особенно важна, поскольку она позволяет инструментам ИИ понимать и измерять осанку и движения способами, которые раньше были недоступны.

Например, она позволяет компьютерам распознавать жесты для взаимодействия без помощи рук, анализирует движения спортсменов для повышения их результатов, помогает создавать реалистичную анимацию в видеоиграх и даже поддерживает здравоохранение, отслеживая ход восстановления пациентов.

Чем она отличается от других задач компьютерного зрения?#

Оценка позы отличается от других задач компьютерного зрения, таких как обнаружение объектов и сегментация экземпляров. Эти задачи в основном направлены на распознавание и локализацию объектов на изображении.

Например, обнаружение объектов обводит ограничивающими рамками такие объекты, как люди, транспортные средства или животные, обозначая их наличие и положение. Сегментация экземпляров идёт дальше и очерчивает точную форму каждого объекта на уровне пикселей.

Однако оба этих метода в основном отвечают на вопросы, что это за объект и где он находится, но не дают информации о его положении или возможных действиях. Именно здесь оценка позы становится особенно важной.

Распознавая ключевые точки на теле, например локти, колени и даже хвост, оценка позы позволяет интерпретировать осанку и движения. Благодаря этому можно глубже понимать действия, жесты и динамику тела, включая движения в 3D-пространстве.

Как работает оценка позы#

Модели оценки позы обычно используют один из двух основных подходов: снизу вверх или сверху вниз. При подходе снизу вверх модель сначала обнаруживает отдельные ключевые точки, например локти, колени и плечи, а затем группирует их, чтобы определить, какому человеку или объекту они принадлежат. При подходе сверху вниз сначала обнаруживается каждый объект (например, человек на изображении), а затем для этого объекта определяются ключевые точки.

Рис. 2. Подходы к оценке позы: снизу вверх и сверху вниз.

Некоторые новые модели, например Ultralytics YOLO11, объединяют преимущества обоих подходов. YOLO11 сохраняет эффективность метода снизу вверх, пропуская этап ручной группировки, и при этом использует точность систем сверху вниз: модель одновременно обнаруживает людей и оценивает их позы в рамках единого оптимизированного процесса.

Обучение Ultralytics YOLO11 на пользовательских данных для оценки позы#

Разбираясь в принципах работы моделей оценки позы, ты можешь задаться вопросом: как именно такие модели учатся оценивать позы разных объектов? Здесь на помощь приходит обучение на пользовательских данных.

Обучение на пользовательских данных — это обучение модели распознаванию конкретных ключевых точек на твоих данных. Поскольку создание модели с нуля требует большого количества размеченных изображений и значительных затрат времени, многие предпочитают трансферное обучение. Для этого берут модель, уже обученную на большом наборе данных, например модель Ultralytics YOLO11 для оценки позы, предварительно обученную на наборе данных COCO-Pose, а затем дообучают её на собственных данных для конкретной задачи или сценария применения.

Допустим, ты работаешь с позами йоги: можешь дообучить Ultralytics YOLO11 на изображениях, где каждая поза размечена ключевыми точками, характерными для этого упражнения. Для этого тебе понадобится собственный набор данных для оценки позы с размеченными изображениями, на которых модель сможет обучаться.

Во время обучения можно настраивать такие параметры, как размер батча (количество изображений, обрабатываемых за один раз), скорость обучения (насколько быстро модель обновляет параметры) и число эпох (сколько раз модель проходит весь набор данных), чтобы повысить точность. Так гораздо проще создавать модели оценки позы, отвечающие твоим конкретным требованиям.

Применение оценки позы в реальных условиях#

Теперь, когда мы разобрали, что такое оценка позы и как она работает, давай подробнее рассмотрим несколько примеров её применения в реальных условиях.

Применение оценки позы в физиотерапии#

Оценка позы постепенно становится надёжным инструментом в здравоохранении, особенно в физиотерапии. Такие системы используют ИИ и компьютерное зрение, чтобы в реальном времени отслеживать осанку и движения и давать рекомендации — подобно физиотерапевту.

Например, пациент, восстанавливающийся после операции на колене, может использовать систему оценки позы, чтобы убедиться, что он правильно выполняет реабилитационные упражнения. Система может обнаруживать неправильные движения и предлагать, как их исправить, помогая пациенту придерживаться плана восстановления и избегать травм.

Рис. 3. Пример применения Ultralytics YOLO11 в физиотерапии.

Помимо реабилитации, оценка позы применяется и в фитнес-приложениях. Например, человек, который тренируется дома, может использовать приложение, чтобы проверять технику выполнения упражнений. Приложение может давать обратную связь в реальном времени: например, подсказывать, как изменить угол приседания, или проверять, чтобы спина оставалась прямой во время становой тяги. Это помогает пользователям улучшать технику и предотвращать травмы без помощи тренера.

Захват движения для индустрии развлечений с помощью оценки позы#

Оценка позы изменила подход к захвату движения в индустрии развлечений, сделав его проще и доступнее. Раньше для захвата движения на тело человека нужно было крепить маркеры и отслеживать их специальными камерами, что могло быть сложно и дорого.

Теперь благодаря достижениям в области ИИ и компьютерного зрения мы можем использовать обычные камеры и алгоритмы для отслеживания движений тела без маркеров, делая процесс эффективнее и точнее даже в реальном времени.

Отличный пример — Disney's AR (дополненная реальность) Poser. Этот забавный инструмент позволяет сделать снимок на телефон, а цифровой персонаж повторит твою позу в дополненной реальности. Инструмент анализирует позу на снимке и сопоставляет её с 3D-персонажем, создавая забавное персонализированное селфи в AR.

Рис. 4. Персонаж в AR повторяет позу человека с помощью оценки позы.

Исследование социального поведения с помощью оценки поз животных#

Изучение поведения животных помогает учёным понять, как животные общаются, находят партнёров, заботятся о потомстве и живут группами. Эти знания крайне важны для защиты дикой природы и более глубокого понимания окружающего мира.

Оценка позы упрощает этот процесс: она позволяет отслеживать движения животных и их осанку по изображениям и видео, не прикрепляя к животным датчики или метки. Такие системы могут автоматически следить за позами животных и выявлять особенности поведения, например груминг, игру или драки.

Интересный пример — использование оценки позы учёными для изучения поведения человекообразных обезьян. Исследователи собрали такие наборы данных, как OpenApePose, содержащий более 71 000 размеченных изображений шести видов человекообразных обезьян.

Рис. 5. Оценка позы человекообразных обезьян.

Преимущества и недостатки оценки позы#

Вот некоторые ключевые преимущества, которые оценка позы может дать представителям разных отраслей:

• Масштабируемость: Системы оценки позы можно развернуть на самых разных устройствах — от смартфонов до сложных систем видеонаблюдения. Поэтому их легко масштабировать и применять в разных сценариях и условиях.
• Экономичность: Поскольку для оценки позы достаточно обычных камер и не нужны дорогие датчики или метки, это может быть более экономичным решением для отслеживания движений в научных и коммерческих приложениях.
• Непрерывный мониторинг: Системы оценки позы могут непрерывно отслеживать движения в реальном времени и наблюдать за изменениями с течением времени — например, за прогрессом пациента в ходе реабилитации или поведением животных в дикой природе.

Несмотря на очевидные преимущества оценки позы в самых разных областях, следует учитывать и некоторые сложности. Вот несколько ключевых ограничений, о которых важно помнить:

• Ограниченная способность к обобщению: Многие модели, обученные на наборах данных о людях, плохо обобщают на животных или необычные структуры тела без дообучения на соответствующих наборах данных.
• Ограничения, связанные с условиями съёмки: Производительность может снижаться при плохом освещении, сильном размытии из-за быстрого движения или загромождённом фоне.
• Высокая чувствительность к перекрытиям: Точность может снижаться, если части тела закрыты другими объектами или выходят за пределы кадра, особенно в людных сценах или при отслеживании нескольких людей.

Главные выводы#

С момента своего появления оценка позы прошла долгий путь: от систем с маркерами до эффективных инструментов на основе моделей глубокого обучения, таких как Ultralytics YOLO11. Будь то улучшение физиотерапии, создание интерактивных AR-впечатлений или помощь в изучении дикой природы — оценка позы меняет подход машин к пониманию движений и осанки. По мере развития технологий устранение её ограничений станет ключом к расширению практического применения и поможет машинам лучше понимать движения людей и других живых существ.

Интересуешься ИИ? Загляни в наш репозиторий на GitHub, присоединяйся к нашему сообществу и изучи варианты лицензирования, чтобы начать свой проект в области компьютерного зрения. Узнай больше о таких инновациях, как ИИ в розничной торговле и компьютерное зрение в логистике, на страницах наших решений.