Как использовать Ultralytics YOLO11 для оценки позы

Исследования в области computer vision, ветви искусственного интеллекта (ИИ), берут свое начало еще в 1960-х годах. Однако лишь в 2010-х годах с развитием deep learning произошел крупный прорыв в том, как машины понимают изображения. Одним из новейших достижений в области computer vision являются передовые модели Ultralytics YOLO11. Модели YOLO11 models, впервые представленные на ежегодном гибридном мероприятии Ultralytics YOLO Vision 2024 (YV24), поддерживают целый ряд задач computer vision, включая оценку позы (pose estimation).

Pose estimation можно использовать для обнаружения ключевых точек на человеке или объекте на изображении либо видео, чтобы определить их положение, позу или движение. Эта технология широко применяется в таких сферах, как sports analytics, мониторинг поведения животных и robotics, помогая машинам интерпретировать физические действия в реальном времени. Благодаря улучшенной точности, эффективности и скорости по сравнению с предыдущими моделями из серии YOLO (You Only Look Once), YOLO11 отлично подходит для задач оценки позы в реальном времени.

Рис 1. Пример использования Ultralytics YOLO11 для оценки позы.

В этой статье мы рассмотрим, что такое pose estimation, обсудим некоторые варианты ее применения и разберем, как использовать YOLO11 с пакетом Ultralytics Python для оценки позы. Мы также посмотрим, как применить Ultralytics HUB для тестирования YOLO11 и pose estimation в несколько простых кликов. Давайте начнем!

Что такое оценка позы?#

Прежде чем погружаться в то, как использовать новую модель Ultralytics YOLO11 для оценки позы, давай разберемся с этим понятием подробнее.

Оценка позы — это метод компьютерного зрения, используемый для анализа позы человека или объекта на изображении или видео. Модели глубокого обучения, такие как Ultralytics YOLO11, могут идентифицировать, находить и отслеживать ключевые точки на заданном объекте или человеке. Для объектов эти ключевые точки могут включать углы, края или характерные метки на поверхности, в то время как для людей эти ключевые точки представляют собой основные суставы, такие как локоть, колено или плечо.

Оценка позы уникальна и более сложна по сравнению с другими задачами компьютерного зрения, такими как object detection. В то время как object detection определяет местоположение объектов на изображении, обводя их рамкой, оценка позы идет дальше, предсказывая точные позиции ключевых точек на объекте.

Рис. 2. Использование Ultralytics YOLO11 для обнаружения и оценки поз людей в офисе.

Существует два основных подхода к оценке позы: «снизу вверх» (bottom-up) и «сверху вниз» (top-down). Подход «снизу вверх» обнаруживает отдельные ключевые точки и объединяет их в скелеты, в то время как подход «сверху вниз» сначала фокусируется на обнаружении объектов, а затем на оценке ключевых точек внутри них.

Ultralytics YOLO11 объединяет преимущества методов сверху вниз (top-down) и снизу вверх (bottom-up). Как и подход снизу вверх, он прост и быстр в работе без необходимости вручную группировать ключевые точки. В то же время он использует точность метода сверху вниз, обнаруживая людей и оценивая их позы за один шаг.

Варианты применения оценки позы для Ultralytics YOLO11#

Универсальные возможности Ultralytics YOLO11 для оценки позы открывают широкий спектр возможных применений во многих отраслях. Давай поближе познакомимся с некоторыми вариантами использования оценки позы с помощью YOLO11.

Оценка позы в реальном времени с помощью Ultralytics YOLO11: повышение безопасности труда#

Безопасность — важнейший аспект любого строительного проекта. Это особенно актуально, поскольку статистически на строительных площадках фиксируется большее число травм на производстве. В 2021 году около 20% всех связанных с работой смертельных случаев произошли на строительных площадках или рядом с ними. Учитывая ежедневные риски, такие как тяжелая техника и электросистемы, надежные меры безопасности имеют решающее значение для защиты работников. Традиционные методы, такие как использование знаков, барьеров и ручной мониторинг супервайзерами, не всегда эффективны и часто отвлекают руководителей от более важных задач.

ИИ может прийти на помощь для повышения безопасности, а риск несчастных случаев можно снизить с помощью системы мониторинга работников на основе оценки позы. Модели Ultralytics YOLO11 можно использовать для отслеживания движений и поз сотрудников. Любые потенциальные опасности, например, когда работники стоят слишком близко к опасному оборудованию или выполняют задачи неправильно, можно быстро обнаружить. Если выявлен риск, супервайзеры получают уведомление, либо сигнал тревоги предупреждает самого работника. Система непрерывного мониторинга делает строительные площадки безопаснее, постоянно отслеживая опасности и защищая рабочих.

Рис. 3. Пример оценки позы на строительной площадке с использованием Ultralytics YOLO11.

Оценка позы с помощью Ultralytics YOLO11 для мониторинга скота#

Фермеры и исследователи могут использовать Ultralytics YOLO11 для изучения движения и поведения сельскохозяйственных животных, таких как крупный рогатый скот, чтобы выявлять ранние признаки заболеваний, например хромоту. Хромота — это состояние, при котором животное с трудом передвигается из-за боли в ногах или копытах. У крупного рогатого скота такие заболевания, как хромота, не только влияют на их здоровье и благополучие, но и приводят к проблемам с производительностью на молочных фермах. Исследования показывают, что хромота затрагивает от 8% скота при пастбищном содержании и от 15% до 30% при содержании в закрытых помещениях в мировой молочной промышленности. Обнаружение и устранение хромоты на ранних стадиях помогают улучшить благополучие животных и снизить производственные потери, связанные с этим состоянием.

Функции оценки позы Ultralytics YOLO11 могут помочь фермерам отслеживать паттерны походки животных и быстро выявлять любые отклонения, которые могут сигнализировать о проблемах со здоровьем, таких как проблемы с суставами или инфекции. Раннее выявление этих проблем обеспечивает более быстрое лечение, уменьшая дискомфорт животных и помогая фермерам избежать экономических потерь.

Системы мониторинга на базе vision AI также помогают анализировать поведение в состоянии покоя, социальные взаимодействия и привычки питания. Кроме того, фермеры могут использовать оценку позы для получения данных о признаках стресса или агрессии. Эти ценные сведения можно использовать для создания лучших условий содержания животных и повышения уровня их благополучия.

Рис. 4. Визуализация оценки позы коровы.

Варианты применения Ultralytics YOLO11 в фитнес-индустрии#

Оценка позы также может помочь людям улучшить осанку в реальном времени во время тренировок. С помощью Ultralytics YOLO11 инструкторы тренажерных залов и йоги могут контролировать и отслеживать движения тела занимающихся людей, уделяя особое внимание ключевым точкам, таким как суставы и конечности, для оценки их осанки. Собранные данные можно сравнить с идеальными позами и техниками тренировок, а инструкторы могут получать оповещения, если кто-то выполняет упражнение неправильно, что помогает предотвратить травмы.

Рис. 5. Использование оценки позы для анализа тренировки.

Например, во время занятий йогой оценка позы помогает отслеживать, поддерживают ли все ученики правильный баланс и выравнивание. Мобильные приложения, интегрированные с компьютерным зрением и оценкой позы, делают занятия фитнесом более доступными для тех, кто тренируется дома или не имеет доступа к персональным тренерам. Такая непрерывная обратная связь в режиме реального времени помогает пользователям улучшать технику и достигать своих целей в фитнесе, одновременно снижая риск получения травм.

Тестирование оценки позы в реальном времени с помощью модели Ultralytics YOLO11#

Теперь, когда мы разобрались, что такое оценка позы, и обсудили некоторые варианты ее применения, давай посмотрим, как можно опробовать ее с помощью новой модели YOLO11. Для этого есть два удобных способа: использование пакета Ultralytics Python или платформы Ultralytics HUB. Рассмотрим оба варианта.

Запуск инференса с использованием Ultralytics YOLO11#

Запуск инференса предполагает, что модель YOLO11 обрабатывает новые данные за пределами своих наборов для обучения (training) и использует усвоенные закономерности для прогнозирования на основе этих данных. Ты можешь запускать инференс через код с помощью пакета Ultralytics Python. Все, что нужно для начала работы, — это установить пакет Ultralytics с помощью pip, conda или Docker. Если в процессе установки возникнут какие-либо трудности, наше руководство по общим проблемам (Common Issues Guide) предложит полезные советы по устранению неполадок.

Как только ты успешно установишь пакет, в следующем коде показано, как загрузить модель и использовать её для прогнозирования поз объектов на изображении.

Рис. 6. Фрагмент кода, демонстрирующий запуск инференса с использованием Ultralytics YOLO11.

Обучение кастомной модели Ultralytics YOLO11#

Допустим, ты работаешь над проектом в области компьютерного зрения и у тебя есть конкретный набор данных (dataset) для определенной задачи, связанной с оценкой позы. В таком случае ты можешь выполнить дообучение (fine-tune) и обучить пользовательскую модель YOLO11 под свои нужды. Например, ты можешь использовать набор данных ключевых точек для анализа и понимания позы тигра на изображениях, определяя ключевые характеристики, такие как положение конечностей, головы и хвоста.

Ты можешь использовать следующий фрагмент кода для загрузки и обучения модели оценки позы Ultralytics YOLO11. Модель можно построить на основе конфигурации YAML либо загрузить предобученную модель для обучения. Этот скрипт также позволяет переносить веса и начинать обучение модели с использованием указанного набора данных, такого как набор данных COCO для оценки позы.

Рис. 7. Кастомное обучение Ultralytics YOLO11.

Используя заново обученную кастомную модель, ты можешь выполнять инференс на новых изображениях, относящихся к твоему решению компьютерного зрения. Обученную модель также можно конвертировать в другие форматы с помощью режима экспорта (export mode).

Попробуй YOLO11 на Ultralytics HUB#

До сих пор мы рассматривали методы использования YOLO11, требующие базовых знаний программирования. Если это тебе не подходит или ты не знаком с кодированием, есть другой вариант: Ultralytics HUB. Ultralytics HUB — это удобная платформа, созданная для упрощения процесса обучения и развертывания моделей YOLO. HUB позволяет легко управлять наборами данных, обучать модели и развертывать их без необходимости обладать глубокими техническими знаниями.

Чтобы запустить инференс на изображениях, ты можешь создать учетную запись, перейти в раздел «Модели» и выбрать интересующую тебя модель оценки позы Ultralytics YOLO11. В разделе предварительного просмотра ты можешь загрузить изображение и посмотреть результаты предсказания, как показано ниже.

Рис 8. Оценка позы на Ultralytics HUB с помощью YOLO11.

Достижения Ultralytics YOLO11 в обнаружении человеческих поз#

Ultralytics YOLO11 предлагает точные и гибкие решения для таких задач, как оценка позы, в широком спектре приложений. От повышения безопасности работников на строительных площадках до мониторинга здоровья скота и помощи в исправлении осанки во время тренировок, YOLO11 обеспечивает точность и обратную связь в реальном времени с помощью передовых технологий компьютерного зрения.

Универсальность, наличие нескольких вариантов моделей и возможность индивидуального обучения для конкретных задач делают её ценным инструментом как для разработчиков, так и для бизнеса. Будь то программирование с использованием пакета Ultralytics Python или использование Ultralytics HUB для более простой реализации, YOLO11 делает оценку позы доступной и эффективной.

Чтобы узнать больше, посети наш репозиторий на GitHub и присоединяйся к нашему сообществу. Изучай возможности применения ИИ в промышленности и сельском хозяйстве на наших страницах решений. 🚀