Улучшение оценки ключевых точек рук с помощью Ultralytics YOLO11

В последнее время сурдопереводчики на Супербоуле привлекли к себе много внимания. Когда ты наблюдаешь по телевизору, как они «поют» песню твоего любимого исполнителя, ты можешь их понять, если знаешь язык жестов, потому что твой мозг обрабатывает движения их рук. Но что, если бы компьютер мог делать то же самое? Благодаря решениям для отслеживания рук на базе ИИ, машины могут отслеживать и интерпретировать движения рук с впечатляющей точностью.

В основе этих решений лежит computer vision, подраздел ИИ, который позволяет машинам обрабатывать и понимать визуальную информацию. Анализируя изображения и видео, зрительный ИИ помогает им с поразительной точностью обнаруживать объекты, отслеживать движения и распознавать сложные жесты.

Например, модели computer vision, такие как Ultralytics YOLO11, можно обучить обнаруживать и анализировать ключевые точки рук в реальном времени с помощью pose estimation. Благодаря этому такие модели можно использовать для таких задач, как распознавание жестов, перевод жестового языка и взаимодействия в AR/VR.

В этой статье мы рассмотрим, как Ultralytics YOLO11 обеспечивает отслеживание рук на базе ИИ, какие датасеты используются для обучения, и как custom-train модель для оценки позы рук. Мы также рассмотрим реальные сценарии применения. Давай начнем!

Разбираемся в обнаружении ключевых точек рук с помощью ИИ#

ИИ можно использовать для распознавания и отслеживания движений рук в визуальных данных путем определения ключевых точек, таких как запястье, кончики пальцев и суставы пальцев. Один из подходов, известный как pose estimation, помогает компьютерам понимать движения человека путем сопоставления ключевых точек и анализа их изменения с течением времени. Это позволяет системам ИИ с высокой точностью интерпретировать осанку тела, жесты и паттерны движения.

Computer vision models делают это возможным, анализируя изображения или видео для определения ключевых точек на руке и отслеживания их движения. После сопоставления этих точек ИИ может распознавать жесты, анализируя пространственные отношения между ключевыми точками и то, как они меняются с течением времени.

Например, если расстояние между большим и указательным пальцем уменьшается, ИИ может интерпретировать это как движение «щепотка». Аналогично, отслеживание последовательности перемещения ключевых точек помогает идентифицировать сложные жесты рук и даже прогнозировать будущие движения.

Fig 1. Пример распознавания ключевых точек руки с помощью computer vision.

Интересно, что оценка позы для отслеживания рук открыла захватывающие возможности: от бесконтактного управления умными устройствами до повышения точности роботов и помощи в медицинских приложениях. По мере развития ИИ и компьютерного зрения, отслеживание рук, вероятно, будет играть все большую роль в том, чтобы сделать технологии более интерактивными, доступными и интуитивно понятными в повседневной жизни.

Изучаем Ultralytics YOLO11 для оценки позы#

Прежде чем мы перейдем к созданию решения для отслеживания рук на основе ИИ, давай подробнее рассмотрим оценку позы и то, как Ultralytics YOLO11 поддерживает эту computer vision task. В отличие от стандартного обнаружения объектов, которое определяет объекты целиком, оценка позы фокусируется на обнаружении ключевых ориентиров — таких как суставы, конечности или границы — для анализа движений и осанки.

В частности, Ultralytics YOLO11 разработана для оценки позы в реальном времени. Используя методы «сверху вниз» (top-down) и «снизу вверх» (bottom-up), она эффективно обнаруживает людей и оценивает ключевые точки за один проход, превосходя предыдущие модели по скорости и точности.

Из коробки Ultralytics YOLO11 поставляется предварительно обученной на наборе данных COCO-Pose и способна распознавать ключевые точки на теле человека, включая голову, плечи, локти, запястья, бедра, колени и лодыжки.

Fig 2. Использование YOLO11 для pose estimation человека.

Помимо оценки позы человека, Ultralytics YOLO11 можно обучать под свои задачи для обнаружения ключевых точек на самых разных объектах, как живых, так и неодушевленных. Такая гибкость делает YOLO11 отличным выбором для широкого спектра приложений.

Обзор набора данных Hand Keypoints#

Первым шагом в кастомном обучении модели является сбор данных и их разметка либо поиск существующего датасета, отвечающего потребностям проекта. Например, датасет Hand Keypoints является хорошей отправной точкой для обучения моделей зрительного ИИ для отслеживания рук и pose estimation. Имея 26 768 размеченных изображений, он избавляет от необходимости ручной разметки.

Его можно использовать для обучения таких моделей, как Ultralytics YOLO11, чтобы они быстро научились обнаруживать и отслеживать движения рук. Набор данных включает 21 ключевую точку на каждой руке, включая запястье, пальцы и суставы. Кроме того, аннотации набора данных были созданы с помощью Google MediaPipe — инструмента для разработки ИИ-решений для обработки медиа в реальном времени, что гарантирует точное и надежное обнаружение ключевых точек.

Fig 3. 21 ключевая точка, входящая в датасет Hand Keypoints.

Использование такого структурированного набора данных экономит время и позволяет разработчикам сосредоточиться на обучении и тонкой настройке своих моделей вместо сбора и разметки данных. Фактически, набор данных уже разделен на подмножества для обучения (18 776 изображений) и валидации (7 992 изображения), что упрощает оценку производительности модели.

Как обучить Ultralytics YOLO11 для оценки позы рук#

Обучение YOLO11 для pose estimation рук — это простой процесс, особенно с пакетом Ultralytics Python package, который упрощает настройку и обучение модели. Поскольку датасет Hand Keypoints уже поддерживается в пайплайне обучения, его можно использовать сразу без дополнительного форматирования, экономя время и усилия.

Вот как выглядит процесс обучения:

• Настройка среды: Первый шаг — это установка Python-пакета Ultralytics.
• Загрузи датасет Hand Keypoints: Ultralytics YOLO11 поддерживает этот набор данных нативно, поэтому его можно скачать и подготовить автоматически.
• Используй предварительно обученную модель: ты можешь начать с предварительно обученной модели оценки позы Ultralytics YOLO11, что помогает повысить точность и ускорить процесс обучения.
• Обучение модели: Модель учится обнаруживать и отслеживать ключевые точки рук, проходя через несколько циклов обучения.
• Мониторинг производительности: Пакет Ultralytics также предоставляет встроенные инструменты для отслеживания ключевых метрик, таких как точность и потери (loss), помогая убедиться, что модель совершенствуется со временем.
• Сохранение и развертывание: После обучения модель можно export и использовать для приложений отслеживания рук в реальном времени.

Оценка твоей кастомной модели#

Проходя через этапы создания кастомной модели, ты заметишь, что мониторинг производительности имеет важное значение. Наряду с отслеживанием прогресса во время обучения, последующая оценка модели критически важна для того, чтобы убедиться, что она точно обнаруживает и отслеживает ключевые точки рук.

Ключевые performance metrics, такие как точность, значения потерь и средняя точность (mAP), помогают оценить качество работы модели. Пакет Ultralytics Python предоставляет встроенные инструменты для визуализации результатов и сравнения предсказаний с реальной разметкой, что облегчает выявление областей для улучшения.

Чтобы лучше понять работу модели, ты можешь проверить графики оценки, такие как кривые потерь, графики точности-полноты (precision-recall) и матрицы ошибок, которые автоматически генерируются в логах обучения.

Эти графики помогают выявить проблемы, такие как переобучение (когда модель запоминает данные обучения, но плохо работает с новыми данными) или недообучение (когда модель не может достаточно хорошо выучить закономерности), и направляют корректировки для повышения точности. Также важно протестировать модель на новых изображениях или видео, чтобы увидеть, как она работает в реальных сценариях.

Применение решений для отслеживания рук на базе ИИ#

Давай теперь рассмотрим некоторые из наиболее значимых применений hand keypoints estimation с Ultralytics YOLO11.

Распознавание жестов в реальном времени с помощью Ultralytics YOLO11#

Допустим, ты можешь отрегулировать громкость на телевизоре простым взмахом руки или управлять системой умного дома легким движением в воздухе. Распознавание жестов в реальном времени на базе Ultralytics YOLO11 делает такие взаимодействия без касаний возможными за счет точного обнаружения движений рук в реальном времени.

Это работает за счет использования ИИ-камер для отслеживания ключевых точек на твоей руке и интерпретации жестов в качестве команд. Камеры с датчиками глубины, инфракрасные датчики или даже обычные веб-камеры фиксируют движения рук, в то время как Ultralytics YOLO11 обрабатывает данные для распознавания различных жестов. Например, такая система может различать свайп для смены трека, щипок для приближения или круговое движение для регулировки громкости.

Обнаружение ключевых точек рук на базе ИИ для распознавания языка жестов#

Решения на базе ИИ для отслеживания рук могут обеспечивать бесшовное общение между глухим человеком и тем, кто не знает язык жестов. Например, умные устройства со встроенными камерами и Ultralytics YOLO11 можно использовать для мгновенного перевода языка жестов в текст или речь.

Благодаря таким достижениям, как Ultralytics YOLO11, инструменты перевода языка жестов становятся более точными и доступными. Это влияет на такие приложения, как вспомогательные технологии, службы живого перевода и образовательные платформы. ИИ может помочь преодолеть коммуникативные барьеры и способствовать инклюзивности на рабочих местах, в школах и общественных местах.

Компьютерное зрение для отслеживания рук: Улучшение опыта AR и VR#

Ты когда-нибудь играл в игру виртуальной реальности (VR), где мог брать объекты без использования контроллера? Отслеживание рук на базе computer vision делает это возможным, позволяя пользователям естественно взаимодействовать в средах augmented reality (AR) и VR.

Fig 4. Отслеживание рук — ключевая часть приложений AR и VR.

Благодаря оценке ключевых точек рук с использованием моделей вроде Ultralytics YOLO11, ИИ отслеживает движения в реальном времени, обеспечивая поддержку таких жестов, как «щепотка», захват и свайп. Это улучшает игровой процесс, виртуальное обучение и удаленное сотрудничество, делая взаимодействия более интуитивными. По мере совершенствования технологии отслеживания рук, AR и VR будут казаться еще более захватывающими и реалистичными.

Основные выводы#

Оценка ключевых точек рук с помощью Ultralytics YOLO11 делает решения для отслеживания рук на базе ИИ более доступными и надежными. От распознавания жестов в реальном времени до интерпретации языка жестов и AR/VR-приложений — компьютерное зрение открывает новые возможности во взаимодействии человека и компьютера.

Кроме того, оптимизированные процессы кастомного обучения и тонкой настройки помогают разработчикам создавать эффективные модели для различных реальных задач. По мере развития технологий компьютерного зрения мы можем ожидать еще больше инноваций в таких областях, как здравоохранение, робототехника, игры и безопасность.

Взаимодействуй с our community и изучай достижения в области ИИ в нашем GitHub repository. Открой для себя влияние AI in manufacturing и computer vision in healthcare на наших страницах решений. Ознакомься с our licensing plans и начни свое путешествие в мире ИИ уже сегодня!