Повышение качества распознавания ключевых точек рук с помощью Ultralytics YOLO11

В последнее время сурдопереводчики на Super Bowl привлекли большое внимание. Когда ты смотришь по телевизору, как они исполняют песню любимого исполнителя, ты можешь понимать их, если знаешь язык жестов, потому что твой мозг обрабатывает движения их рук. Но что, если компьютер сможет делать то же самое? Благодаря решениям для отслеживания рук на основе ИИ машины могут отслеживать и интерпретировать движения рук с впечатляющей точностью.

В основе этих решений лежит компьютерное зрение — подраздел ИИ, который позволяет машинам обрабатывать и понимать визуальную информацию. Анализируя изображения и видео, ИИ для компьютерного зрения помогает им обнаруживать объекты, отслеживать движения и распознавать сложные жесты с высокой точностью.

Например, модели компьютерного зрения, такие как Ultralytics YOLO11, можно обучить обнаруживать и анализировать ключевые точки кисти в реальном времени с помощью оценки позы. Благодаря этому такие модели можно использовать для распознавания жестов, перевода языка жестов и взаимодействия в AR/VR.

В этой статье мы рассмотрим, как Ultralytics YOLO11 обеспечивает отслеживание рук на основе ИИ, какие наборы данных используются для обучения и как дообучить модель для оценки позы кисти. Мы также рассмотрим практические применения. Давай начнём!

Обнаружение ключевых точек кисти на основе ИИ#

ИИ можно использовать для распознавания и отслеживания движений рук в визуальных данных, определяя такие ключевые точки, как запястье, кончики пальцев и суставы пальцев. Один из подходов, известный как оценка позы, помогает компьютерам понимать движения человека, сопоставляя ключевые точки и анализируя их изменения с течением времени. Это позволяет системам ИИ с высокой точностью интерпретировать положение тела, жесты и характер движения.

Модели компьютерного зрения делают это возможным, анализируя изображения или видео для определения ключевых точек на кисти и отслеживания их движения. После сопоставления этих точек ИИ может распознавать жесты, анализируя пространственные отношения между ключевыми точками и их изменения с течением времени.

Например, если расстояние между большим и указательным пальцами уменьшается, ИИ может интерпретировать это как щипковое движение. Аналогично, отслеживание перемещения ключевых точек в последовательностях помогает распознавать сложные жесты рук и даже предсказывать будущие движения.

Рис. 1. Пример распознавания ключевых точек кисти с помощью компьютерного зрения.

Интересно, что оценка позы для отслеживания рук открыла широкие возможности: от управления умными устройствами без помощи рук до повышения точности роботов и поддержки медицинских приложений. По мере развития ИИ и компьютерного зрения отслеживание рук, вероятно, будет играть всё более важную роль в том, чтобы сделать технологии более интерактивными, доступными и интуитивно понятными в повседневной жизни.

Изучаем Ultralytics YOLO11 для оценки позы#

Прежде чем перейти к созданию решения для отслеживания рук на основе ИИ, давай подробнее рассмотрим оценку позы и то, как Ultralytics YOLO11 поддерживает эту задачу компьютерного зрения. В отличие от стандартного обнаружения объектов, при котором определяются объекты целиком, оценка позы сосредоточена на обнаружении ключевых ориентиров — например, суставов, конечностей или контуров — для анализа движения и положения тела.

В частности, Ultralytics YOLO11 разработана для оценки позы в реальном времени. Используя методы сверху вниз и снизу вверх, она эффективно обнаруживает людей и оценивает ключевые точки за один этап, превосходя предыдущие модели по скорости и точности.

Из коробки Ultralytics YOLO11 предварительно обучена на наборе данных COCO-Pose и может распознавать ключевые точки человеческого тела, включая голову, плечи, локти, запястья, бёдра, колени и лодыжки.

Рис. 2. Использование YOLO11 для оценки позы человека.

Помимо оценки позы человека, Ultralytics YOLO11 можно дообучить для обнаружения ключевых точек на самых разных одушевлённых и неодушевлённых объектах. Такая гибкость делает YOLO11 отличным вариантом для широкого спектра приложений.

Обзор набора данных Hand Keypoints#

Первый шаг в дообучении модели — собрать и разметить данные или найти существующий набор данных, соответствующий требованиям проекта. Например, набор данных Hand Keypoints — хорошая отправная точка для обучения моделей ИИ для компьютерного зрения отслеживанию рук и оценке позы. Он содержит 26 768 размеченных изображений, поэтому ручная разметка не требуется.

Его можно использовать для обучения таких моделей, как Ultralytics YOLO11, чтобы они быстро научились обнаруживать и отслеживать движения рук. Набор данных включает 21 ключевую точку на каждую кисть, охватывая запястье, пальцы и суставы. Кроме того, аннотации набора данных были созданы с помощью Google MediaPipe — инструмента для разработки решений на основе ИИ для обработки медиаданных в реальном времени, что обеспечивает точное и надёжное обнаружение ключевых точек.

Рис. 3. 21 ключевая точка, включённая в набор данных Hand Keypoints.

Использование структурированного набора данных, подобного этому, экономит время и позволяет разработчикам сосредоточиться на обучении и тонкой настройке моделей вместо сбора и разметки данных. Более того, набор данных уже разделён на подмножества для обучения (18 776 изображений) и валидации (7 992 изображения), что упрощает оценку производительности модели.

Как обучить Ultralytics YOLO11 для оценки позы кисти#

Обучение YOLO11 для оценки позы кисти — простой процесс, особенно с пакетом Ultralytics для Python, который упрощает настройку и обучение модели. Поскольку набор данных Hand Keypoints уже поддерживается в конвейере обучения, его можно сразу использовать без дополнительного форматирования, экономя время и усилия.

Вот как работает процесс обучения:

• Настрой среду: сначала установи пакет Ultralytics для Python.
• Загрузи набор данных Hand Keypoints: Ultralytics YOLO11 изначально поддерживает этот набор данных, поэтому его можно автоматически скачать и подготовить.
• Используй предварительно обученную модель: можно начать с предварительно обученной модели Ultralytics YOLO11 для оценки позы, которая помогает повысить точность и ускорить процесс обучения.
• Обучи модель: модель учится обнаруживать и отслеживать ключевые точки кисти, проходя через несколько циклов обучения.
• Отслеживай производительность: пакет Ultralytics также предоставляет встроенные инструменты для отслеживания таких ключевых метрик, как точность и значение функции потерь, помогая убедиться, что модель со временем улучшается.
• Сохрани и разверни: после обучения модель можно экспортировать и использовать в приложениях для отслеживания рук в реальном времени.

Оценка дообученной модели#

Проходя этапы создания собственной модели, ты заметишь, что отслеживание производительности имеет важное значение. Помимо отслеживания прогресса во время обучения, крайне важно оценить модель после него, чтобы убедиться, что она точно обнаруживает и отслеживает ключевые точки кисти.

Ключевые метрики производительности, такие как точность, значения функции потерь и средняя точность (mAP), помогают оценить качество работы модели. Пакет Ultralytics для Python предоставляет встроенные инструменты для визуализации результатов и сравнения предсказаний с реальными аннотациями, упрощая поиск областей для улучшения.

Чтобы лучше понять производительность модели, можно проверить такие графики оценки, как кривые функции потерь, графики precision-recall и матрицы ошибок, которые автоматически создаются в журналах обучения.

Эти графики помогают выявить такие проблемы, как переобучение (когда модель запоминает обучающие данные, но испытывает трудности с новыми данными) или недообучение (когда модель недостаточно хорошо изучает закономерности для точной работы), и подсказывают, какие изменения помогут повысить точность. Кроме того, важно протестировать модель на новых изображениях или видео, чтобы понять, насколько хорошо она работает в реальных сценариях.

Применение решений для отслеживания рук на основе ИИ#

Далее рассмотрим некоторые из наиболее значимых применений оценки ключевых точек кисти с помощью Ultralytics YOLO11.

Распознавание жестов в реальном времени с помощью Ultralytics YOLO11#

Представь, что ты можешь регулировать громкость телевизора, просто взмахнув рукой, или управлять системой умного дома простым движением руки в воздухе. Распознавание жестов в реальном времени на базе Ultralytics YOLO11 делает такое взаимодействие без прикосновений возможным, точно обнаруживая движения рук в реальном времени.

Это работает благодаря камерам с ИИ, которые отслеживают ключевые точки на руке и интерпретируют жесты как команды. Камеры с датчиками глубины, инфракрасные сенсоры и даже обычные веб-камеры захватывают движения рук, а Ultralytics YOLO11 обрабатывает данные для распознавания различных жестов. Например, такая система может отличить взмах для смены песни, щипковый жест для увеличения масштаба или круговое движение для регулировки громкости.

Обнаружение ключевых точек кисти на основе ИИ для распознавания языка жестов#

Решения для отслеживания рук на основе ИИ могут обеспечить беспрепятственное общение между глухим человеком и тем, кто не знает языка жестов. Например, умные устройства со встроенными камерами и Ultralytics YOLO11 можно использовать для мгновенного перевода языка жестов в текст или речь.

Благодаря таким достижениям, как Ultralytics YOLO11, инструменты перевода языка жестов становятся точнее и доступнее. Это влияет на такие сферы, как вспомогательные технологии, сервисы перевода в реальном времени и образовательные платформы. ИИ может помочь устранить барьеры в общении и способствовать инклюзивности на рабочих местах, в школах и общественных пространствах.

Компьютерное зрение для отслеживания рук: улучшение возможностей AR и VR#

Ты когда-нибудь играл в игру виртуальной реальности (VR), где можно было брать предметы без контроллера? Отслеживание рук с помощью компьютерного зрения делает это возможным, позволяя пользователям естественно взаимодействовать в средах дополненной реальности (AR) и VR.

Рис. 4. Отслеживание рук — важная часть приложений AR и VR.

Благодаря оценке ключевых точек кисти с помощью таких моделей, как Ultralytics YOLO11, ИИ отслеживает движения в реальном времени, обеспечивая распознавание таких жестов, как щипок, захват и взмах. Это улучшает игровой процесс, виртуальное обучение и удалённую совместную работу, делая взаимодействие более интуитивным. По мере совершенствования технологии отслеживания рук AR и VR будут ощущаться ещё более захватывающими и реалистичными.

Основные выводы#

Оценка ключевых точек кисти с помощью Ultralytics YOLO11 делает решения для отслеживания рук на основе ИИ более доступными и надёжными. От распознавания жестов в реальном времени до интерпретации языка жестов и приложений AR/VR — компьютерное зрение открывает новые возможности для взаимодействия человека и компьютера.

Кроме того, упрощённые процессы дообучения и тонкой настройки помогают разработчикам создавать эффективные модели для различных практических задач. По мере развития технологий компьютерного зрения можно ожидать ещё больше инноваций в таких областях, как здравоохранение, робототехника, игры и безопасность.

Вступай в наше сообщество и изучай достижения AI в нашем репозитории на GitHub. Узнай о влиянии AI в производстве и компьютерного зрения в здравоохранении на страницах наших решений. Изучи наши тарифные планы лицензирования и начни свой путь в AI уже сегодня!