Повышение точности определения ключевых точек кисти руки с Ultralytics YOLO11

В последнее время сурдопереводчики на Супербоуле привлекли много внимания. Когда по телевизору они переводят песню твоего любимого исполнителя на язык жестов, ты понимаешь их, если знаешь этот язык, потому что твой мозг обрабатывает движения рук. А что, если компьютер сможет делать то же самое? Благодаря решениям на базе ИИ для отслеживания рук машины могут с высокой точностью отслеживать и интерпретировать движения рук.

В основе таких решений лежит компьютерное зрение — область ИИ, которая позволяет машинам обрабатывать и понимать визуальную информацию. Анализируя изображения и видео, компьютерное зрение на базе ИИ помогает обнаруживать объекты, отслеживать движения и распознавать сложные жесты.

Например, модели компьютерного зрения, такие как Ultralytics YOLO11, можно обучить в реальном времени обнаруживать и анализировать ключевые точки руки с помощью оценки позы. Такие модели подходят для распознавания жестов, перевода жестового языка и взаимодействия в AR/VR.

В этой статье мы расскажем, как Ultralytics YOLO11 обеспечивает отслеживание рук на базе ИИ, какие наборы данных используются для обучения и как дообучить модель для оценки позы руки. Мы также рассмотрим реальные варианты применения.

Обнаружение ключевых точек рук с помощью ИИ#

ИИ может распознавать и отслеживать движения рук на визуальных данных, определяя такие ключевые точки, как запястье, кончики пальцев и суставы пальцев. Один из подходов — оценка позы — помогает компьютерам понимать движения человека: для этого система сопоставляет ключевые точки и анализирует, как они меняются со временем. Так системы ИИ могут с высокой точностью интерпретировать позу тела, жесты и характер движения.

Модели компьютерного зрения обеспечивают эту возможность, анализируя изображения и видео для определения ключевых точек на руке и отслеживания их перемещения. После определения этих точек ИИ распознаёт жесты, анализируя пространственные взаимосвязи между ключевыми точками и изменения этих взаимосвязей со временем.

Например, если расстояние между большим и указательным пальцами уменьшается, ИИ может интерпретировать это как щипковый жест. Аналогичным образом отслеживание перемещений ключевых точек в последовательностях помогает распознавать сложные жесты рук и даже предсказывать дальнейшие движения.

Рис. 1. Пример распознавания ключевых точек руки с помощью компьютерного зрения.

Интересно, что оценка позы для отслеживания рук открыла широкие возможности: от управления умными устройствами без помощи рук до повышения точности роботов и поддержки медицинских приложений. По мере развития ИИ и компьютерного зрения отслеживание рук, вероятно, будет играть всё более значимую роль, делая технологии интерактивнее, доступнее и интуитивнее в повседневной жизни.

Оценка позы с помощью Ultralytics YOLO11#

Прежде чем разбираться, как создать решение для отслеживания рук с помощью ИИ, подробнее рассмотрим оценку позы и поддержку этой задачи компьютерного зрения в Ultralytics YOLO11. В отличие от стандартного обнаружения объектов, которое определяет объекты целиком, оценка позы позволяет анализировать движения и положение тела, обнаруживая ключевые ориентиры — например, суставы, конечности или края.

Ultralytics YOLO11 специально разработана для оценки позы в реальном времени. Она эффективно обнаруживает людей и за один проход определяет ключевые точки, превосходя предыдущие модели по скорости и точности.

Сразу после установки Ultralytics YOLO11 уже обучена на наборе данных COCO-Pose и умеет распознавать ключевые точки человеческого тела, в том числе голову, плечи, локти, запястья, бёдра, колени и лодыжки.

Рис. 2. Оценка позы человека с помощью YOLO11.

Помимо оценки позы человека, Ultralytics YOLO11 можно дообучить для обнаружения ключевых точек на самых разных объектах — как одушевлённых, так и неодушевлённых. Благодаря такой гибкости YOLO11 подходит для широкого круга задач.

Обзор набора данных Hand Keypoints#

Первый шаг в дообучении модели — собрать и аннотировать данные или найти готовый набор данных, подходящий для проекта. Например, набор данных Hand Keypoints — хорошая отправная точка для обучения моделей Vision AI отслеживанию рук и оценке позы. В нём 26 768 аннотированных изображений, поэтому размечать данные вручную не нужно.

Этот набор данных можно использовать для обучения таких моделей, как Ultralytics YOLO11, чтобы они быстро научились обнаруживать и отслеживать движения рук. Для каждой руки в наборе размечена 21 ключевая точка: запястье, пальцы и суставы. Кроме того, аннотации созданы с помощью Google MediaPipe — инструмента для разработки решений на основе ИИ для обработки медиаданных в реальном времени. Это обеспечивает точное и надёжное обнаружение ключевых точек.

Рис. 3. 21 ключевая точка из набора данных Hand Keypoints.

Использование структурированного набора данных, подобного этому, экономит время и позволяет разработчикам сосредоточиться на обучении и тонкой настройке моделей, а не на сборе и разметке данных. Набор уже разделён на обучающую (18 776 изображений) и валидационную (7 992 изображения) выборки, поэтому оценить производительность модели несложно.

Как обучить Ultralytics YOLO11 оценке позы рук#

Обучить YOLO11 для оценки позы руки несложно, особенно с помощью пакета Ultralytics для Python, который упрощает настройку и обучение модели. Поскольку набор данных Hand Keypoints уже поддерживается конвейером обучения, его можно сразу использовать без дополнительного форматирования, сэкономив время и усилия.

Вот как проходит обучение:

• Настрой среду: сначала установи пакет Ultralytics для Python.
• Загрузи набор данных Hand Keypoints: Ultralytics YOLO11 поддерживает этот набор данных из коробки, поэтому его можно автоматически скачать и подготовить.
• Используй предварительно обученную модель: можно начать с предварительно обученной модели Ultralytics YOLO11 для оценки позы, которая помогает повысить точность и ускорить обучение.
• Обучи модель: модель учится обнаруживать и отслеживать ключевые точки рук в ходе нескольких циклов обучения.
• Отслеживай производительность: пакет Ultralytics также включает инструменты для отслеживания ключевых метрик, таких как точность и потери, что помогает убедиться, что качество модели со временем улучшается.
• Сохрани и разверни: после обучения модель можно экспортировать и использовать для приложений отслеживания рук в реальном времени.

Оценка дообученной модели#

Создавая собственную модель, ты убедишься, что важно отслеживать её производительность. Помимо контроля прогресса во время обучения, крайне важно оценить модель после его завершения, чтобы убедиться, что она точно обнаруживает и отслеживает ключевые точки рук.

Ключевые метрики производительности, такие как точность, значения функции потерь и средняя точность (mAP), помогают оценить качество модели. Пакет Ultralytics для Python включает инструменты для визуализации результатов и сравнения предсказаний с реальными аннотациями, благодаря чему проще определить, что можно улучшить.

Чтобы лучше понять производительность модели, можно изучить графики оценки, например кривые потерь, графики «точность — полнота» и матрицы ошибок. Они автоматически создаются в логах обучения.

Эти графики помогают выявлять такие проблемы, как переобучение (модель запоминает обучающие данные, но плохо справляется с новыми) или недообучение (модель недостаточно хорошо усваивает закономерности, чтобы делать точные предсказания), и подсказывают, что изменить для повышения точности. Также важно проверять модель на новых изображениях или видео, чтобы оценить её работу в реальных условиях.

Применение решений для отслеживания рук на основе ИИ#

Далее рассмотрим некоторые наиболее значимые примеры применения оценки ключевых точек рук с помощью Ultralytics YOLO11.

Распознавание жестов в реальном времени с помощью Ultralytics YOLO11#

Представь, что громкость телевизора можно менять простым движением руки, а системой умного дома — управлять, легко проведя рукой в воздухе. Распознавание жестов в реальном времени с помощью Ultralytics YOLO11 делает такие бесконтактные способы взаимодействия возможными, точно обнаруживая движения рук.

Для этого используются камеры с ИИ, которые отслеживают ключевые точки руки и интерпретируют жесты как команды. Камеры с датчиками глубины, инфракрасные датчики и даже обычные веб-камеры фиксируют движения рук, а Ultralytics YOLO11 обрабатывает данные и распознаёт разные жесты. Например, такая система может отличить свайп для переключения песни от щипка для увеличения и кругового движения для регулировки громкости.

Обнаружение ключевых точек рук с помощью ИИ для распознавания жестового языка#

Решения на базе ИИ для отслеживания рук могут облегчить общение между глухим человеком и тем, кто не знает жестового языка. Например, умные устройства со встроенными камерами и Ultralytics YOLO11 можно использовать для мгновенного перевода жестового языка в текст или речь.

Благодаря таким достижениям, как Ultralytics YOLO11, инструменты перевода жестового языка становятся точнее и доступнее. Это влияет на развитие вспомогательных технологий, сервисов синхронного перевода и образовательных платформ. ИИ помогает преодолевать барьеры в общении и способствует инклюзивности на работе, в школах и общественных местах.

Компьютерное зрение для отслеживания рук: улучшение AR- и VR-взаимодействия#

Ты когда-нибудь играл в игру в виртуальной реальности (VR), где можно хватать предметы без контроллера? Отслеживание рук с помощью компьютерного зрения позволяет естественным образом взаимодействовать в средах дополненной реальности (AR) и VR.

Рис. 4. Отслеживание рук — важная часть приложений AR и VR.

Оценивая ключевые точки руки с помощью моделей вроде Ultralytics YOLO11, ИИ отслеживает движения в реальном времени и распознаёт жесты, например щипок, захват и свайп. Это делает игры, виртуальное обучение и удалённое сотрудничество удобнее и интуитивнее. По мере развития технологии отслеживания рук AR и VR будут становиться ещё более захватывающими и реалистичными.

Главные выводы#

Оценка ключевых точек рук с помощью Ultralytics YOLO11 делает решения для отслеживания рук на основе ИИ доступнее и надёжнее. От распознавания жестов в реальном времени до интерпретации жестового языка и приложений AR/VR — компьютерное зрение открывает новые возможности для взаимодействия человека с компьютером.

Кроме того, упрощённые процессы обучения на собственных данных и тонкой настройки помогают разработчикам создавать эффективные модели для различных задач в реальных условиях. По мере развития технологий компьютерного зрения можно ожидать новых инноваций в медицине, робототехнике, играх и системах безопасности.

Присоединяйся к нашему сообществу и следи за развитием ИИ в нашем репозитории GitHub. Узнай о возможностях ИИ в производстве и компьютерного зрения в здравоохранении на страницах наших решений. Ознакомься с вариантами лицензирования и начни свой путь в ИИ уже сегодня!