Изучаем разметку данных для проектов компьютерного зрения

Искусственный интеллект (AI) направлен на то, чтобы наделить машины способностями, подобными человеческим, и один из самых популярных способов сделать это — использовать обучение с учителем. Иными словами, обучение моделей AI на размеченных примерах помогает им выявлять закономерности и лучше справляться с задачами. Это очень похоже на то, как люди учатся на опыте. Так как же создаются эти размеченные примеры?

Аннотация данных включает разметку или тегирование данных, чтобы алгоритмы машинного обучения могли их понимать. В компьютерном зрении это означает разметку изображений или видео для точного распознавания и категоризации объектов, действий или сцен. Разметка данных крайне важна, поскольку успех модели AI во многом зависит от качества данных, на которых она обучается.

Исследования показывают, что более 80% времени в проектах AI тратится на работу с данными — от их сбора и объединения до очистки и разметки. Это показывает, насколько важна аннотация данных при разработке моделей AI. Высококачественные аннотированные данные позволяют моделям AI с большей точностью и надежностью выполнять такие задачи, как распознавание лиц и обнаружение объектов в реальных условиях.

Зачем нужна аннотация данных#

Аннотация данных определяет, насколько хорошо работает модель компьютерного зрения. Размеченные данные служат эталоном, который модель использует для обучения и построения прогнозов. Эталонные данные важны, поскольку представляют реальный мир, который модель пытается понять. Без этой надежной основы модель AI была бы подобна кораблю, плывущему без компаса.

Рис. 1. Эталонные данные и прогноз.

Точная разметка помогает этим моделям понимать, что они видят, и принимать более правильные решения. Если данные размечены плохо или непоследовательно, модели будет сложно строить корректные прогнозы и принимать решения — так же как ученику, который занимается по неправильным учебникам. Благодаря аннотированным данным модель может обучаться таким задачам, как классификация изображений, сегментация экземпляров и оценка позы объектов на изображениях и видео.

Лучшие ресурсы для датасетов#

Прежде чем создавать совершенно новый датасет и тщательно размечать изображения и видео, стоит проверить, можно ли использовать для проекта готовые датасеты. Существует несколько отличных репозиториев с открытым исходным кодом, где можно бесплатно получить доступ к высококачественным датасетам. Среди самых популярных:

• ImageNet: этот датасет обычно используют для обучения моделей классификации изображений.
• COCO: этот датасет предназначен для обнаружения объектов, сегментации и создания подписей к изображениям.
• PASCAL VOC: поддерживает задачи обнаружения объектов и сегментации.

Рис. 2. Примеры данных в датасете COCO.

При выборе датасета важно учитывать такие факторы, как его соответствие проекту, размер, разнообразие и качество разметки. Также обязательно ознакомься с условиями лицензии датасета, чтобы избежать юридических последствий, и проверь, соответствует ли формат данных твоему рабочему процессу и инструментам.

Создание собственного датасета — отличный вариант, если готовые датасеты не вполне соответствуют твоим требованиям. Можно собирать изображения с помощью веб-камер, дронов или смартфонов — в зависимости от задач проекта. В идеале собственный датасет должен быть разнообразным, сбалансированным и действительно отражать проблему, которую ты пытаешься решить. Это может означать съемку изображений при разном освещении, с разных ракурсов и в различных условиях.

Если удается собрать лишь небольшое количество изображений или видео, полезным приемом станет аугментация данных. Она заключается в расширении датасета за счет таких преобразований существующих изображений, как поворот, отражение или изменение цвета. Это увеличивает размер датасета, делает модель более устойчивой и помогает ей лучше справляться с вариативностью данных. Сочетая датасеты с открытым исходным кодом, собственные датасеты и аугментированные данные, можно значительно повысить производительность моделей компьютерного зрения.

Типы методов аннотации изображений#

Прежде чем начинать аннотировать изображения, важно ознакомиться с разными типами аннотаций. Это поможет выбрать подходящий вариант для проекта. Далее рассмотрим несколько основных типов аннотаций.

Ограничивающие рамки#

Ограничивающие рамки — самый распространенный тип аннотации в компьютерном зрении. Это прямоугольные рамки, которыми отмечают расположение объекта на изображении. Рамки задаются координатами углов и помогают моделям AI идентифицировать объекты и определять их местоположение. Ограничивающие рамки в основном используются для обнаружения объектов.

Рис. 3. Пример ограничивающих рамок.

Маски сегментации#

Иногда объект необходимо обнаружить точнее, чем позволяет простая ограничивающая рамка вокруг него. Возможно, тебя интересуют границы объектов на изображении. В таком случае маски сегментации позволяют обвести сложные объекты. Маски сегментации представляют собой более детальное описание на уровне пикселей.

Эти маски можно использовать для семантической сегментации и сегментации экземпляров. Семантическая сегментация заключается в присвоении метки каждому пикселю изображения в соответствии с представляемым им объектом или областью, например пешеходом, автомобилем, дорогой или тротуаром. Сегментация экземпляров идет дальше: она идентифицирует и отделяет каждый объект индивидуально, например различает автомобили на изображении, даже если все они относятся к одному типу.

Рис. 4. Пример семантической сегментации (слева) и масок сегментации экземпляров (справа).

3D-параллелепипеды#

3D-параллелепипеды похожи на ограничивающие рамки, но отличаются тем, что добавляют информацию о глубине и дают 3D-представление объекта. Эта дополнительная информация позволяет системам понимать форму, объем и положение объектов в 3D-пространстве. 3D-параллелепипеды часто используют в беспилотных автомобилях, чтобы измерять расстояние до объектов.

Рис. 5. Пример 3D-параллелепипедов.

Ключевые точки и ориентиры#

Еще один интересный тип аннотации — ключевые точки, при котором на объектах отмечают определенные точки, например глаза, носы или суставы. Ориентиры развивают эту идею, соединяя эти точки для отображения структуры и движения более сложных форм, например лиц или поз тела. Такие типы аннотаций используют в приложениях для распознавания лиц, захвата движений и дополненной реальности. Они также повышают точность моделей AI в таких задачах, как распознавание жестов или анализ спортивных результатов.

Рис. 6. Пример ключевых точек.

Как аннотировать данные с помощью LabelImg#

Теперь, когда мы рассмотрели разные типы аннотаций, разберемся, как аннотировать изображения с помощью популярного инструмента LabelImg. LabelImg — это инструмент с открытым исходным кодом, который упрощает аннотацию изображений и позволяет создавать датасеты в формате YOLO (Смотришь один раз). Это отличный выбор для начинающих, работающих над небольшими проектами Ultralytics YOLOv8.

Настроить LabelImg просто. Сначала убедись, что на компьютере установлен Python 3. Затем установи LabelImg с помощью одной команды:

pip3 install labelImg

После установки запусти инструмент с помощью команды:

labelImg

LabelImg работает на нескольких платформах, включая Windows, macOS и Linux. Если при установке возникнут проблемы, подробные инструкции можно найти в официальном репозитории LabelImg.

Рис. 7. Использование LabelImg для аннотации изображений.

Запусти инструмент и выполни следующие простые шаги, чтобы начать разметку изображений:

• Настрой классы: начни с определения списка классов (категорий), которые нужно аннотировать, в файле “predefined_classes.txt.” Этот файл сообщает программе, какие объекты ты будешь размечать на изображениях.
• Переключись на формат YOLO: по умолчанию LabelImg использует формат PASCAL VOC, но при работе с YOLO нужно переключить формат. Просто нажми кнопку “PascalVOC” на панели инструментов, чтобы перейти на YOLO.
• Начни аннотирование: используй параметры "Open" или "OpenDIR", чтобы загрузить изображения. Затем нарисуй ограничивающие рамки вокруг нужных объектов и назначь правильную метку класса. После разметки каждого изображения сохрани результат. LabelImg создаст текстовый файл с тем же именем, что и изображение, содержащий аннотации YOLO.
• Сохрани и проверь: аннотации сохраняются в файле .txt в формате YOLO. Программа также сохраняет файл “classes.txt” со списком всех названий классов.

Эффективные стратегии разметки данных#

Чтобы упростить процесс разметки данных, важно учитывать несколько ключевых стратегий. Например, крайне важны четкие правила аннотации. Без них разные аннотаторы могут по-разному интерпретировать задачу.

Представим, что задача заключается в разметке птиц на изображениях с помощью ограничивающих рамок. Один аннотатор может разметить всю птицу, а другой — только голову или крылья. Такая непоследовательность может запутать модель во время обучения. Предоставив четкие определения, например "размечай всю птицу, включая крылья и хвост", а также примеры и инструкции для сложных случаев, можно обеспечить точность и единообразие разметки данных.

Регулярные проверки качества также важны для поддержания высоких стандартов. Устанавливая контрольные показатели и используя конкретные метрики для проверки работы, можно сохранять точность данных и улучшать процесс благодаря постоянной обратной связи.

Разметка данных вкратце#

Аннотация данных — простая концепция, способная значительно повлиять на работу модели компьютерного зрения. Независимо от того, используешь ли ты такие инструменты, как LabelImg, для аннотации изображений или обучаешь модели на датасетах с открытым исходным кодом, понимание разметки данных крайне важно. Стратегии разметки данных помогают оптимизировать весь процесс и сделать его эффективнее. Время, потраченное на совершенствование подхода к аннотации, может привести к более качественным и надежным результатам AI.

Продолжай изучать новое и развивать свои навыки! Поддерживай связь с нашим сообществом, чтобы узнавать больше об AI! Загляни в наш репозиторий GitHub, чтобы узнать, как мы используем AI для создания инновационных решений в таких отраслях, как производство и здравоохранение. 🚀