Изучение разметки данных для проектов компьютерного зрения

Искусственный интеллект (ИИ) сосредоточен на придании машинам человеческих способностей, и один из самых популярных способов сделать это — обучение с учителем. Иными словами, обучение моделей ИИ на размеченных примерах помогает им выявлять закономерности и совершенствоваться в задачах. Это очень похоже на то, как люди учатся на собственном опыте. Итак, как создаются эти размеченные примеры?

Аннотирование данных включает в себя разметку или тегирование данных, чтобы помочь алгоритмам машинного обучения их понять. В компьютерном зрении это означает разметку изображений или видео для точного распознавания и классификации объектов, действий или сцен. Разметка данных жизненно важна, поскольку успех модели ИИ во многом зависит от качества размеченных данных, на которых она обучается.

Исследования показывают, что более 80% времени работы над проектом ИИ уходит на управление данными: от их сбора и агрегации до очистки и разметки. Это демонстрирует, насколько важна аннотация данных при разработке моделей ИИ. Использование высококачественных аннотированных данных позволяет моделям ИИ выполнять такие задачи, как распознавание лиц и детектирование объектов, с большей точностью и надежностью в реальных условиях.

Link to this sectionПочему аннотирование данных необходимо#

Аннотирование данных составляет основу производительности модели компьютерного зрения. Размеченные данные — это эталон, который модель использует для обучения и построения предсказаний. Эталонные данные важны, потому что они представляют реальный мир, который модель пытается понять. Без этой надежной базы модель ИИ была бы подобна кораблю, плывущему без компаса.

Рис. 1. Эталонные данные против предсказания.

Точная разметка помогает этим моделям понимать то, что они видят, и ведет к более качественному принятию решений. Если данные размечены плохо или противоречиво, модель будет с трудом делать правильные предсказания и выводы, точно так же, как ученик, обучающийся по неправильным учебникам. Благодаря аннотированным данным модель может обучаться таким задачам, как классификация изображений, сегментация экземпляров и оценка позы объектов на изображениях и видео.

Link to this sectionЛучшие ресурсы для наборов данных#

Прежде чем создавать абсолютно новый набор данных и кропотливо размечать изображения и видео, стоит проверить, можешь ли ты использовать существующие наборы данных для своего проекта. Существует несколько отличных репозиториев с открытым исходным кодом, где ты можешь бесплатно получить качественные наборы данных. Вот некоторые из самых популярных:

• ImageNet: обычно используется для обучения моделей классификации изображений.
• COCO: этот набор данных предназначен для обнаружения объектов, сегментации и описания изображений (captioning).
• PASCAL VOC: поддерживает задачи обнаружения объектов и сегментации.

Рис. 2. Примеры данных в наборе COCO.

При выборе набора данных важно учитывать такие факторы, как насколько хорошо он подходит для твоего проекта, размер набора, его разнообразие и качество меток. Также обязательно ознакомься с лицензионными условиями набора данных, чтобы избежать юридических последствий, и проверь, отформатированы ли данные так, чтобы подходить для твоего рабочего процесса и инструментов.

Создание собственного набора данных — отличный вариант, если существующие наборы не совсем соответствуют твоим потребностям. Ты можешь собирать изображения, используя такие инструменты, как веб-камеры, дроны или смартфоны, в зависимости от требований проекта. В идеале твой пользовательский набор данных должен быть разнообразным, сбалансированным и действительно репрезентативным для решаемой задачи. Это может означать съемку изображений в разных условиях освещения, под разными углами и в различных окружениях.

Если ты можешь собрать лишь небольшое количество изображений или видео, полезной техникой будет аугментация данных. Она включает в себя расширение набора данных путем применения трансформаций, таких как поворот, отражение или цветовая коррекция к имеющимся изображениям. Это увеличивает размер твоего набора данных, делая модель более устойчивой и способной лучше справляться с вариациями в данных. Используя сочетание наборов данных с открытым кодом, собственных наборов и аугментированных данных, ты можешь значительно повысить производительность своих моделей компьютерного зрения.

Link to this sectionТипы техник аннотирования изображений#

Прежде чем приступать к аннотированию изображений, важно ознакомиться с различными типами аннотаций. Это поможет тебе выбрать подходящую для своего проекта. Далее мы рассмотрим некоторые основные типы аннотаций.

Link to this sectionBBox#

Ограничивающие рамки (Bounding boxes) — самый распространенный тип аннотации в компьютерном зрении. Это прямоугольные рамки, используемые для обозначения местоположения объекта на изображении. Эти рамки определяются координатами углов и помогают моделям ИИ идентифицировать и находить объекты. Ограничивающие рамки в основном используются для обнаружения объектов.

Рис. 3. Пример ограничивающих рамок.

Link to this sectionМаски сегментации#

Иногда объект нужно обнаружить более точно, чем просто с помощью ограничивающей рамки. Тебя может интересовать контур объектов на изображении. В этом случае маски сегментации позволяют обвести сложные объекты. Маски сегментации — это более детальное представление на уровне пикселей.

Эти маски могут использоваться для семантической сегментации и сегментации экземпляров. Семантическая сегментация подразумевает разметку каждого пикселя на изображении в соответствии с объектом или областью, которую он представляет, например, пешеход, автомобиль, дорога или тротуар. Сегментация экземпляров, однако, идет дальше, идентифицируя и отделяя каждый объект индивидуально, например, различая каждую машину на изображении, даже если они все одного типа.

Рис. 4. Пример семантической сегментации (слева) и масок сегментации экземпляров (справа).

Link to this section3D-кубоиды#

3D-кубоиды похожи на ограничивающие рамки, но их уникальность заключается в том, что они добавляют информацию о глубине и предоставляют 3D-представление объекта. Эта дополнительная информация позволяет системам понимать форму, объем и положение объектов в 3D-пространстве. 3D-кубоиды часто используются в автономных автомобилях для измерения расстояния до объектов от транспортного средства.

Рис. 5. Пример 3D-кубоидов.

Link to this sectionКлючевые точки и ориентиры#

Еще один интересный тип аннотации — ключевые точки, где на объектах отмечаются конкретные точки, такие как глаза, нос или суставы. Ориентиры (landmarks) идут дальше, соединяя эти точки для фиксации структуры и движения более сложных форм, например лиц или поз тела. Эти типы аннотаций используются в таких приложениях, как распознавание лиц, захват движения и дополненная реальность. Они также повышают точность моделей ИИ в задачах типа распознавания жестов или анализа спортивных результатов.

Рис. 6. Пример ключевых точек.

Link to this sectionКак аннотировать данные с помощью LabelImg#

Теперь, когда мы обсудили различные типы аннотаций, давай разберемся, как можно аннотировать изображения с помощью популярного инструмента LabelImg. LabelImg — это инструмент с открытым исходным кодом, который делает аннотирование изображений простым и может использоваться для создания наборов данных в формате YOLO (You Only Look Once). Это отличный выбор для новичков, работающих над небольшими проектами Ultralytics YOLOv8.

Настройка LabelImg проста. Во-первых, убедись, что на твоем компьютере установлен Python 3. Затем ты можешь установить LabelImg быстрой командой:

pip3 install labelImg

После установки ты можешь запустить инструмент командой:

labelImg

LabelImg работает на нескольких платформах, включая Windows, macOS и Linux. Если во время установки возникнут какие-либо проблемы, официальный репозиторий LabelImg предоставит тебе более подробные инструкции.

Рис 7. Использование LabelImg для аннотирования изображений.

После запуска инструмента выполни следующие простые шаги, чтобы начать разметку изображений:

• Настрой классы: Начни с определения списка классов (категорий), которые ты хочешь аннотировать, в файле под названием “predefined_classes.txt.” Этот файл сообщает программному обеспечению, какие объекты ты будешь размечать на своих изображениях.
• Переключись на формат YOLO: По умолчанию LabelImg использует формат PASCAL VOC, но если ты работаешь с YOLO, тебе нужно изменить формат. Просто нажми кнопку “PascalVOC” на панели инструментов, чтобы переключиться на YOLO.
• Начни аннотирование: Используй опции "Open" или "OpenDIR" для загрузки изображений. Затем нарисуй ограничивающие рамки вокруг объектов, которые хочешь аннотировать, и назначь правильную метку класса. После разметки каждого изображения сохраняй свою работу. LabelImg создаст текстовый файл с тем же именем, что и твое изображение, содержащий аннотации YOLO.
• Сохрани и проверь: Аннотации сохраняются в файл .txt в формате YOLO. Программа также сохраняет файл “classes.txt”, в котором перечислены все твои названия классов.

Link to this sectionСтратегии эффективной разметки данных#

Чтобы сделать процесс разметки данных более гладким, стоит помнить о нескольких ключевых стратегиях. Например, очень важны четкие рекомендации по аннотированию. Без них разные аннотаторы могут интерпретировать задачу по-разному.

Допустим, задача состоит в том, чтобы разметить птиц на изображениях ограничивающими рамками. Один аннотатор может выделить птицу целиком, а другой — только голову или крылья. Такая несогласованность может запутать модель во время обучения. Предоставляя четкие определения, такие как "размечай птицу целиком, включая крылья и хвост", вместе с примерами и инструкциями для сложных случаев, ты можешь гарантировать, что данные будут размечены точно и последовательно.

Регулярные проверки качества также важны для поддержания высоких стандартов. Устанавливая ориентиры и используя конкретные метрики для проверки работы, ты можешь поддерживать точность данных и совершенствовать процесс с помощью постоянной обратной связи.

Link to this sectionРазметка данных вкратце#

Аннотирование данных — простая концепция, которая может оказать значительное влияние на твою модель компьютерного зрения. Независимо от того, используешь ли ты инструменты типа LabelImg для аннотирования изображений или обучаешь модели на наборах данных с открытым кодом, понимание разметки данных является ключевым моментом. Стратегии разметки данных могут помочь оптимизировать весь процесс и сделать его более эффективным. Уделение времени совершенствованию своего подхода к аннотированию может привести к лучшим и более надежным результатам ИИ.

Продолжай исследовать и расширять свои навыки! Оставайся на связи с нашим сообществом, чтобы продолжать изучать ИИ! Загляни в наш GitHub-репозиторий, чтобы узнать, как мы используем ИИ для создания инновационных решений в таких отраслях, как производство и здравоохранение. 🚀