Упрощение аннотирования изображений с помощью Ultralytics Platform

Недавно компания Ultralytics представила Ultralytics Platform — среду, созданную для поддержки полного жизненного цикла разработки компьютерного зрения. Платформа централизует инструменты, используемые для управления различными этапами рабочих процессов в области AI, включая подготовку наборов данных, аннотирование изображений и видео, обучение моделей и их развертывание.

Несмотря на растущее внедрение в таких отраслях, как беспилотный транспорт и здравоохранение, создание решений в области computer vision по-прежнему может выглядеть как фрагментированный процесс. Одна из главных причин заключается в том, что модели компьютерного зрения сильно зависят от качества данных, на которых они обучаются. Еще до начала обучения наборы данных необходимо создать, организовать, просмотреть и разметить, чтобы модель могла понять, что именно нужно обнаруживать или распознавать.

При работе с визуальными данными этот процесс называется аннотированием данных или аннотированием изображений. Во время аннотирования изображений определенные части изображения отмечаются и им присваиваются метки, которые направляют модель в процессе обучения.

Например, если цель состоит в обнаружении собак на изображениях, аннотаторы могут нарисовать ограничивающие рамки (bounding boxes) вокруг каждой собаки, чтобы показать, где они находятся. В более детальных задачах они могут очертить контур собаки с помощью масок сегментации или отметить ключевые точки, чтобы зафиксировать ее позу. Эти размеченные примеры напрямую влияют на то, насколько хорошо модель будет работать после развертывания.

Управление рабочими процессами аннотирования изображений в масштабе может быть сложной задачей. Большие наборы данных часто требуют соблюдения стандартов разметки, совместной работы нескольких аннотаторов и инструментов, которые упрощают проверку и уточнение аннотаций.

Ultralytics Platform объединяет это с помощью встроенного annotation editor. Она поддерживает несколько типов задач аннотирования и предоставляет командам более простой способ разметки данных и подготовки наборов данных для компьютерного зрения в рамках единого рабочего процесса.

Рис 1. Обзор редактора аннотаций в Ultralytics Platform (Источник)

В этой статье мы рассмотрим, как редактор аннотаций Ultralytics Platform помогает командам эффективно размечать наборы данных и оптимизирует подготовку данных. Давай начнем!

Link to this sectionАннотирование данных в компьютерном зрении#

Прежде чем изучать инструменты аннотирования изображений, доступные на Ultralytics Platform, давай сделаем шаг назад, чтобы понять, что такое аннотирование данных и почему это важно при создании систем компьютерного зрения.

Computer vision models учатся, анализируя большие коллекции изображений или видео, известные как наборы данных. Однако одни лишь необработанные изображения не предоставляют достаточно информации, чтобы модель поняла, что ей нужно обнаруживать или распознавать. Чтобы сделать данные полезными для обучения, изображения должны быть размечены, чтобы модель могла узнать, какие объекты, формы или паттерны следует искать.

Во время аннотирования изображений определенные элементы внутри изображения помечаются и им присваиваются метки, описывающие то, чему модель должна научиться. Эти размеченные примеры направляют модели глубокого обучения и алгоритмы в процессе тренировки и помогают им распознавать схожие паттерны при обработке новых изображений.

Различные задачи компьютерного зрения требуют разных типов аннотирования изображений в зависимости от приложения и варианта использования. Например, аннотаторы могут рисовать bounding boxes вокруг объектов для обнаружения объектов, обводить области на изображении для семантической сегментации, определять ключевые точки для оценки позы или присваивать метки всему изображению для классификации.

Link to this sectionУправление данными и их подготовка#

Подготовка данных для проектов в области компьютерного зрения часто связана с работой с различными форматами файлов и организацией наборов данных. Она также включает в себя обеспечение готовности всего необходимого для аннотирования и обучения алгоритмов машинного обучения. Во многих рабочих процессах этот процесс распределен между несколькими инструментами, где данные загружаются, очищаются и перемещаются между системами, прежде чем их можно будет использовать.

Ultralytics Platform упрощает это, выполняя data preparation, обучение моделей и развертывание в единой среде. Команды могут загружать изображения, видео или архивы наборов данных и пользоваться полностью настраиваемым подходом к подготовке данных с помощью ручных или автоматизированных AI-аннотаций. Ultralytics Platform поддерживает как необработанные данные, так и стандартные форматы, такие как YOLO и COCO, что позволяет легко начинать новые проекты. Она также предоставляет доступ к существующим наборам данных на платформе, включая размеченные наборы данных, которые команды могут использовать для быстрого запуска новых проектов или экспериментов.

Рис 2. Загружай и управляй наборами данных в единой среде на Ultralytics Platform. (Источник)

Как только данные становятся доступны, ими можно управлять непосредственно на платформе. Разработчики могут просматривать изображения, отслеживать прогресс аннотирования и использовать встроенные визуализации, чтобы понять распределение набора данных и выявить потенциальные пробелы.

Платформа также поддерживает версионирование наборов данных, помогая командам создавать снимки своих данных по мере их развития. Это облегчает отслеживание изменений, сравнение экспериментов и поддержание согласованности во время обучения.

После подготовки данных команды могут перейти к аннотированию изображений, где они размечаются, чтобы помочь моделям научиться тому, что именно нужно обнаруживать.

Link to this sectionАннотирование наборов данных на Ultralytics Platform#

После загрузки данных следующим шагом является аннотирование. Именно здесь данные изображений размечаются, создавая основу для дальнейшего обучения моделей компьютерного зрения. Ultralytics Platform включает встроенные службы аннотирования изображений через редактор аннотаций, который позволяет командам размечать наборы данных и управлять ими непосредственно в той же среде.

Редактор аннотаций открывается в простом рабочем пространстве, где ты можешь просматривать изображения, добавлять метки и при необходимости обновлять аннотации. Все организовано в одном месте, что упрощает поддержание согласованности наборов данных и их подготовку к обучению.

Команды могут загружать наборы данных и начинать разметку изображений прямо в браузере, определяя и управляя классами аннотаций, чтобы метки оставались согласованными во всем наборе данных. По мере создания аннотаций ты можешь визуально проверять их в редакторе, что упрощает контроль точности перед переходом к обучению модели.

Link to this sectionИнструменты аннотирования изображений в Ultralytics Platform#

Ultralytics Platform также включает в себя несколько возможностей, которые поддерживают эффективные рабочие процессы разметки наборов данных, упрощая процесс аннотирования с помощью передовых алгоритмов.

Вот некоторые из ключевых функций, доступных в Ultralytics Platform:

• Ручное аннотирование: Этот подход позволяет пользователям полностью контролировать процесс и сохранять гибкость при создании аннотаций изображений, таких как bounding boxes, области сегментации или ключевые точки, прямо на изображениях.
• AI-assisted labeling: Эта функция автоматически генерирует предлагаемые аннотации, уменьшая потребность в ручной разметке. Она использует SAM (Segment Anything Model) для обнаружения объектов или областей всего за один клик, оптимизируя процесс аннотирования и помогая пользователям проверять и подтверждать предложения перед их добавлением в набор данных.
• Редактирование аннотаций: В любой момент ты можешь изменить или уточнить аннотации изображений после их создания. Это помогает исправлять ошибки разметки и поддерживать согласованность меток в наборе данных на протяжении всего процесса аннотирования.
• Управление классами: Команды и индивидуальные разработчики могут определять и организовывать классы аннотаций, используемые при разметке наборов данных. Это помогает поддерживать согласованность меток между изображениями, что важно для обучения моделей, которые могут точно распознавать и различать классы.

Объединяя ручные инструменты, искусственный интеллект и автоматизацию, Ultralytics Platform помогает пользователям более эффективно аннотировать изображения. Она также обеспечивает подготовку высококачественных обучающих данных для масштабируемых моделей компьютерного зрения.

Link to this sectionПоддерживаемые типы задач аннотирования#

Различные варианты использования, например, контроль качества продукции, потребуют разных типов аннотирования в зависимости от того, что необходимо обнаружить на изображениях или видео. Как мы упоминали выше, Ultralytics Platform поддерживает пять задач обнаружения объектов, каждая из которых имеет свой тип аннотации.

Давай подробнее рассмотрим задачи аннотирования, поддерживаемые на платформе, и то, как их можно использовать для разметки наборов данных.

Link to this sectionДетекция объектов#

Обнаружение объектов идентифицирует и локализует объекты внутри изображения. Аннотаторы отмечают каждый интересующий объект с помощью bounding boxes, указывая, где предметы появляются на изображении.

В редакторе аннотаций это делается с помощью инструмента bounding box. Ты можешь войти в «режим редактирования», нажать и перетащить, чтобы нарисовать прямоугольник вокруг объекта, и назначить метку класса из выпадающего меню.

Bounding boxes можно корректировать после их создания. Аннотаторы могут изменять их размер, перетаскивая угловые или краевые маркеры, перемещать их, перетаскивая центр рамки, или удалять их с помощью сочетаний клавиш. Эти аннотации помогают моделям зрения научиться обнаруживать объекты в различных сценах и условиях.

Рис 3. Аннотирование обнаружения объектов с помощью bounding boxes в Ultralytics Platform. (Источник)

Link to this sectionСегментация экземпляров#

Сегментация экземпляров (Instance segmentation) предоставляет более подробные аннотации, определяя точную форму объектов внутри изображения. Вместо того чтобы рисовать простую рамку, аннотаторы обводят границы объекта с помощью полигональной аннотации, чтобы создать точные маски для задач сегментации изображений.

Редактор аннотаций включает инструмент многоугольника (polygon tool) для этой задачи. Аннотаторы размещают несколько вершин вокруг краев объекта, чтобы очертить его форму. Как только вершины размещены, многоугольник можно закрыть, чтобы создать маску сегментации.

Вершины можно корректировать после создания многоугольника. Отдельные точки можно перемещать для уточнения границ объекта, а вершины можно удалять при необходимости. Эти аннотации на уровне пикселей помогают моделям изучать детальные визуальные структуры и различать объекты, которые расположены близко друг к другу.

Link to this sectionОценка позы (pose estimation)#

Аннотации оценки позы (Pose estimation) фиксируют положения суставов тела и взаимосвязи между ними. Это помогает моделям понять структуру и движение людей или животных на изображении.

Используя инструмент ключевых точек (keypoint tool), аннотаторы размещают ключевые точки, представляющие суставы тела, такие как плечи, локти, запястья, бедра, колени и лодыжки. Платформа поддерживает несколько встроенных скелетных шаблонов, включая 17-точечный формат позы человека COCO, а также шаблоны для рук, лиц, собак и углов коробок.

Шаблоны позволяют разместить полную схему скелета одним кликом, после чего отдельные ключевые точки можно отрегулировать в соответствии с позой на изображении. Каждая ключевая точка также может включать флаг видимости, чтобы указать, видна ли она или скрыта.

Рис 4. Аннотирование оценки позы с использованием ключевых точек и скелетных шаблонов. (Источник)

Link to this sectionОриентированные ограничивающие рамки (OBB)#

Ориентированные ограничивающие рамки (Oriented bounding boxes) выводят традиционные bounding boxes на новый уровень, поддерживая вращение. Этот тип аннотации полезен, когда объекты появляются под углом, а не выровнены по рамке изображения.

В редакторе аннотаций аннотаторы могут использовать инструмент ориентированной ограничивающей рамки, чтобы рисовать повернутые прямоугольники вокруг объектов. После рисования начальной рамки можно использовать маркер вращения для настройки угла, в то время как угловые маркеры позволяют изменять размер рамки.

Повернутые аннотации часто используются в аэрофотосъемке, наборах данных промышленного контроля и других сценариях, где объекты появляются по диагонали или с разных точек обзора.

Рис 5. Аннотирование ориентированной ограничивающей рамки (OBB) для повернутых объектов на аэрофотоснимках. (Источник)

Link to this sectionКлассификация изображений#

Классификация изображений присваивает метку всему изображению, а не помечает отдельные объекты внутри него.

Для наборов данных классификации редактор аннотаций предоставляет панель выбора класса. Аннотаторы могут присваивать метки изображениям, выбирая класс из боковой панели или используя сочетания клавиш для более быстрой разметки.

Эти метки на уровне всего изображения помогают моделям изучать высокоуровневые визуальные паттерны, представляющие различные категории.

Link to this sectionAI-assisted аннотирование с помощью SAM#

Разметка изображений для задач типа сегментации часто требует тщательной, детальной работы, особенно когда объекты должны быть обведены точно. Ultralytics Platform включает инструменты AI-assisted аннотирования, которые ускоряют процесс, сохраняя при этом аннотации точными и удобными для проверки.

Например, аннотаторы могут взаимодействовать с изображением, нажимая на части объекта, которые они хотят включить в аннотацию. Они также могут отметить области, которые следует исключить, чтобы уточнить результат. На основе этих входных данных модель генерирует маску сегментации в режиме реального времени, которую затем можно просмотреть и скорректировать перед сохранением.

Такой подход упрощает работу со сложными изображениями без необходимости вручную обводить каждую деталь. В то же время аннотаторы сохраняют контроль над окончательным результатом, обеспечивая согласованность аннотаций во всем наборе данных.

Рис 6. AI-assisted сегментация с использованием инструмента Smart annotation в Ultralytics Platform. (Источник)

Эти функции основаны на моделях Segment Anything Models (SAM). Эти модели являются частью более широкой экосистемы инструментов компьютерного зрения с открытым исходным кодом, предназначенных для создания высококачественных сегментаций с минимальными входными данными. Платформа поддерживает несколько вариантов SAM, включая SAM 2.1 и SAM 3. Это дает командам гибкость в выборе между более высокой производительностью и более детальными результатами в зависимости от их потребностей.

Эти инструменты с поддержкой AI могут применяться к таким задачам, как обнаружение объектов, сегментация экземпляров и обнаружение ориентированных ограничивающих рамок. Это означает, что команды могут обрабатывать большие наборы данных более эффективно, сохраняя при этом качество, необходимое для надежного обучения моделей.

Link to this sectionУлучшение рабочих процессов аннотирования с помощью встроенных инструментов#

По мере продвижения работы по аннотированию часто приходится возвращаться назад и корректировать метки, исправлять ошибки или более тщательно просматривать изображения. Редактор аннотаций Ultralytics включает встроенные инструменты, которые делают эти повседневные задачи проще и менее трудоемкими.

Некоторые из функций рабочего процесса, доступных в редакторе, включают:

• Сочетания клавиш: Редактор включает сочетания клавиш, которые ускоряют общие действия, такие как сохранение аннотаций, отмена или повтор изменений, удаление меток и выбор классов во время аннотирования.
• История отмены и повтора: Аннотаторы могут легко отменить или восстановить изменения, внесенные во время сеанса редактирования. Это помогает командам экспериментировать с аннотациями и быстро исправлять ошибки без потери прогресса, поддерживая лучший контроль качества во время подготовки набора данных.
• Гибкое редактирование аннотаций: Аннотации можно корректировать даже после создания. Ты можешь изменять размеры фигур, перемещать аннотации, поворачивать ориентированные ограничивающие рамки или обновлять метки классов по мере необходимости, особенно при уточнении объектов с неправильными формами.
• Элементы управления видимостью: Редактор включает переключатели видимости, которые позволяют пользователям показывать или скрывать аннотации и метки классов, упрощая проверку изображений во время разметки.
• Инструменты точности: Такие функции, как масштабирование и перекрестие курсора с координатами пикселей, помогают аннотаторам более точно размещать метки при работе с детализированными изображениями.

Link to this sectionУправление классами аннотаций на Ultralytics Platform#

Четкие и согласованные классы аннотаций играют важную роль в создании надежных наборов данных для компьютерного зрения. По мере роста проектов управление разметкой данных в больших наборах данных может стать сложным, особенно когда задействовано несколько аннотаторов. Хорошо организованные классы помогают обеспечить согласованность аннотаций и обучение моделей на структурированных данных.

Ultralytics Platform упрощает этот процесс, перенося управление классами непосредственно в редактор аннотаций. Вместо того чтобы обрабатывать метки отдельно, команды могут создавать, обновлять и просматривать классы во время работы над изображениями, что упрощает поддержание согласованности на протяжении всего рабочего процесса аннотирования.

Внутри редактора все классы доступны на боковой панели рядом с холстом аннотирования. Это позволяет легко выбрать правильную метку во время аннотирования и отслеживать, как классы используются во всем наборе данных. Пользователи могут искать существующие классы или создавать новые по мере необходимости, не прерывая свой рабочий процесс.

Детали классов также можно обновить в любое время. Имена можно редактировать напрямую, а цвета можно назначать, чтобы разные классы было легче идентифицировать в аннотациях. Редактор также показывает, сколько аннотаций связано с каждым классом, и позволяет пользователям просматривать их, помогая командам проверять согласованность и точность.

Все классы управляются через централизованную таблицу, где их можно сортировать, искать и обновлять. Любые изменения, внесенные здесь, автоматически применяются ко всему набору данных, помогая командам поддерживать согласованность по мере масштабирования проектов аннотирования.

Рис 7. Управление классами в редакторе аннотаций показывает организацию меток и настройку цветов. (Источник)

Link to this sectionКак качество аннотирования влияет на реальную производительность#

По мере перехода систем компьютерного зрения от разработки к реальному использованию качество размеченных данных играет ключевую роль в том, как работают модели. Хорошо размеченные наборы данных помогают моделям выдавать более точные и согласованные прогнозы, особенно в динамичных или непредсказуемых средах.

На практике даже небольшие несоответствия в аннотировании могут повлиять на поведение модели. Различия в том, как объекты размечены или как обрабатываются крайние случаи, могут быть неочевидны во время обучения, но могут привести к менее надежным прогнозам после развертывания систем.

Более того, эти несоответствия могут стать более заметными в реальных приложениях. Например, в робототехнике и системах здравоохранения модели полагаются на визуальные входные данные для обнаружения объектов и управления действиями в режиме реального времени. Вариации в разметке могут повлиять на то, насколько точно эти системы интерпретируют окружающую среду.

Поддерживая согласованные практики аннотирования и используя платформы, такие как Ultralytics, для управления и уточнения наборов данных с течением времени, команды могут создавать модели, которые работают более надежно за пределами контролируемых сред тестирования.

Link to this sectionОсновные выводы#

Высококачественное аннотирование данных имеет важное значение для обучения точных моделей компьютерного зрения и поддержки успешных проектов аннотирования изображений. Ultralytics Platform упрощает этот процесс с помощью мощного редактора аннотаций, который поддерживает несколько задач зрения. Объединяя инструменты ручного аннотирования с AI-assisted разметкой с помощью SAM и встроенными функциями рабочего процесса, команды могут более эффективно подготавливать наборы данных и быстрее переходить от подготовки данных к разработке моделей.

Присоединяйся к нашему community и изучай GitHub repository, чтобы узнать больше о моделях компьютерного зрения. Читай о таких приложениях, как AI in automotive и computer vision in robotics, на наших страницах решений. Ознакомься с нашими licensing options и начни создавать свою собственную модель AI зрения.