Оптимизация аннотации изображений с помощью Ultralytics Platform

Недавно Ultralytics представила Ultralytics Platform — среду, созданную для поддержки полного жизненного цикла разработки решений компьютерного зрения. Платформа объединяет инструменты для управления различными этапами рабочих процессов в области ИИ для компьютерного зрения, включая подготовку наборов данных, аннотирование изображений и видео, обучение моделей и их развертывание.

Несмотря на растущее распространение в таких отраслях, как автономное вождение и здравоохранение, разработка решений для компьютерного зрения по-прежнему может восприниматься как фрагментированный процесс. Одна из главных причин заключается в том, что модели компьютерного зрения сильно зависят от качества данных, на которых они обучаются. Еще до начала обучения наборы данных нужно создать, организовать, проверить и разметить, чтобы модель могла научиться обнаруживать или распознавать нужные объекты.

При работе с визуальными данными этот процесс называется аннотированием данных или изображений. Во время аннотирования изображений определенные части изображения отмечаются и получают метки, которые направляют обучение модели.

Например, если цель — обнаруживать собак на изображениях, специалисты по разметке могут нарисовать ограничивающие рамки вокруг каждой собаки, чтобы показать ее расположение. В более сложных задачах они могут обозначить форму собаки с помощью масок сегментации или отметить ключевые точки, чтобы зафиксировать ее позу. Эти размеченные примеры напрямую влияют на качество работы модели после развертывания.

Управлять рабочими процессами аннотирования изображений в больших масштабах может быть сложно. Для крупных наборов данных часто требуются единые стандарты разметки, совместная работа нескольких специалистов и инструменты, упрощающие проверку и уточнение аннотаций.

Ultralytics Platform объединяет все это во встроенном редакторе аннотаций. Он поддерживает несколько типов задач аннотирования и предоставляет командам более простой способ размечать данные и подготавливать наборы данных для компьютерного зрения в рамках единого рабочего процесса.

Рис. 1. Обзор редактора аннотаций в Ultralytics Platform (Источник)

В этой статье мы рассмотрим, как редактор аннотаций Ultralytics Platform помогает командам эффективно аннотировать наборы данных и оптимизирует подготовку данных. Давай начнем!

Аннотирование данных в компьютерном зрении#

Прежде чем изучать инструменты аннотирования изображений, доступные в Ultralytics Platform, давай разберемся, что такое аннотирование данных и почему оно важно при создании систем компьютерного зрения.

Модели компьютерного зрения обучаются, анализируя большие коллекции изображений или видео, известные как наборы данных. Однако одних необработанных изображений недостаточно, чтобы модель поняла, что именно ей нужно обнаруживать или распознавать. Чтобы сделать данные полезными для обучения, изображения необходимо разметить, чтобы модель научилась искать нужные объекты, формы или закономерности.

Во время аннотирования изображений определенные элементы внутри изображения отмечаются и получают метки, описывающие то, чему должна научиться модель. Эти размеченные примеры направляют работу моделей и алгоритмов глубокого обучения во время обучения и помогают им распознавать похожие закономерности при обработке новых изображений.

Для разных задач компьютерного зрения требуются разные типы аннотирования изображений в зависимости от приложения и сценария использования. Например, специалисты по разметке могут рисовать ограничивающие рамки вокруг объектов для обнаружения объектов, обозначать области изображения для семантической сегментации, определять ключевые точки для оценки позы или присваивать метку всему изображению для классификации.

Управление данными и их подготовка#

Подготовка данных для проектов компьютерного зрения часто включает работу с различными форматами файлов и организацию наборов данных. Она также предусматривает проверку готовности всего необходимого для аннотирования и обучения алгоритмов машинного обучения. Во многих рабочих процессах этот этап распределен между несколькими инструментами: данные загружаются, очищаются и перемещаются между системами, прежде чем их можно будет использовать.

Ultralytics Platform упрощает этот процесс, объединяя подготовку данных, обучение моделей и развертывание в одной среде. Команды могут загружать изображения, видео или архивы наборов данных и использовать полностью настраиваемый подход к подготовке данных с ручными или автоматизированными с помощью ИИ аннотациями. Ultralytics Platform поддерживает как необработанные данные, так и стандартные форматы, такие как YOLO и COCO, поэтому начать новый проект легко. Платформа также предоставляет доступ к существующим наборам данных, включая аннотированные наборы, которые команды могут использовать для быстрого запуска новых проектов или экспериментов.

Рис. 2. Загрузка и управление наборами данных в единой среде Ultralytics Platform. (Источник)

После загрузки данные можно управлять ими непосредственно на платформе. Разработчики могут просматривать изображения, отслеживать прогресс аннотирования и использовать встроенные визуализации, чтобы понимать распределение данных в наборе и выявлять потенциальные пробелы.

Платформа также поддерживает версионирование наборов данных, помогая командам сохранять снимки данных по мере их изменения. Это упрощает отслеживание изменений, сравнение экспериментов и поддержание единообразия во время обучения.

После подготовки данных команды могут перейти к аннотированию изображений, то есть к их разметке, которая помогает моделям научиться понимать, что нужно обнаруживать.

Аннотирование наборов данных в Ultralytics Platform#

После загрузки данных следующим этапом становится аннотирование. На этом этапе визуальные данные размечаются, закладывая основу для последующего обучения моделей компьютерного зрения. Ultralytics Platform включает встроенные сервисы аннотирования изображений: редактор аннотаций позволяет командам размечать и управлять наборами данных непосредственно в той же среде.

Редактор аннотаций открывается в простом рабочем пространстве, где пользователи могут просматривать изображения, добавлять метки и при необходимости обновлять аннотации. Все организовано в одном месте, поэтому наборы данных проще поддерживать согласованными и готовыми к обучению моделей.

Команды могут загружать наборы данных и начинать разметку изображений прямо в браузере, определяя и управляя классами аннотаций, чтобы метки оставались согласованными во всем наборе данных. По мере создания аннотаций пользователи могут визуально проверять их в редакторе, что упрощает контроль точности перед переходом к обучению модели.

Инструменты аннотирования изображений в Ultralytics Platform#

Ultralytics Platform также включает несколько возможностей для эффективных рабочих процессов разметки наборов данных, упрощая процесс аннотирования с помощью современных алгоритмов.

Вот некоторые ключевые возможности Ultralytics Platform:

• Ручное аннотирование: этот подход дает пользователям полный контроль и гибкость при создании аннотаций изображений, таких как ограничивающие рамки, области сегментации или ключевые точки, непосредственно на изображениях.
• Разметка с помощью ИИ: эта функция автоматически создает предлагаемые аннотации, уменьшая необходимость в ручной разметке. Она использует SAM (модель сегментации всего), чтобы обнаруживать объекты или области одним щелчком, ускоряя процесс аннотирования и позволяя пользователям проверить и подтвердить предложения перед добавлением их в набор данных.
• Редактирование аннотаций: пользователи могут в любой момент изменять или уточнять созданные аннотации изображений. Это помогает исправлять ошибки разметки и поддерживать согласованность меток набора данных на протяжении всего процесса аннотирования.
• Управление классами: команды и индивидуальные разработчики могут определять и организовывать классы аннотаций, используемые при разметке наборов данных. Это помогает сохранять согласованность меток на изображениях, что важно для обучения моделей, способных точно распознавать классы и различать их.

Объединяя ручные инструменты, искусственный интеллект и автоматизацию, Ultralytics Platform помогает пользователям эффективнее аннотировать изображения. Платформа также позволяет подготавливать высококачественные обучающие данные для масштабируемых моделей компьютерного зрения.

Поддерживаемые типы задач аннотирования#

Для разных сценариев использования, например контроля качества продукции, требуются разные типы аннотаций в зависимости от того, что нужно обнаруживать на изображениях или видео. Как мы уже отмечали выше, Ultralytics Platform поддерживает пять задач обнаружения объектов, каждая из которых использует свой тип аннотирования.

Давай подробнее рассмотрим задачи аннотирования, поддерживаемые платформой, и способы их применения для разметки наборов данных.

Обнаружение объектов#

Обнаружение объектов определяет и локализует объекты на изображении. Специалисты по разметке отмечают каждый интересующий объект ограничивающей рамкой, показывая, где он находится на изображении.

В редакторе аннотаций это выполняется с помощью инструмента ограничивающей рамки. Пользователи могут войти в «режим редактирования», щелкнуть и перетащить курсор, чтобы нарисовать прямоугольник вокруг объекта, а затем выбрать метку класса из раскрывающегося списка.

После создания ограничивающие рамки можно изменить. Специалисты по разметке могут изменить их размер, перетаскивая маркеры углов или краев, переместить их перетаскиванием центра рамки или удалить с помощью сочетаний клавиш. Эти аннотации помогают моделям зрения учиться обнаруживать объекты в разных сценах и условиях.

Рис. 3. Аннотирование обнаружения объектов с помощью ограничивающих рамок в Ultralytics Platform. (Источник)

Сегментация экземпляров#

Сегментация экземпляров обеспечивает более подробные аннотации, определяя точную форму объектов на изображении. Вместо простой рамки специалисты по разметке обводят границы объекта с помощью полигональной аннотации, создавая точные маски для задач сегментации изображений.

Для этой задачи в редакторе аннотаций есть инструмент полигона. Специалисты по разметке размещают несколько вершин по краям объекта, чтобы обозначить его форму. После размещения вершин полигон можно замкнуть, создав маску сегментации.

После создания полигона вершины можно изменить. Отдельные точки можно перемещать для уточнения границ объекта, а ненужные вершины — удалять. Эти аннотации на уровне пикселей помогают моделям изучать подробные визуальные структуры и различать близко расположенные объекты.

Оценка позы#

Аннотации для оценки позы фиксируют положения суставов тела и связи между ними. Это помогает моделям понимать структуру и движения людей или животных на изображении.

С помощью инструмента ключевых точек специалисты по разметке размещают точки, обозначающие суставы тела, например плечи, локти, запястья, бедра, колени и лодыжки. Платформа поддерживает несколько встроенных шаблонов скелета, включая формат позы человека COCO с 17 точками, а также шаблоны для кистей, лиц, собак и углов рамок.

Шаблоны позволяют разместить полную схему скелета одним щелчком, после чего отдельные ключевые точки можно настроить в соответствии с позой на изображении. Для каждой ключевой точки также можно указать флаг видимости, чтобы отметить, видна она или закрыта.

Рис. 4. Аннотирование оценки позы с помощью ключевых точек и шаблонов скелета. (Источник)

Повернутые ограничивающие рамки (OBB)#

Повернутые ограничивающие рамки расширяют возможности обычных ограничивающих рамок за счет поддержки поворота. Такой тип аннотаций полезен, когда объекты расположены под углом, а не выровнены по границам изображения.

В редакторе аннотаций специалисты по разметке могут использовать инструмент повернутой ограничивающей рамки, чтобы рисовать вокруг объектов повернутые прямоугольники. После создания исходной рамки угол можно настроить с помощью маркера поворота, а маркеры углов позволяют изменить ее размер.

Повернутые аннотации часто используются в аэрофотосъемке, наборах данных для промышленной инспекции и других сценариях, где объекты расположены по диагонали или видны с разных точек обзора.

Рис. 5. Аннотирование повернутых ограничивающих рамок (OBB) для объектов на аэрофотоснимках. (Источник)

Классификация изображений#

Классификация изображений присваивает метку всему изображению, а не отмечает отдельные объекты внутри него.

Для наборов данных классификации редактор аннотаций предоставляет панель выбора классов. Специалисты по разметке могут присваивать изображениям метки, выбирая класс на боковой панели или используя сочетания клавиш для ускорения разметки.

Эти метки на уровне изображения помогают моделям изучать высокоуровневые визуальные закономерности, отражающие разные категории.

Аннотирование с помощью ИИ и SAM#

Разметка изображений для таких задач, как сегментация, часто требует тщательной и детальной работы, особенно когда объекты нужно обвести с высокой точностью. Ultralytics Platform включает инструменты аннотирования с помощью ИИ, которые ускоряют процесс, сохраняя точность аннотаций и упрощая их проверку.

Например, специалисты по разметке могут взаимодействовать с изображением, нажимая на части объекта, которые нужно включить в аннотацию. Они также могут отметить области, которые следует исключить, чтобы уточнить результат. На основе этих данных модель в реальном времени создает маску сегментации, которую затем можно проверить и скорректировать перед сохранением.

Такой подход упрощает работу со сложными изображениями без необходимости вручную обводить каждую деталь. При этом специалисты по разметке сохраняют контроль над итоговым результатом, обеспечивая согласованность аннотаций во всем наборе данных.

Рис. 6. Сегментация с помощью ИИ с использованием инструмента интеллектуального аннотирования в Ultralytics Platform. (Источник)

Эти функции работают на основе моделей сегментации всего (SAM). Такие модели являются частью более широкой экосистемы компьютерного зрения с открытым исходным кодом, предназначенной для создания высококачественных сегментаций на основе минимального ввода. Платформа поддерживает несколько вариантов SAM, включая SAM 2.1 и SAM 3. Это дает командам возможность выбирать между более высокой скоростью работы и более детализированными результатами в зависимости от своих потребностей.

Эти инструменты аннотирования с помощью ИИ можно применять для таких задач, как обнаружение объектов, сегментация экземпляров и обнаружение повернутых ограничивающих рамок. Благодаря этому команды могут эффективнее обрабатывать большие наборы данных, сохраняя качество, необходимое для надежного обучения моделей.

Оптимизация рабочих процессов аннотирования с помощью встроенных инструментов#

По мере выполнения работы над аннотациями часто требуется вернуться к меткам, исправить ошибки или внимательнее изучить изображения. Редактор аннотаций Ultralytics включает встроенные инструменты, которые упрощают выполнение этих повседневных задач и сокращают затраты времени.

В число доступных в редакторе функций рабочего процесса входят:

• Сочетания клавиш: редактор содержит сочетания клавиш, ускоряющие распространенные действия, такие как сохранение аннотаций, отмена или повтор изменений, удаление меток и выбор классов во время аннотирования.
• История отмены и повтора: специалисты по разметке могут легко отменять или восстанавливать изменения, внесенные во время сеанса редактирования. Это помогает командам экспериментировать с аннотациями и быстро исправлять ошибки без потери прогресса, улучшая контроль качества при подготовке наборов данных.
• Гибкое редактирование аннотаций: аннотации можно изменять даже после создания. Пользователи могут менять размер фигур, перемещать аннотации, поворачивать ограничивающие рамки или при необходимости обновлять метки классов, особенно при уточнении объектов неправильной формы.
• Управление видимостью: редактор содержит переключатели видимости, позволяющие показывать или скрывать аннотации и метки классов, что упрощает проверку изображений во время разметки.
• Инструменты точной разметки: такие функции, как масштабирование и курсор-перекрестие с координатами пикселей, помогают специалистам по разметке точнее размещать метки при работе с детализированными изображениями.

Управление классами аннотаций в Ultralytics Platform#

Четкие и согласованные классы аннотаций играют важную роль в создании надежных наборов данных для компьютерного зрения. По мере роста проектов управление разметкой данных в больших наборах может усложняться, особенно при участии нескольких специалистов. Хорошо организованные классы помогают сохранять согласованность аннотаций и обеспечивают обучение моделей на структурированных данных.

Ultralytics Platform упрощает этот процесс, интегрируя управление классами непосредственно в редактор аннотаций. Вместо отдельной работы с метками команды могут создавать, обновлять и проверять классы во время работы с изображениями, поддерживая согласованность на протяжении всего рабочего процесса аннотирования.

В редакторе все классы доступны на боковой панели рядом с холстом аннотаций. Это упрощает выбор правильной метки во время аннотирования и позволяет отслеживать использование классов во всем наборе данных. Пользователи могут искать существующие классы или создавать новые по мере необходимости, не прерывая рабочий процесс.

Данные классов также можно обновить в любое время. Названия можно редактировать непосредственно, а классам — назначать цвета, чтобы их было проще различать в аннотациях. Редактор также показывает количество аннотаций, связанных с каждым классом, и позволяет просматривать их, помогая командам проверять согласованность и точность.

Все классы управляются через централизованную таблицу, где их можно сортировать, искать и обновлять. Любые внесенные здесь изменения автоматически применяются ко всему набору данных, помогая командам сохранять согласованность по мере масштабирования проектов аннотирования.

Рис. 7. Управление классами в редакторе аннотаций: организация меток и настройка цветов. (Источник)

Как качество аннотаций влияет на работу в реальных условиях#

Когда системы компьютерного зрения переходят от разработки к применению в реальных условиях, качество размеченных данных играет ключевую роль в работе моделей. Хорошо размеченные наборы данных помогают моделям выдавать более точные и согласованные прогнозы, особенно в динамичных или непредсказуемых условиях.

На практике даже небольшие несоответствия в аннотациях могут влиять на поведение модели. Различия в том, как размечаются объекты или обрабатываются нестандартные случаи, могут быть незаметны во время обучения, но приводить к менее надежным прогнозам после развертывания систем.

Кроме того, в реальных приложениях такие несоответствия могут проявляться сильнее. Например, в робототехнических системах и системах здравоохранения модели используют визуальные данные для обнаружения объектов и управления действиями в реальном времени. Вариации в разметке могут влиять на точность интерпретации окружающей обстановки такими системами.

Поддерживая согласованные практики аннотирования и используя такие платформы, как Ultralytics, для управления и постепенного уточнения наборов данных, команды могут создавать модели, которые надежнее работают за пределами контролируемых условий тестирования.

Основные выводы#

Высококачественное аннотирование данных необходимо для обучения точных моделей компьютерного зрения и успешной реализации проектов по аннотированию изображений. Ultralytics Platform упрощает этот процесс с помощью мощного редактора аннотаций, поддерживающего несколько задач компьютерного зрения. Объединяя инструменты ручного аннотирования с разметкой с помощью ИИ на основе SAM и встроенными функциями рабочего процесса, команды могут эффективнее подготавливать наборы данных и быстрее переходить от подготовки данных к разработке моделей.

Присоединяйся к нашему сообществу и изучай репозиторий на GitHub, чтобы узнать больше о моделях компьютерного зрения. На наших страницах решений читай о таких приложениях, как ИИ в автомобильной отрасли и компьютерное зрение в робототехнике. Ознакомься с нашими вариантами лицензирования и начни создавать собственную модель ИИ для компьютерного зрения.