Упрощение разметки изображений с помощью Ultralytics Platform

Недавно Ultralytics представила Ultralytics Platform — среду для поддержки полного жизненного цикла разработки систем компьютерного зрения. Платформа объединяет инструменты для управления различными этапами рабочих процессов в области визуального AI: подготовкой датасетов, разметкой изображений и видео, обучением моделей и развертыванием.

Несмотря на растущее внедрение решений в таких отраслях, как автономное вождение и здравоохранение, разработка решений для компьютерного зрения по-прежнему может быть разрозненным процессом. Одна из главных причин в том, что модели компьютерного зрения сильно зависят от качества данных, на которых их обучают. Еще до начала обучения нужно создать, упорядочить, проверить и разметить датасеты, чтобы модель научилась обнаруживать или распознавать нужные объекты.

При работе с визуальными данными этот процесс называется аннотированием данных, или разметкой изображений. При разметке на изображениях отмечают определенные области и присваивают им метки, которые помогают модели во время обучения.

Например, если нужно обнаруживать собак на изображениях, специалисты по разметке могут обвести каждую собаку ограничивающей рамкой, чтобы указать ее местоположение. Для более сложных задач они могут очертить форму собаки с помощью масок сегментации или отметить ключевые точки, чтобы зафиксировать ее позу. Примеры с такими метками напрямую влияют на качество работы модели после развертывания.

Масштабное управление процессами разметки изображений может быть непростой задачей. Для больших датасетов часто нужны единые стандарты разметки, совместная работа нескольких специалистов и инструменты, упрощающие проверку и уточнение разметки.

Ultralytics Platform объединяет эти возможности во встроенном редакторе разметки. Он поддерживает несколько типов задач разметки и позволяет командам проще размечать данные и готовить датасеты для компьютерного зрения в рамках одного рабочего процесса.

Рис. 1. Редактор разметки в Ultralytics Platform (Источник)

В этой статье мы расскажем, как редактор разметки Ultralytics Platform помогает командам эффективно размечать датасеты и упрощает подготовку данных.

Разметка данных для компьютерного зрения#

Прежде чем рассматривать инструменты разметки изображений в Ultralytics Platform, давай разберемся, что такое разметка данных и почему она важна при создании систем компьютерного зрения.

Модели компьютерного зрения обучаются, анализируя большие коллекции изображений или видео, называемые датасетами. Однако одних исходных изображений недостаточно, чтобы модель поняла, что именно нужно обнаруживать или распознавать. Чтобы данные можно было использовать для обучения, изображения нужно разметить, указав модели, какие объекты, формы или шаблоны искать.

При разметке изображений отмечают определенные элементы и присваивают им метки, описывающие, чему должна научиться модель. Эти размеченные примеры помогают моделям глубокого обучения и алгоритмам во время обучения распознавать похожие шаблоны при обработке новых изображений.

Для разных задач компьютерного зрения нужны разные типы разметки изображений — все зависит от приложения и сценария использования. Например, специалисты по разметке могут обводить объекты ограничивающими рамками для обнаружения объектов, очерчивать области на изображении для семантической сегментации, задавать ключевые точки для оценки позы или присваивать метку всему изображению для классификации.

Управление данными и их подготовка#

Подготовка данных для проектов в области компьютерного зрения часто предполагает работу с разными форматами файлов и организацию датасетов. Также нужно убедиться, что все готово к разметке и обучению алгоритмов машинного обучения. Во многих рабочих процессах этот этап распределен между несколькими инструментами: данные загружают, очищают и перемещают между системами, прежде чем их можно будет использовать.

Ultralytics Platform упрощает этот процесс, объединяя подготовку данных, обучение моделей и развертывание в одной среде. Команды могут загружать изображения, видео и архивы датасетов, а также настраивать подготовку данных с помощью ручной или автоматизированной AI-разметки. Ultralytics Platform поддерживает как исходные данные, так и стандартные форматы, например YOLO и COCO, поэтому начать новый проект легко. Кроме того, платформа предоставляет доступ к уже имеющимся датасетам, в том числе размеченным, которые команды могут использовать для быстрого запуска новых проектов или экспериментов.

Рис. 2. Загрузка и управление датасетами в единой среде Ultralytics Platform. (Источник)

Когда данные готовы, ими можно управлять прямо на платформе. Разработчики могут просматривать изображения, следить за ходом разметки и использовать встроенные визуализации, чтобы понять распределение данных в датасете и выявить возможные пробелы.

Платформа также поддерживает версионирование датасетов, позволяя командам сохранять снимки данных по мере их изменения. Это упрощает отслеживание изменений, сравнение экспериментов и поддержание согласованности во время обучения.

После подготовки данных команды могут перейти к разметке изображений, чтобы помочь моделям научиться обнаруживать нужные объекты.

Разметка датасетов в Ultralytics Platform#

После загрузки данных следующий шаг — разметка. На этом этапе размечают изображения, закладывая основу для последующего обучения моделей компьютерного зрения. В Ultralytics Platform есть встроенные инструменты разметки изображений: редактор позволяет командам размечать датасеты и управлять ими в той же среде.

Редактор разметки открывается в простом рабочем пространстве, где пользователи могут просматривать изображения, добавлять метки и при необходимости обновлять аннотации. Всё организовано в одном месте, поэтому поддерживать согласованность датасетов и готовность к обучению становится проще.

Команды могут загружать датасеты и начинать размечать изображения прямо в браузере, а также задавать и настраивать классы разметки, чтобы метки во всем датасете оставались единообразными. Созданную разметку можно просматривать в редакторе, чтобы проверить ее точность перед переходом к обучению моделей.

Инструменты разметки изображений в Ultralytics Platform#

В Ultralytics Platform также есть несколько возможностей для эффективной разметки датасетов, упрощающих этот процесс с помощью передовых алгоритмов.

Вот несколько ключевых возможностей Ultralytics Platform:

• Ручная разметка: этот подход дает пользователям полный контроль и свободу действий при разметке изображений — например, при создании ограничивающих рамок, областей сегментации или ключевых точек прямо на изображениях.
• Разметка с помощью AI: эта функция автоматически создает варианты разметки, сокращая объем ручной работы. Для обнаружения объектов или областей одним щелчком она использует модель сегментации всего (SAM), упрощая процесс разметки и помогая пользователям проверить и подтвердить предложенные варианты перед добавлением в датасет.
• Редактирование разметки: пользователи могут в любой момент изменить или уточнить созданную разметку изображений. Это помогает исправить ошибки и поддерживать единообразие меток во всем датасете на протяжении процесса разметки.
• Управление классами: команды и отдельные разработчики могут задавать и упорядочивать классы разметки, используемые при разметке датасета. Это помогает поддерживать единообразие меток на изображениях, что важно для обучения моделей, способных точно распознавать классы и различать их.

Объединяя ручные инструменты, искусственный интеллект и автоматизацию, Ultralytics Platform помогает пользователям эффективнее размечать изображения. Платформа также позволяет готовить качественные обучающие данные для масштабируемых моделей компьютерного зрения.

Поддерживаемые типы задач разметки#

Для разных сценариев использования, например контроля качества продукции, понадобятся разные типы разметки — в зависимости от того, что нужно обнаружить на изображениях или видео. Как мы уже упоминали выше, Ultralytics Platform поддерживает несколько задач компьютерного зрения, для каждой из которых предусмотрен свой тип разметки.

Рассмотрим подробнее пять задач разметки, которые поддерживает платформа, и то, как с их помощью размечать датасеты.

Обнаружение объектов#

Обнаружение объектов позволяет находить объекты на изображении и определять их местоположение. Специалисты по разметке обводят каждый нужный объект ограничивающей рамкой, указывая, где он находится на изображении.

В редакторе разметки для этого используется инструмент ограничивающих рамок. В режиме рисования, включённом по умолчанию, пользователи могут щёлкнуть и перетащить курсор, чтобы обвести объект прямоугольником, а затем назначить ему метку класса.

Созданные ограничивающие рамки можно изменять. Специалисты по разметке могут менять их размер, перетаскивая угловые или боковые маркеры, перемещать рамки, перетаскивая их за центр, или удалять с помощью сочетаний клавиш. Такая разметка помогает моделям компьютерного зрения учиться обнаруживать объекты в разных сценах и условиях.

Рис. 3. Разметка объектов с помощью ограничивающих рамок на платформе Ultralytics. (Источник)

Сегментация экземпляров#

Сегментация экземпляров позволяет создавать более подробную разметку, точно задавая форму объектов на изображении. Вместо простой рамки разметчики обводят границы объектов полигонами, создавая точные маски для задач сегментации изображений.

Для этого в редакторе разметки есть инструмент «Полигон». Разметчики добавляют несколько вершин по краям объекта, чтобы очертить его форму. После расстановки вершин полигон можно замкнуть и создать маску сегментации.

После создания полигона его вершины можно редактировать. Отдельные точки можно перемещать, чтобы уточнить границы объекта, а ненужные вершины — удалять. Такая попиксельная разметка помогает моделям усваивать детальную структуру изображений и различать близко расположенные объекты.

Оценка позы#

Разметка для оценки позы фиксирует положение суставов тела и взаимосвязи между ними. Это помогает моделям понимать строение и движения людей или животных на изображении.

С помощью инструмента ключевых точек разметчики отмечают суставы тела, например плечи, локти, запястья, бёдра, колени и лодыжки. Платформа поддерживает несколько встроенных шаблонов скелета, включая формат позы человека COCO с 17 точками, а также шаблоны для кистей рук, лиц, собак и углов рамки.

Шаблоны позволяют одним щелчком разместить скелет целиком, после чего отдельные ключевые точки можно скорректировать в соответствии с позой на изображении. Для каждой ключевой точки также можно указать признак видимости, чтобы отметить, видна она или закрыта.

Рис. 4. Разметка позы с помощью ключевых точек и шаблонов скелета. (Источник)

Поворотные ограничивающие рамки (OBB)#

Поворотные ограничивающие рамки расширяют возможности обычных рамок, позволяя задавать угол поворота. Такая разметка полезна, когда объекты расположены под углом, а не параллельно границам изображения.

В редакторе разметки можно воспользоваться инструментом поворотных ограничивающих рамок и нарисовать вокруг объектов прямоугольники с поворотом. После создания исходной рамки угол можно изменить с помощью маркера поворота, а маркеры в углах позволяют изменить её размер.

Разметку с поворотом часто используют для аэрофотоснимков, наборов данных для промышленного контроля и других сценариев, где объекты расположены по диагонали или сняты с разных ракурсов.

Рис. 5. Разметка поворотных ограничивающих рамок (OBB) для объектов на аэрофотоснимках. (Источник)

Классификация изображений#

Классификация изображений присваивает метку всему изображению, а не отмечает отдельные объекты на нём.

Для наборов данных классификации в редакторе разметки предусмотрена панель выбора классов. Разметчики могут присваивать изображениям метки, выбирая класс на боковой панели или используя сочетания клавиш для ускорения разметки.

Такие метки на уровне изображений помогают моделям усваивать высокоуровневые визуальные закономерности, соответствующие разным категориям.

Разметка с помощью ИИ и SAM#

Разметка изображений для таких задач, как сегментация, часто требует кропотливой и детальной работы, особенно когда объекты нужно точно обвести. В Ultralytics Platform есть инструменты разметки с поддержкой ИИ, которые ускоряют этот процесс и при этом помогают сохранять аннотации точными и удобными для проверки.

Например, разметчики могут нажимать на части объекта, которые нужно включить в разметку. Также можно отмечать области, которые следует исключить, чтобы уточнить результат. На основе этих указаний модель в реальном времени создаёт маску сегментации, которую затем можно проверить и скорректировать перед сохранением.

Такой подход упрощает работу со сложными изображениями и избавляет от необходимости вручную обводить каждую деталь. При этом разметчики контролируют итоговый результат и обеспечивают единообразие разметки во всём наборе данных.

Рис. 6. Сегментация с помощью ИИ с использованием инструмента Smart annotation на платформе Ultralytics. (Источник)

В основе этих инструментов с поддержкой ИИ лежат модели сегментации всего (SAM). Они входят в более широкую экосистему инструментов компьютерного зрения с открытым исходным кодом, предназначенных для создания качественной сегментации по минимальному набору входных данных. Платформа поддерживает несколько вариантов SAM, включая SAM 2.1 и SAM 3. Благодаря этому команды могут выбирать между более высокой скоростью и более подробными результатами в зависимости от своих задач.

Эти инструменты с поддержкой ИИ можно применять в таких задачах, как обнаружение объектов, сегментация экземпляров и обнаружение ориентированных ограничивающих рамок. Это позволяет командам эффективнее обрабатывать большие датасеты, сохраняя качество, необходимое для надёжного обучения моделей. Датасеты обнаружения объектов также можно автоматически размечать с помощью визуально-языковых моделей, а затем проверять перед обучением.

Улучшение рабочих процессов разметки с помощью встроенных инструментов#

По мере выполнения разметки часто приходится возвращаться к меткам, исправлять ошибки или внимательнее проверять изображения. В редактор разметки Ultralytics встроены инструменты, которые упрощают выполнение таких повседневных задач и помогают тратить на них меньше времени.

В редакторе доступны следующие функции для работы:

• Сочетания клавиш: В редакторе есть сочетания клавиш, ускоряющие частые действия: сохранение разметки, отмену и повтор изменений, удаление меток и выбор классов во время разметки.
• История отмены и повтора: Разметчики могут легко отменять или восстанавливать изменения, внесённые во время сеанса редактирования. Это помогает командам экспериментировать с разметкой и быстро исправлять ошибки, не теряя результаты работы, а также лучше контролировать качество при подготовке набора данных.
• Гибкое редактирование разметки: Разметку можно корректировать и после её создания. При необходимости пользователи могут изменять размер фигур, перемещать разметку, поворачивать ограничивающие рамки или менять метки классов — особенно при уточнении объектов неправильной формы.
• Управление видимостью: В редакторе есть переключатели видимости, которые позволяют показывать и скрывать разметку и метки классов, упрощая проверку изображений во время разметки.
• Инструменты для точной разметки: Масштабирование и курсор-перекрестие с координатами пикселей помогают точнее размещать метки при работе с детализированными изображениями.

Управление классами разметки на платформе Ultralytics#

Чёткие и единообразные классы разметки играют важную роль в создании надёжных наборов данных для компьютерного зрения. По мере роста проектов разметкой данных в больших наборах становится сложнее управлять, особенно если над ними работает несколько разметчиков. Хорошо организованные классы помогают поддерживать единообразие разметки и обучать модели на структурированных данных.

Платформа Ultralytics упрощает этот процесс, добавляя управление классами непосредственно в редактор разметки. Вместо отдельной работы с метками команды могут создавать классы, обновлять их и проверять прямо во время работы с изображениями, поддерживая единообразие на всех этапах процесса разметки.

В редакторе все классы доступны на боковой панели рядом с областью разметки. Так проще выбирать нужную метку во время разметки и отслеживать использование классов во всём наборе данных. Пользователи могут искать существующие классы или создавать новые, не прерывая работу.

Сведения о классах можно обновить в любой момент. Названия редактируются напрямую, а классам можно назначить цвета, чтобы различать их на разметке. Редактор также показывает количество связанных с каждым классом объектов разметки и позволяет просматривать их, помогая командам проверять единообразие и точность.

Управление всеми классами осуществляется через единую таблицу, в которой их можно сортировать, искать и обновлять. Любые изменения автоматически применяются ко всему набору данных, помогая командам сохранять единообразие по мере масштабирования проектов разметки.

Рис. 7. Управление классами в редакторе разметки: организация меток и настройка их цветов. (Источник)

Как качество разметки влияет на работу моделей в реальных условиях#

Когда системы компьютерного зрения переходят от разработки к применению в реальных условиях, качество размеченных данных становится одним из ключевых факторов эффективности моделей. Наборы данных с качественной разметкой помогают моделям выдавать более точные и стабильные прогнозы, особенно в динамичной или непредсказуемой среде.

На практике даже небольшие несоответствия в разметке могут повлиять на поведение модели. Различия в том, как размечены объекты или обработаны нестандартные случаи, могут быть незаметны во время обучения, но после развёртывания системы приводить к менее надёжным прогнозам.

В реальных приложениях такие несоответствия могут проявляться ещё сильнее. Например, в робототехнике и здравоохранении модели используют визуальные данные, чтобы обнаруживать объекты и управлять действиями в реальном времени. Различия в разметке могут повлиять на точность, с которой системы интерпретируют окружающую обстановку.

Поддерживая единообразие разметки и используя такие платформы, как Ultralytics, для управления наборами данных и их постепенного улучшения, команды могут создавать модели, которые надёжно работают не только в контролируемых условиях тестирования.

Главные выводы#

Качественная разметка данных необходима для обучения точных моделей компьютерного зрения и успешной работы над проектами разметки изображений. Платформа Ultralytics упрощает этот процесс благодаря мощному редактору разметки, который поддерживает различные задачи компьютерного зрения. Сочетая инструменты для ручной разметки с разметкой с помощью ИИ на базе SAM и встроенными функциями для рабочих процессов, команды могут эффективнее готовить наборы данных и быстрее переходить от подготовки данных к разработке моделей.

Присоединяйся к нашему сообществу и загляни в репозиторий GitHub, чтобы узнать больше о моделях компьютерного зрения. На страницах наших решений читай о таких сферах применения, как ИИ в автомобилестроении и компьютерное зрение в робототехнике. Ознакомься с вариантами лицензирования и приступай к созданию собственной модели ИИ для компьютерного зрения.