Руководство по полигональной разметке с помощью Ultralytics Platform

Передовые технологии ИИ находят применение во многих отраслях — от автономного вождения до точного земледелия. Например, молочные фермы используют ИИ и анализ изображений, чтобы выявлять заболевания у крупного рогатого скота. Такие проблемы со здоровьем, как хромота, можно отслеживать по изменениям походки и осанки животного, например по выгнутой спине и асимметричным движениям.

Рис. 1. Пример наблюдения за коровами с помощью ИИ и анализа изображений.

Компьютерное зрение, область искусственного интеллекта, позволяет реализовать такие сценарии, помогая машинам интерпретировать и анализировать визуальные данные. В частности, сегментация экземпляров — это задача компьютерного зрения, которая распознаёт и сегментирует каждый объект на изображении на уровне пикселей. Благодаря этому можно точно обнаруживать и анализировать отдельных животных.

Разметка полигонами играет ключевую роль в этом процессе. Это метод разметки данных, при котором точную форму объекта на изображении тщательно обводят точками вдоль его границ. В отличие от простой разметки ограничивающими рамками, этот подход повторяет контур объекта, помогая создавать более точные обучающие данные и позволяя моделям визуального ИИ лучше понимать границы объектов.

Сегодня доступно множество инструментов для разметки полигонами. Однако такие решения часто разрознены, особенно если поддерживают разные типы разметки непоследовательно или с ограничениями. Из-за этого сложнее управлять разнообразными задачами разметки в рамках одного рабочего процесса.

Ultralytics Platform — наше новое комплексное рабочее пространство для визуального ИИ, объединяющее управление наборами данных, разметку, обучение, развёртывание и мониторинг. Платформа решает эту проблему: она поддерживает разные типы разметки и рабочие процессы с помощью ИИ в единой среде и упрощает весь процесс разметки.

В этой статье мы расскажем, что такое разметка полигонами и как выполнять её с помощью Ultralytics Platform. Начнём!

Подробно о разметке полигонами#

Прежде чем перейти к Ultralytics Platform и функциям разметки полигонами, давай разберёмся, что это за метод.

Разметка изображений — это процесс добавления меток к визуальным данным, чтобы модели ИИ могли понимать, что они видят. Обычно для этого на изображении определяют объекты и отмечают их так, чтобы модель могла на них обучаться.

Один из самых распространённых методов — рисовать вокруг объектов прямоугольники, называемые ограничивающими рамками. Однако они лишь приблизительно обозначают контур объекта. Разметка полигонами обеспечивает более точный результат.

Вместо того чтобы обводить объект рамкой, этот метод позволяет отмечать его контур точка за точкой. Для этого специалисты по разметке размещают несколько вершин (точек) вдоль границ объекта, прослеживая его контур, пока не будет отмечена вся форма.

Соединённые точки образуют полигон, повторяющий естественный контур объекта. Поскольку форма точно следует границам объекта, разметка фиксирует детали, которые часто упускают традиционные методы. Это особенно полезно для объектов неправильной формы или со сложными границами, например листьев, силуэтов людей и перекрывающихся объектов.

Такая точность данных помогает моделям машинного обучения эффективнее обучаться. Когда разметка точно отражает реальные границы объекта, модели лучше понимают его особенности на уровне пикселей. Это повышает качество работы моделей, особенно в задачах сегментации, требующих высокой точности.

Роль разметки полигонами в рабочих процессах компьютерного зрения#

Как именно используют разметку полигонами? Она тесно связана с моделями визуального ИИ, поддерживающими задачи сегментации изображений, например сегментацию экземпляров.

Во многих приложениях компьютерного зрения важно знать точную площадь, занимаемую каждым объектом в изображении или видеокадре. Хороший пример — обнаружение автомобильных деталей на производстве. В этом случае моделям нужно определять и точно очерчивать такие детали, как двери, окна и фары, даже если они перекрываются или имеют сложную форму.

Здесь применяется сегментация экземпляров. Она позволяет моделям обнаруживать каждый объект и определять его точные границы на уровне пикселей. Это отличается от обычного обнаружения объектов, при котором используются ограничивающие рамки.

Рис. 2. Сегментация экземпляров также помогает различать повреждённые детали автомобиля. (Источник)

Ограничивающие рамки лишь приблизительно обозначают прямоугольные области вокруг объектов и часто захватывают лишний фон. Из-за этого сложнее отмечать объекты неправильной формы и разделять перекрывающиеся предметы.

Разметка полигонами играет важную роль в достижении такой точности. Точное обведение формы каждого объекта на изображениях набора данных позволяет создавать качественные обучающие данные, отражающие реальные границы объектов. Такая подробная разметка помогает моделям, например Ultralytics YOLO26, лучше понимать структуру каждой детали и точнее выполнять сегментацию.

Ограничения традиционных инструментов разметки изображений#

Рассмотрим ограничения традиционных инструментов разметки, чтобы понять, зачем нужны более эффективные и масштабируемые решения, например Ultralytics Platform.

Вот несколько распространённых трудностей, с которыми сталкиваются специалисты при использовании традиционных инструментов разметки полигонами:

• Ограниченная поддержка типов разметки: Некоторые инструменты предназначены только для одного метода разметки, поэтому с их помощью сложно работать в одном месте с разными типами данных, такими как полигоны, ограничивающие рамки и ключевые точки.
• Неудобная работа со сложной разметкой: В инструментах может не хватать функций, которые помогают точно размечать сложные объекты с мелкими деталями.
• Отсутствие функций с поддержкой ИИ: Многие инструменты полностью полагаются на ручную работу и не предлагают встроенных возможностей ИИ для ускорения разметки.
• Разрозненное управление наборами данных: Управлять наборами данных, версиями и разметкой бывает сложно, особенно если инструменты не предоставляют единую рабочую среду.

Ultralytics Platform решает эти задачи с помощью функций разметки при поддержке ИИ на основе Segment Anything Models (SAM) и моделей YOLO. SAM позволяет создавать высококачественные маски сегментации по простым действиям, например щелчкам мышью. Затем их можно уточнить и преобразовать в точную разметку полигонами.

Аналогичным образом, интеллектуальная разметка на основе YOLO использует предварительно обученные или дообученные модели YOLO для инференса изображения и добавления предсказаний в качестве разметки: это могут быть ограничивающие рамки, маски сегментации или ориентированные ограничивающие рамки. Затем разметку можно проверить и при необходимости скорректировать. Вместе эти возможности ускоряют разметку, делают её последовательнее и упрощают масштабирование.

Типы разметки, поддерживаемые Ultralytics Platform#

Ultralytics Platform включает встроенный редактор разметки, который позволяет размечать изображения прямо в рабочей среде. Так проще создавать наборы данных и управлять ими, не прибегая к отдельным и зачастую трудоёмким инструментам разметки данных.

Помимо разметки полигонами, Ultralytics Platform поддерживает несколько других типов разметки. Вот краткий обзор:

• Ограничивающие рамки: Разметчики могут рисовать вокруг объектов простые прямоугольные рамки — так легко помечать и обнаруживать объекты на изображении.
• Ключевые точки: Этот метод используют для обозначения определённых точек, например суставов или ориентиров на теле, в таких задачах, как оценка позы.
• Ориентированные ограничивающие рамки (OBBs): Они позволяют точнее выделять повёрнутые или наклонённые объекты, чем стандартные ограничивающие рамки.
• Метки классификации: В более простых задачах пользователи могут присваивать метки целым изображениям, а не отмечать отдельные объекты.

Разметка объектов полигонами на Ultralytics Platform#

Теперь разберёмся, как создавать полигональную разметку на Ultralytics Platform вручную или с помощью инструментов на базе ИИ.

Создание полигональной разметки вручную на Ultralytics Platform#

Вот краткое пошаговое руководство по созданию полигональной разметки вручную:

• Шаг 1 — Перейди к датасету: Открой датасет с изображениями, которые нужно разметить. Здесь хранятся изображения и разметка, и здесь же ими управляют.
• Шаг 2 — Открой изображение: Нажми на изображение, чтобы открыть его в интерфейсе разметки. Процесс разметки зависит от задачи датасета. Например, в датасете для сегментации экземпляров разметка создаётся с помощью полигональных масок.
• Шаг 3 — Начни создавать маску: Нажми на изображение, чтобы начать разметку. Каждый щелчок добавляет вершину вдоль границы объекта.
• Шаг 4 — Обведи контур объекта: Продолжай нажимать по краям объекта, чтобы задать его форму.
• Шаг 5 — Заверши полигон: Нажми «Enter» или щёлкни по первой точке, чтобы завершить полигон и присвоить ему метку класса.
• Шаг 6 — Добавь другие аннотации: Повтори процесс, чтобы создать полигоны для остальных объектов на изображении.
• Шаг 7 — Сохрани аннотации: Аннотации сохраняются автоматически по мере создания.

Рис. 3. Создание полигональной разметки вручную с помощью Ultralytics Platform (Источник)

Умная полигональная разметка на Ultralytics Platform#

Теперь рассмотрим функции разметки с помощью ИИ, доступные на Ultralytics Platform и ускоряющие процесс.

Платформа предлагает два подхода к умной разметке: один основан на моделях Segment Anything и позволяет создавать разметку интерактивно, щелчками мыши; другой использует модели YOLO, чтобы добавлять предсказания модели прямо в качестве аннотаций. Оба подхода подходят для умной полигональной разметки.

Умная разметка с помощью SAM на Ultralytics Platform#

Разметка с помощью SAM на Ultralytics Platform упрощает ручную разметку: модель Segment Anything (SAM) создаёт маски сегментации на основе минимального ввода. Вместо того чтобы обводить объекты точка за точкой, пользователь может взаимодействовать с изображением с помощью простых подсказок, например щелчков, указывая, что нужно включить или исключить.

Платформа поддерживает несколько моделей SAM, включая SAM 2.1 и SAM 3, чтобы ты мог выбрать более высокую скорость или точность в зависимости от своих задач. На основе ввода пользователя SAM в реальном времени создаёт маски на уровне пикселей. Затем маски можно уточнить и использовать как полигональные аннотации, что ускоряет и упрощает процесс и обеспечивает его большую согласованность при масштабировании.

Вот шаги для использования SAM при полигональной разметке на Ultralytics Platform:

• Шаг 1 — Открой изображение: Перейди к датасету и нажми на изображение, чтобы открыть его в полноэкранном просмотрщике.
• Шаг 2 — Перейди в режим разметки: Нажми «Edit», затем выбери режим Smart (или нажми S), чтобы включить SAM.
• Шаг 3 — Выбери модель SAM: В зависимости от требований к скорости и точности выбери модель SAM на панели инструментов.
• Шаг 4 — Задай подсказки: Щёлкни левой кнопкой мыши, чтобы добавить положительные точки (области для включения), и правой — чтобы добавить отрицательные точки (области для исключения).
• Шаг 5 — Создай и примени маску: SAM предсказывает маску сегментации в реальном времени. Нажми «Enter» (или используй автоматическое применение), чтобы применить аннотацию.
• Шаг 6 — Уточни аннотацию: При необходимости добавь точки или скорректируй результат, чтобы повысить точность перед сохранением.

Рис. 4. Полигональная разметка с помощью SAM на Ultralytics Platform (Источник)

Умная разметка с помощью YOLO на Ultralytics Platform#

Умная разметка на основе YOLO на Ultralytics Platform ускоряет процесс: предварительно обученные модели Ultralytics YOLO или дообученные модели YOLO создают предсказания для изображения и добавляют их в качестве аннотаций. В зависимости от задачи датасета предсказания могут включать ограничивающие рамки, маски сегментации или ориентированные ограничивающие рамки.

Затем пользователи могут проверить и при необходимости уточнить эти аннотации. Вот обзор шагов по использованию умной разметки на основе YOLO на Ultralytics Platform:

• Шаг 1 — Открой изображение: Перейди к датасету и выбери изображение, чтобы открыть его в полноэкранном просмотрщике.
• Шаг 2 — Перейди в режим разметки: Нажми «Edit», затем выбери режим Smart (или нажми S).
• Шаг 3 — Выбери модель YOLO: Выбери модель YOLO в списке моделей на панели инструментов.
• Шаг 4 — Запусти предсказание: Нажми «Predict», чтобы модель автоматически создала аннотации.
• Шаг 5 — Проверь аннотации: Проверь предсказанные ограничивающие рамки, маски сегментации или OBB, добавленные на изображение.
• Шаг 6 — Уточни и сохрани: При необходимости отредактируй, скорректируй или удали ошибочные аннотации, а затем сохрани итоговые метки.

Рис. 5. Пример использования умной разметки YOLO (Источник)

Примеры использования полигональной разметки в реальных задачах#

Полигональная разметка приносит ощутимую пользу в самых разных отраслях — от контроля качества в производстве до сельского хозяйства и здравоохранения. Рассмотрим несколько ключевых примеров применения.

Выявление вредителей с помощью компьютерного зрения#

В сельском хозяйстве мониторинг состояния посевов крайне важен для повышения урожайности и сокращения потерь. Обнаружить поражённые вредителями участки листьев бывает непросто, поскольку у них часто неправильная форма и нечёткие границы.

Такую задачу можно решать с помощью методов сегментации изображений, например семантической сегментации, которая помечает все пиксели, принадлежащие классу (например, поражённым участкам), или сегментации экземпляров, которая точнее разделяет контуры объектов.

На Ultralytics Platform пользователи могут с помощью полигональной разметки точно обводить поражённые участки. Это помогает создавать более точные датасеты и упрощает обнаружение тонких закономерностей в сельскохозяйственной среде алгоритмами компьютерного зрения.

В результате команды могут создавать более качественные обучающие данные, помогающие моделям точно определять места заражения вредителями. Это эффективнее ограничивающих рамок, которые могут захватывать непоражённые участки листа.

Анализ медицинских изображений с помощью сегментации экземпляров#

Как и при обнаружении вредителей в сельском хозяйстве, даже небольшие различия в границах могут повлиять на анализ таких заболеваний, как рак, при анализе медицинских изображений. Это особенно важно при выявлении патологий, например опухолей на снимках КТ.

Традиционные методы разметки могут пропускать тонкие границы или захватывать окружающие ткани, что снижает точность. На Ultralytics Platform команды могут использовать полигональную разметку, чтобы точно обводить такие области в обучающих данных и помогать моделям сегментировать опухоли точнее и надёжнее.

Главные выводы#

Полигональная разметка важна, когда моделям нужно с высокой точностью распознавать формы объектов на изображениях. Она помогает точнее представлять сложные формы, особенно при работе с Ultralytics Platform. Сочетая точность с мощными инструментами, команды могут создавать более надёжные и производительные модели ИИ.

Хочешь внедрить компьютерное зрение в свои проекты? Присоединяйся к нашему сообществу и узнай об ИИ в автомобильной отрасли и компьютерном зрении в робототехнике. Загляни в наш репозиторий на GitHub, чтобы узнать больше. Ознакомься с вариантами лицензирования и начни уже сегодня!