Руководство по полигональной аннотации с помощью Ultralytics Platform

Передовые технологии AI находят применение в самых разных отраслях — от автономного вождения до точного земледелия. Например, фермеры, занимающиеся молочным животноводством, используют AI и анализ изображений для выявления заболеваний у крупного рогатого скота. Такие проблемы со здоровьем, как хромота, можно отслеживать по изменениям в походке и позе животного, например по выгнутой спине и асимметричным движениям.

Рис. 1. Пример мониторинга коров с помощью AI и анализа изображений.

Компьютерное зрение, отрасль искусственного интеллекта, делает такие приложения возможными, позволяя машинам интерпретировать и анализировать визуальные данные. В частности, сегментация экземпляров — это задача компьютерного зрения, которая идентифицирует и сегментирует каждый объект на изображении на уровне пикселей, позволяя точно обнаруживать и анализировать отдельных животных.

Полигональная аннотация играет ключевую роль в этом процессе. Это метод разметки данных, используемый для точного обведения формы объекта на изображении путём размещения точек вдоль его границ. В отличие от простых аннотаций с ограничивающими рамками, этот подход повторяет настоящий контур объекта, помогая создавать более точные обучающие данные и позволяя моделям AI для компьютерного зрения лучше понимать границы объектов.

Сегодня доступно множество инструментов для создания полигональных аннотаций. Однако их возможности часто оказываются разрозненными, особенно если инструменты обеспечивают непоследовательную или ограниченную поддержку разных типов аннотаций, из-за чего становится сложнее управлять разнообразными задачами разметки в рамках одного рабочего процесса.

Ultralytics Platform, наше комплексное рабочее пространство для vision AI, объединяющее управление датасетами, аннотацию, обучение, развёртывание и мониторинг, решает эту проблему благодаря поддержке нескольких типов аннотаций и рабочих процессов с AI-помощью в едином удобном рабочем пространстве, упрощая весь процесс аннотации.

В этой статье мы рассмотрим, что такое полигональные аннотации и как создавать их с помощью Ultralytics Platform. Давай начнём!

Подробный разбор полигональной аннотации#

Прежде чем перейти к Ultralytics Platform и её функциям полигональной аннотации, давай сделаем шаг назад и разберёмся, что такое полигональная аннотация.

Аннотация изображений — это процесс добавления меток к визуальным данным, чтобы модели AI могли понять, что они видят. Обычно он включает идентификацию объектов на изображении и их разметку таким образом, чтобы модель могла обучаться на этих данных.

Один из наиболее распространённых методов — рисование прямоугольных рамок вокруг объектов, известных как ограничивающие рамки. Однако ограничивающие рамки дают лишь приблизительный контур объекта. Полигональная аннотация — более точный подход.

Он заключается в пошаговом обведении объекта (его границ), а не в заключении его в рамку. Для этого специалисты по разметке размещают несколько вершин (точек) вдоль границ объекта, прослеживая его контур, пока вся форма не будет охвачена.

Эти соединённые точки образуют полигон, повторяющий естественный контур объекта. Поскольку форма точно следует границе объекта, аннотация захватывает детали, которые часто упускаются при использовании традиционных методов разметки. Это особенно полезно, когда объекты имеют неправильную форму или сложные границы, например листья, силуэты людей и перекрывающиеся объекты.

Такая точность данных помогает моделям машинного обучения эффективнее обучаться. Когда аннотации точно отражают реальные границы объекта, модели лучше понимают его особенности на уровне пикселей. Это повышает производительность моделей, особенно в задачах сегментации, требующих высокой точности.

Роль полигональных аннотаций в рабочих процессах компьютерного зрения#

Итак, как именно используются полигональные аннотации? Они тесно связаны с моделями vision AI, поддерживающими задачи сегментации изображений, такие как сегментация экземпляров.

Во многих приложениях компьютерного зрения важно знать точную область, которую занимает каждый объект на изображении или видеокадре. Хороший пример — обнаружение автомобильных деталей на производстве. В этом случае моделям необходимо идентифицировать и точно обводить такие детали, как двери, окна и фары, даже если они перекрываются или имеют сложную форму.

Здесь и применяется сегментация экземпляров. Она позволяет моделям обнаруживать каждый объект и отображать его точные границы на уровне пикселей. Это отличается от обычного обнаружения объектов, при котором используются ограничивающие рамки.

Рис. 2. Сегментация экземпляров также помогает различать повреждённые детали автомобиля. (Источник)

Ограничивающие рамки предоставляют лишь приблизительные прямоугольные области вокруг объектов и часто включают лишний фон, из-за чего сложнее выделять объекты неправильной формы или разделять перекрывающиеся элементы.

Полигональная аннотация играет жизненно важную роль в обеспечении такой точности. Обведение точной формы каждого объекта на изображениях датасета создаёт высококачественные обучающие данные, отражающие настоящие границы объектов. Эти подробные аннотации помогают моделям, таким как Ultralytics YOLO26, лучше понимать структуру каждого компонента, что приводит к более точным результатам сегментации.

Ограничения традиционных инструментов аннотации изображений#

Теперь давай рассмотрим ограничения традиционных инструментов аннотации, чтобы понять необходимость более эффективных и масштабируемых решений, таких как Ultralytics Platform.

Вот несколько распространённых проблем, с которыми сталкиваются специалисты по разметке при использовании традиционных инструментов полигональной аннотации:

• Ограниченная поддержка типов аннотаций: Некоторые инструменты сосредоточены на одном методе аннотации, из-за чего сложно работать с разными типами, такими как полигоны, ограничивающие рамки и ключевые точки, в одном месте.
• Неэффективная обработка сложных аннотаций: В инструментах могут отсутствовать функции, упрощающие точную аннотацию сложных объектов с мелкими деталями.
• Отсутствие функций с AI-помощью: Многие инструменты полностью полагаются на ручную работу и не имеют встроенной поддержки AI для ускорения аннотации.
• Разрозненное управление датасетами: Управлять датасетами, версиями и аннотациями может быть сложно, особенно если инструменты не предоставляют централизованное рабочее пространство.

Ultralytics Platform решает эти проблемы с помощью функций аннотации с AI-помощью, работающих на основе Segment Anything Models (SAM) и моделей YOLO. SAM позволяет пользователям создавать высококачественные маски сегментации по простым входным данным, таким как клики, после чего их можно преобразовать в точные полигональные аннотации.

Аналогичным образом интеллектуальная аннотация на основе YOLO использует предварительно обученные или обученные на пользовательских данных модели YOLO для выполнения инференса изображения и добавления таких предсказаний, как ограничивающие рамки, маски сегментации или ориентированные ограничивающие рамки, в качестве аннотаций, которые затем можно просмотреть и при необходимости скорректировать. Вместе эти возможности делают процесс аннотации быстрее, стабильнее и удобнее для масштабирования.

Различные типы аннотаций, поддерживаемые Ultralytics Platform#

Ultralytics Platform включает интегрированный редактор аннотаций, который позволяет размечать изображения непосредственно в рабочем пространстве. Это упрощает создание и управление датасетами без использования отдельных, зачастую требующих много времени инструментов разметки данных.

Помимо полигональных аннотаций, Ultralytics Platform поддерживает несколько других типов аннотаций. Краткий обзор:

• Ограничивающие рамки: Специалисты по разметке могут рисовать простые прямоугольные рамки вокруг объектов, что упрощает их разметку и обнаружение на изображении.
• Ключевые точки: Этот метод используется для обозначения определённых точек, например суставов тела или ориентиров, в таких задачах, как оценка позы.
• Ориентированные ограничивающие рамки (OBBs): Они позволяют точнее выделять повёрнутые или наклонённые объекты по сравнению со стандартными ограничивающими рамками.
• Метки классификации: Для более простых задач пользователи могут присваивать метки целым изображениям вместо разметки отдельных объектов.

Аннотация объектов полигонами в Ultralytics Platform#

Теперь давай посмотрим, как создавать полигональные аннотации в Ultralytics Platform — вручную или с помощью инструментов с AI-помощью.

Создание полигональных аннотаций вручную в Ultralytics Platform#

Краткое пошаговое руководство по созданию полигональных аннотаций вручную:

• Шаг 1 — Перейди к датасету: Открой датасет, содержащий изображения, которые нужно разметить. Здесь хранятся аннотации и изображения, которыми ты управляешь.
• Шаг 2 — Открой изображение: Нажми на изображение, чтобы открыть его в интерфейсе аннотаций. Рабочий процесс аннотации зависит от задачи датасета. Например, в датасете для сегментации экземпляров аннотации создаются с помощью полигональных масок.
• Шаг 3 — Начни создавать маску: Нажми на изображение, чтобы начать аннотацию. Каждый клик добавляет вершину вдоль границы объекта.
• Шаг 4 — Обведи контур объекта: Продолжай нажимать вдоль границ объекта, чтобы определить его форму.
• Шаг 5 — Заверши полигон: Нажми “Enter” или кликни по первой точке, чтобы завершить полигон и назначить метку класса.
• Шаг 6 — Добавь дополнительные аннотации: Повтори процесс, чтобы создать дополнительные полигоны для других объектов на изображении.
• Шаг 7 — Сохрани аннотации: Аннотации сохраняются автоматически по мере их создания.

Рис. 3. Создание полигональных аннотаций вручную с помощью Ultralytics Platform (Источник)

Интеллектуальная полигональная аннотация в Ultralytics Platform#

Теперь рассмотрим функции разметки с AI-помощью, поддерживаемые Ultralytics Platform и ускоряющие процесс аннотации.

Платформа предоставляет два подхода к интеллектуальной аннотации: один работает на основе Segment Anything Models и позволяет интерактивно создавать аннотации с помощью кликов, а другой использует модели YOLO для непосредственного добавления предсказаний модели в качестве аннотаций. Оба подхода можно использовать для интеллектуальной полигональной аннотации.

Интеллектуальная аннотация с помощью SAM в Ultralytics Platform#

Аннотация с помощью SAM в Ultralytics Platform упрощает ручную разметку, используя Segment Anything Model (SAM) для создания масок сегментации при минимальном вводе данных. Вместо пошагового обведения объектов пользователи взаимодействуют с изображением с помощью простых подсказок, например кликов, указывающих, что нужно включить или исключить.

Платформа поддерживает несколько моделей SAM, включая SAM 2.1 и SAM 3, позволяя выбирать между более высокой скоростью и точностью в зависимости от потребностей. На основе ввода пользователя SAM создаёт маски на уровне пикселей в реальном времени. Затем эти маски можно уточнить и использовать в качестве полигональных аннотаций, что делает процесс быстрее, стабильнее и удобнее для масштабирования.

Вот шаги по использованию SAM для полигональной аннотации в Ultralytics Platform:

• Шаг 1 — Открой изображение: Перейди к датасету и нажми на изображение, чтобы открыть полноэкранный просмотрщик.
• Шаг 2 — Перейди в режим аннотации: Нажми “Edit”, затем переключись в режим Smart (или нажми S), чтобы включить SAM.
• Шаг 3 — Выбери модель SAM: Выбери модель SAM на панели инструментов с учётом требований к скорости и точности.
• Шаг 4 — Задай подсказки: Нажимай левой кнопкой мыши, чтобы добавить положительные точки (области для включения), и правой кнопкой — чтобы добавить отрицательные точки (области для исключения).
• Шаг 5 — Создай и примени маску: SAM в реальном времени предсказывает маску сегментации. Нажми “Enter” (или используй автоматическое применение), чтобы применить аннотацию.
• Шаг 6 — Уточни аннотацию: При необходимости добавь дополнительные точки или скорректируй результат, чтобы повысить точность перед сохранением.

Рис. 4. Полигональная аннотация с помощью SAM в Ultralytics Platform (Источник)

Интеллектуальная аннотация с помощью YOLO в Ultralytics Platform#

Интеллектуальная аннотация на основе YOLO в Ultralytics Platform ускоряет разметку, используя предварительно обученные модели Ultralytics YOLO или дообученные модели YOLO для создания предсказаний на изображении и добавления их в качестве аннотаций. Эти предсказания могут включать ограничивающие рамки, маски сегментации или ориентированные ограничивающие рамки в зависимости от задачи датасета.

Затем пользователи могут просмотреть и при необходимости уточнить эти аннотации. Ниже приведён обзор шагов по использованию интеллектуальной аннотации на основе YOLO в Ultralytics Platform:

• Шаг 1 — Открой изображение: Перейди к датасету и выбери изображение, чтобы открыть его в полноэкранном просмотрщике.
• Шаг 2 — Перейди в режим аннотации: Нажми “Edit”, затем переключись в режим Smart (или нажми S).
• Шаг 3 — Выбери модель YOLO: Выбери модель YOLO в списке моделей на панели инструментов.
• Шаг 4 — Запусти предсказание: Нажми “Predict”, чтобы модель автоматически создала аннотации.
• Шаг 5 — Проверь аннотации: Просмотри предсказанные ограничивающие рамки, маски сегментации или OBB, добавленные на изображение.
• Шаг 6 — Уточни и сохрани: При необходимости отредактируй, скорректируй или удали неправильные аннотации, затем сохрани итоговые метки.

Рис. 5. Пример использования интеллектуальной аннотации YOLO (Источник)

Примеры использования полигональной аннотации в реальных задачах#

Полигональная аннотация оказывает заметное влияние на самые разные отрасли — от контроля качества на производстве до сельского хозяйства и здравоохранения. Давай рассмотрим несколько ключевых примеров применения в реальном мире.

Выявление вредителей с помощью компьютерного зрения#

В сельском хозяйстве мониторинг состояния посевов крайне важен для повышения урожайности и сокращения потерь. Обнаруживать поражённые вредителями участки на листьях культур может быть сложно, поскольку эти области часто имеют неправильную форму и нечёткие границы.

К такой задаче можно подойти с помощью методов сегментации изображений, например семантической сегментации, которая помечает все пиксели, принадлежащие определённому классу (например, поражённым участкам), или сегментации экземпляров, которая точнее разделяет контуры объектов.

С помощью Ultralytics Platform пользователи могут использовать полигональную аннотацию для обведения точной формы этих поражённых участков. Это помогает создавать более точные датасеты и упрощает обнаружение тонких закономерностей в сельскохозяйственной среде алгоритмами vision AI.

В результате команды могут создавать более качественные обучающие данные, помогающие моделям точно определять места присутствия вредителей. Это эффективнее использования ограничивающих рамок, которые могут включать непоражённые части листа.

Анализ медицинских изображений с помощью сегментации экземпляров#

Как и при обнаружении вредителей в сельском хозяйстве, даже небольшие различия в границах могут влиять на анализ таких заболеваний, как рак, при медицинской визуализации. Это особенно важно при выявлении патологических изменений, таких как опухоли, на компьютерных томограммах.

Традиционные методы аннотации могут пропускать тонкие границы или включать окружающие ткани, что снижает точность. С помощью Ultralytics Platform команды могут использовать полигональную аннотацию для точного обведения этих областей в обучающих данных, помогая моделям создавать более точную и надёжную сегментацию опухолей.

Основные выводы#

Полигональная аннотация необходима, когда моделям нужно с высокой точностью понимать формы объектов на изображениях. Она помогает точнее представлять сложные формы, особенно при использовании Ultralytics Platform. Сочетая точность с мощными инструментами, команды могут создавать более надёжные и производительные модели AI.

Готов внедрить vision AI в свои проекты? Присоединяйся к нашему сообществу, узнай больше об AI в автомобильной отрасли и vision AI в робототехнике. Посети наш репозиторий GitHub, чтобы узнать больше. Ознакомься с нашими вариантами лицензирования и начни уже сегодня!