Руководство по полигональной аннотации с помощью Ultralytics Platform

Передовые технологии ИИ внедряются в самые разные отрасли: от автономного вождения до точного земледелия. Например, молочные фермеры используют ИИ и анализ изображений для обнаружения болезней у скота. Проблемы со здоровьем, такие как хромота, можно отслеживать, наблюдая за изменениями в походке и осанке животного, например, за выгнутой спиной и асимметричными движениями.

Рис 1. Пример мониторинга коров с использованием ИИ и анализа изображений.

Компьютерное зрение, отрасль искусственного интеллекта, делает такие приложения возможными, позволяя машинам интерпретировать и анализировать визуальные данные. В частности, сегментация экземпляров — это задача компьютерного зрения, которая идентифицирует и сегментирует каждый объект на изображении на уровне пикселей, что позволяет точно обнаруживать и анализировать отдельных животных.

Полигональная аннотация играет ключевую роль в этом процессе. Это метод аннотирования данных, используемый для тщательного обведения точной формы объекта на изображении путем расстановки точек вдоль его границ. В отличие от простых аннотаций в виде ограничивающих рамок, этот подход следует истинному контуру объекта, помогая создавать более точные обучающие данные и позволяя моделям ИИ зрения лучше понимать границы объектов.

Сегодня существует множество инструментов для создания полигональных аннотаций. Однако такие варианты часто кажутся разрозненными, особенно когда они предлагают противоречивую или ограниченную поддержку различных типов аннотаций, что затрудняет управление разнообразными потребностями в разметке в рамках единого рабочего процесса.

Ultralytics Platform, наше новое комплексное рабочее пространство для ИИ зрения, которое устраняет разрыв между управлением наборами данных, аннотированием, обучением, развертыванием и мониторингом, решает эту проблему, поддерживая несколько типов аннотаций и рабочие процессы с поддержкой ИИ в одном бесшовном пространстве, упрощая весь процесс аннотирования.

В этой статье мы рассмотрим, что такое полигональные аннотации и как их создавать с помощью Ultralytics Platform. Давай начнем!

Link to this sectionВзгляд поближе на полигональную аннотацию#

Прежде чем мы погрузимся в Ultralytics Platform и ее функции полигональной аннотации, давай сделаем шаг назад и разберемся, что такое полигональная аннотация.

Аннотирование изображений — это процесс добавления меток к визуальным данным, чтобы модели ИИ могли понимать, что они видят. Обычно это включает в себя идентификацию объектов на изображении и их маркировку таким образом, чтобы модель могла на них учиться.

Одним из самых распространенных методов является рисование прямоугольных рамок вокруг объектов, известных как ограничивающие рамки (bounding boxes). Однако ограничивающие рамки дают лишь грубый контур объекта. Полигональная аннотация — это более точный подход.

Он работает путем обводки объекта (его границ) точка за точкой, а не заключения его в рамку. Для этого аннотаторы расставляют несколько вершин (точек) вдоль краев объекта, отслеживая его контур, пока вся форма не будет покрыта.

Эти соединенные точки образуют полигон, который повторяет естественный контур объекта. Поскольку форма тесно следует за границей объекта, аннотация фиксирует детали, которые часто упускают традиционные методы разметки. Это особенно полезно, когда объекты имеют неправильную форму или сложные края, такие как листья, силуэты людей и перекрывающиеся объекты.

Такая точность в данных помогает моделям машинного обучения обучаться более эффективно в процессе тренировки модели. Когда аннотации точно фиксируют истинные границы объекта, модели могут лучше понимать паттерны объекта на уровне пикселей. Это приводит к улучшению производительности модели, особенно в задачах сегментации, требующих высокой точности.

Link to this sectionРоль полигональных аннотаций в рабочих процессах компьютерного зрения#

Итак, как же на самом деле используются полигональные аннотации? Они тесно связаны с моделями ИИ зрения, которые поддерживают задачи сегментации изображений, такие как сегментация экземпляров.

Во многих приложениях компьютерного зрения важно знать точную область, которую занимает каждый объект на изображении или кадре видео. Хорошим примером является обнаружение деталей автомобилей на производстве. В этом случае моделям необходимо идентифицировать и точно обвести такие детали, как двери, окна и фары, даже если они перекрываются или имеют сложную форму.

Вот здесь и пригождается сегментация экземпляров. Она позволяет моделям обнаруживать каждый объект и отображать его точные границы на уровне пикселей. Это отличается от базового обнаружения объектов, которое использует ограничивающие рамки.

Рис 2. Сегментация экземпляров также может помочь различить поврежденные части автомобиля. (Источник)

Ограничивающие рамки дают только грубые прямоугольные области вокруг объектов и часто включают лишний фон, что затрудняет захват неправильных форм или разделение перекрывающихся предметов.

Полигональная аннотация играет жизненно важную роль в обеспечении такого уровня точности. Отслеживание точной формы каждого объекта на изображениях набора данных создает высококачественные обучающие данные, которые отражают истинные границы объектов. Эти подробные аннотации помогают моделям, таким как Ultralytics YOLO26, лучше понимать структуру каждого компонента, что приводит к более точным результатам сегментации.

Link to this sectionОграничения традиционных инструментов аннотирования изображений#

Далее давай разберем ограничения традиционных инструментов аннотирования, чтобы понять потребность в более эффективных и масштабируемых решениях, таких как Ultralytics Platform.

Вот некоторые распространенные проблемы, с которыми сталкиваются аннотаторы при использовании традиционных инструментов полигональной аннотации:

• Ограниченная поддержка типов аннотаций: Некоторые инструменты фокусируются на одном методе аннотирования, что затрудняет работу с различными типами, такими как полигоны, ограничивающие рамки и ключевые точки, в одном месте.
• Неэффективная обработка сложных аннотаций: В инструментах могут отсутствовать функции, облегчающие точное аннотирование сложных объектов с мелкими деталями.
• Отсутствие функций с поддержкой ИИ: Многие инструменты полностью полагаются на ручную работу, без встроенной поддержки ИИ для ускорения аннотирования.
• Разрозненное управление наборами данных: Управление наборами данных, версиями и аннотациями может быть сложным, особенно когда инструменты не предоставляют централизованное рабочее пространство.

Ultralytics Platform решает эти проблемы с помощью функций аннотирования на базе ИИ, использующих как модели SAM (Segment Anything Models), так и модели YOLO. SAM позволяет пользователям создавать высококачественные маски сегментации с помощью простых действий, таких как клики, которые затем можно доработать в точные полигональные аннотации.

Аналогично, «умная» аннотация на базе YOLO использует предобученные или специально обученные модели YOLO для запуска инференса на изображении и добавления предсказаний, таких как ограничивающие рамки, маски сегментации или ориентированные ограничивающие рамки, в качестве аннотаций, которые затем можно просматривать и корректировать по мере необходимости. Вместе эти возможности делают процесс аннотирования быстрее, последовательнее и проще в масштабировании.

Link to this sectionРазличные типы аннотаций, поддерживаемые Ultralytics Platform#

Ultralytics Platform включает встроенный редактор аннотаций, который позволяет пользователям аннотировать изображения прямо в рабочем пространстве. Это упрощает создание и управление наборами данных, не полагаясь на отдельные, часто трудоемкие инструменты для разметки данных.

Помимо полигональных аннотаций, Ultralytics Platform поддерживает несколько других типов аннотаций. Вот краткий обзор:

• Ограничивающие рамки (Bounding boxes): Аннотаторы могут рисовать простые прямоугольные рамки вокруг объектов, что упрощает их маркировку и обнаружение на изображении.
• Ключевые точки (Keypoints): Этот метод используется для обозначения определенных точек, таких как суставы тела или ориентиры, для задач вроде оценки позы.
• Ориентированные ограничивающие рамки (OBBs): Они позволяют пользователям более точно захватывать повернутые или расположенные под углом объекты по сравнению со стандартными ограничивающими рамками.
• Метки классификации: Для более простых задач пользователи могут назначать метки целым изображениям вместо маркировки отдельных объектов.

Link to this sectionАннотирование объектов полигонами на Ultralytics Platform#

Теперь давай посмотрим, как создавать полигональные аннотации на Ultralytics Platform, вручную или с помощью инструментов с поддержкой ИИ.

Link to this sectionСоздание полигональных аннотаций вручную на Ultralytics Platform#

Вот краткое пошаговое руководство по созданию полигональных аннотаций вручную:

• Шаг 1 - Перейди к своему набору данных: Открой набор данных, содержащий изображения, которые ты хочешь аннотировать. Здесь хранятся и управляются твои изображения и аннотации.
• Шаг 2 - Открой изображение: Нажми на изображение, чтобы открыть его в интерфейсе аннотирования. Рабочий процесс аннотирования зависит от задачи набора данных. Например, в наборе данных для сегментации экземпляров аннотации создаются с помощью полигональных масок.
• Шаг 3 – Начни создание маски: Нажми на изображение, чтобы начать аннотирование. Каждый клик добавляет вершину вдоль границы объекта.
• Шаг 4 – Отследи контур объекта: Продолжай кликать вокруг краев объекта, чтобы определить его форму.
• Шаг 5 – Заверши полигон: Ты можешь либо нажать «Enter», либо нажать на первую точку, чтобы завершить полигон и назначить метку класса.
• Шаг 6 – Добавь дополнительные аннотации: Повтори процесс, чтобы создать больше полигонов для других объектов на изображении.
• Шаг 7 – Сохранение аннотаций: Аннотации сохраняются автоматически по мере их создания.

Рис 3. Взгляд на создание полигональных аннотаций вручную на Ultralytics Platform (Источник)

Link to this section«Умная» полигональная аннотация на Ultralytics Platform#

Далее давай рассмотрим функции разметки с поддержкой ИИ, поддерживаемые Ultralytics Platform, которые ускоряют процесс аннотирования.

Платформа предоставляет два подхода для «умной» аннотации: один на базе Segment Anything Models для интерактивного создания аннотаций на основе кликов, и другой на базе моделей YOLO для добавления предсказаний модели непосредственно в качестве аннотаций. Оба подхода могут быть использованы для «умной» полигональной аннотации.

Link to this section«Умная» аннотация с использованием SAM на Ultralytics Platform#

Аннотирование с поддержкой SAM на Ultralytics Platform упрощает ручную разметку, используя Segment Anything Model (SAM) для создания масок сегментации с минимальными затратами. Вместо того чтобы обводить объекты точка за точкой, пользователи могут взаимодействовать с изображением с помощью простых подсказок, таких как клики, чтобы указать, что должно быть включено или исключено.

Платформа поддерживает несколько моделей SAM, включая SAM 2.1 и SAM 3, позволяя пользователям выбирать между более высокой скоростью или более высокой точностью в зависимости от их потребностей. На основе введенных пользователем данных SAM генерирует маски на уровне пикселей в режиме реального времени. Эти маски затем можно доработать и использовать в качестве полигональных аннотаций, что делает процесс быстрее, последовательнее и проще в масштабировании.

Вот шаги по использованию SAM для полигональной аннотации на Ultralytics Platform:

• Шаг 1 – Открой изображение: Перейди к своему набору данных и нажми на изображение, чтобы запустить полноэкранный просмотрщик.
• Шаг 2 – Войди в режим аннотирования: Нажми «Edit», затем переключись в режим Smart (или нажми S), чтобы включить SAM.
• Шаг 3 – Выбери модель SAM: Выбери модель SAM на панели инструментов в зависимости от своих потребностей в скорости и точности.
• Шаг 4 – Предоставь подсказки: Нажми левой кнопкой мыши, чтобы добавить положительные точки (включить области), и правой кнопкой мыши, чтобы добавить отрицательные точки (исключить области).
• Шаг 5 – Сгенерируй и примени маску: SAM предсказывает маску сегментации в режиме реального времени. Нажми «Enter» (или используй автоприменение), чтобы применить аннотацию.
• Шаг 6 – Доработай аннотацию: Добавь больше точек или настрой результат, если нужно, чтобы улучшить точность перед сохранением.

Рис 4. Полигональная аннотация с поддержкой SAM на Ultralytics Platform (Источник)

Link to this section«Умная» аннотация с использованием YOLO на Ultralytics Platform#

«Умная» аннотация на базе YOLO на Ultralytics Platform ускоряет разметку за счет использования предобученных моделей Ultralytics YOLO или дообученных моделей YOLO для генерации предсказаний на изображении и добавления их в качестве аннотаций. Эти предсказания могут включать ограничивающие рамки, маски сегментации или ориентированные ограничивающие рамки, в зависимости от задачи набора данных.

Пользователи могут затем просматривать и дорабатывать эти аннотации по мере необходимости. Вот обзор шагов, связанных с использованием «умной» аннотации на базе YOLO на Ultralytics Platform:

• Шаг 1 – Открой изображение: Перейди к своему набору данных и выбери изображение, чтобы открыть его в полноэкранном просмотрщике.
• Шаг 2 – Войди в режим аннотирования: Нажми «Edit», затем переключись в режим Smart (или нажми S).
• Шаг 3 – Выбери модель YOLO: Выбери модель YOLO в инструменте выбора моделей на панели инструментов.
• Шаг 4 – Запусти предсказание: Нажми «Predict», чтобы позволить модели автоматически генерировать аннотации.
• Шаг 5 – Просмотри аннотации: Осмотри предсказанные ограничивающие рамки, маски сегментации или OBB, добавленные на изображение.
• Шаг 6 – Доработай и сохрани: Редактируй, настраивай или удаляй неверные аннотации по мере необходимости, затем сохрани свои итоговые метки.

Рис 5. Взгляд на использование «умной» аннотации YOLO (Источник)

Link to this sectionРеальные сценарии использования полигональной аннотации#

Полигональная аннотация оказывает реальное влияние на различные отрасли: от контроля качества на производстве до сельского хозяйства и здравоохранения. Давай рассмотрим некоторые ключевые реальные применения.

Link to this sectionОбнаружение вредителей с помощью компьютерного зрения#

В сельском хозяйстве мониторинг здоровья сельскохозяйственных культур имеет решающее значение для повышения урожайности и сокращения потерь. Обнаружение пораженных вредителями участков на листьях культур может быть непростой задачей, так как эти области часто имеют неправильную форму и нечеткие границы.

К решению этой проблемы можно подойти с помощью методов сегментации изображений, таких как семантическая сегментация, которая помечает все пиксели, принадлежащие к одному классу (например, зараженные области), или сегментация экземпляров, которая разделяет контуры объектов более точно.

С Ultralytics Platform пользователи могут использовать полигональную аннотацию для обводки точной формы этих зараженных участков. Это помогает создавать более точные наборы данных и облегчает алгоритмам ИИ зрения обнаружение тонких паттернов в сельскохозяйственной среде.

В результате команды могут создавать лучшие обучающие данные, которые помогают моделям точно идентифицировать наличие заражения вредителями. Это эффективнее, чем использование ограничивающих рамок, которые могут включать части листа, которые не затронуты.

Link to this sectionАнализ медицинских изображений на базе сегментации экземпляров#

Подобно обнаружению вредителей в сельском хозяйстве, даже небольшие различия в границах могут повлиять на то, как анализируются заболевания, такие как рак, при медицинской визуализации. Это особенно важно при выявлении отклонений в здравоохранении, таких как опухоли на КТ-сканах.

Традиционные методы аннотирования могут пропускать мелкие края или включать окружающие ткани, что может снизить точность. С Ultralytics Platform команды могут использовать полигональную аннотацию для точной обводки этих областей в обучающих данных, помогая моделям получать более точную и надежную сегментацию опухолей.

Link to this sectionКлючевые выводы#

Полигональная аннотация является ключевой, когда моделям необходимо понимать формы объектов на изображениях с высокой точностью. Она помогает более точно представлять сложные формы, особенно при использовании Ultralytics Platform. Сочетая точность с мощными инструментами, команды могут создавать более надежные и высокопроизводительные модели ИИ.

Готов внедрить ИИ зрения в свои проекты? Присоединяйся к нашему сообществу и открой для себя ИИ в автомобильной промышленности и ИИ зрения в робототехнике. Изучи наш репозиторий на GitHub, чтобы узнать больше. Ознакомься с нашими вариантами лицензирования, чтобы начать работу сегодня!