Что такое сегментация экземпляров? Краткое руководство

Приложения Computer vision становятся всё более привычными в нашей повседневной жизни — от дорожных камер, следящих за ситуацией на дорогах, до систем самообслуживания в магазинах. Позволяя машинам понимать визуальные данные так же, как это делают люди, искусственный интеллект для обработки изображений оказывает влияние на самые разные отрасли.

Многие из этих приложений опираются на обнаружение объектов — computer vision task, которая помещает ограничивающие рамки вокруг ключевых объектов на изображениях. Хотя этот подход часто работает хорошо, некоторые решения для анализа изображений требуют ещё большей точности.

Например, медицинская визуализация требует большего, чем просто обнаружение опухоли — критически важно очертить её точную форму. Аналогично, в робототехнике машинам необходимо распознавать точные контуры объекта, чтобы правильно его захватить. Для решения этих задач сегментация экземпляров предлагает более точное решение.

Сегментация экземпляров (instance segmentation) — это задача компьютерного зрения, предназначенная для сценариев использования, где простого обнаружения объектов недостаточно: она обеспечивает точность на уровне пикселей. Модели компьютерного зрения, такие как Ultralytics YOLO11, можно использовать для простой сегментации экземпляров на изображениях и видео.

Fig 1. Пример использования YOLO11 для сегментации экземпляров.

В этом руководстве мы разберем, как работает сегментация экземпляров, где она применяется и как можно настроить Ultralytics YOLO11 для конкретных задач сегментации.

Что такое сегментация экземпляров?#

Допустим, есть групповое фото людей, стоящих близко друг к другу. Обнаружение объектов поможет обвести каждого человека рамкой, но это не даст представления об их точной форме.

Instance segmentation, с другой стороны, похожа на аккуратную обводку каждого человека по контуру, чтобы увидеть его полный силуэт, даже если они перекрывают друг друга. Вместо того чтобы просто отмечать местоположение объекта с помощью рамки, этот метод определяет точную форму каждого объекта на уровне пикселей, что упрощает понимание сложных изображений.

Результатом является детальная маска, которая заполняет форму объекта, точно указывая, какие пиксели ему принадлежат. Такой уровень точности полезен во многих реальных приложениях, где важно понимать точную форму и границы объектов.

Рис. 2. Демонстрация поддержки сегментации экземпляров в Ultralytics YOLO11.

Сегментация экземпляров vs семантическая сегментация#

Изучая сегментацию экземпляров, ты можешь столкнуться с концепцией semantic segmentation.

Оба метода помогают компьютерам понимать изображения на пиксельном уровне, но служат разным целям. Семантическая сегментация помечает каждый пиксель на основе его категории, группируя все объекты одного типа вместе. Например, на изображении с несколькими автомобилями семантическая сегментация отметит их все как «автомобиль», не различая отдельные транспортные средства.

Сегментация экземпляров, напротив, делает шаг вперед, идентифицируя каждый объект отдельно. Она присваивает уникальные метки отдельным экземплярам и создает точные маски вокруг их форм. Поэтому на том же изображении сегментация экземпляров не просто пометит всё как «автомобиль», а распознает и выделит каждый автомобиль по отдельности.

Главное различие между ними заключается в том, что семантическая сегментация группирует объекты по категориям, в то время как сегментация экземпляров рассматривает каждый объект как уникальную сущность с четкими границами. Выбор задачи зависит от конкретного приложения — достаточно ли просто знать, что находится на изображении, или важно различать отдельные объекты.

Fig 3. Сегментация экземпляров и семантическая сегментация (справа и слева соответственно).

Популярные модели для сегментации экземпляров#

Сегодня сообществу vision AI доступно множество моделей для сегментации экземпляров. Некоторые из них быстрее, другие — точнее, а какие-то — проще в использовании.

Эти варианты, будучи полезными, могут привести к вопросу: какую из них выбрать для конкретной задачи? Среди множества вариантов модели Ultralytics YOLO весьма популярны, так как они фокусируются на скорости и точности.

Кроме того, за последние годы эти модели значительно эволюционировали. Например, Ultralytics YOLOv5 упростила развёртывание с использованием таких фреймворков, как PyTorch, сделав передовой визуальный ИИ доступным для более широкой аудитории без необходимости глубоких технических знаний.

Опираясь на этот успех, Ultralytics YOLOv8 представила расширенную поддержку таких задач компьютерного зрения, как сегментация экземпляров, оценка поз и классификация изображений.

Теперь Ultralytics YOLO11 поднимает производительность на новый уровень. Она достигает более высокой средней точности (mAP) на датасете COCO при использовании на 22% меньшего количества параметров по сравнению с YOLOv8m, что означает более точное распознавание объектов при меньших затратах ресурсов.

Fig 4. Бенчмаркинг производительности YOLO11.

Проще говоря, Ultralytics YOLO11 обеспечивает современную точность без ущерба для эффективности, что делает её настоящим прорывом в этой области.

Понимание принципов работы сегментации экземпляров#

Давай теперь рассмотрим, как обычно работает сегментация экземпляров. Более старые computer vision models используют двухэтапный подход.

Сначала они обнаруживают объекты, очерчивая их ограничивающими рамками. Затем они создают маску на уровне пикселей, чтобы выделить точную форму каждого объекта. Известным примером является Mask R-CNN, которая дополняет модели object detection шагом предсказания маски. Хотя этот метод эффективен, он может работать медленно, поскольку обрабатывает изображение в несколько этапов, что затрудняет применение в реальном времени.

Тем временем такие модели, как Ultralytics YOLO11, обрабатывают изображения за один проход, одновременно предсказывая ограничивающие рамки объектов и маски сегментации экземпляров. Такой оптимизированный подход делает их значительно быстрее при сохранении высокой точности. В результате они особенно полезны для приложений реального времени, таких как автономное вождение, видеоанализ и робототехника, где критически важны и скорость, и точность.

Кастомное обучение Ultralytics YOLO11 для сегментации экземпляров#

По умолчанию YOLO11 поставляется в виде предобученной модели. Она обучена на датасете COCO-Seg dataset, который охватывает повседневные объекты для сегментации экземпляров. Тем не менее, пакет Python от Ultralytics поддерживает пользовательское обучение, что необходимо для специализированных приложений, где требуется сегментировать уникальные объекты.

Почему пользовательское обучение или тонкая настройка модели важны? Custom training использует перенос обучения (transfer learning), опираясь на знания, уже заложенные в предобученных моделях. Вместо того чтобы начинать с нуля, этот подход адаптирует существующую модель к новым задачам с использованием меньших датасетов и меньших вычислительных ресурсов, сохраняя при этом высокую точность.

Как запустить кастомное обучение Ultralytics YOLO11#

Вот подробный обзор шагов, связанных с дообучением Ultralytics YOLO11 для сегментации экземпляров:

• Подготовка данных: Собери и размети изображения в соответствии с твоей конкретной задачей. Ultralytics обеспечивает поддержку множества image datasets, но ты также можешь обучать модель на собственном наборе данных, подготовив изображения и разметку в требуемом формате YOLO.
• Использование предобученной модели: Вместо того чтобы начинать с чистого листа, возьми предобученную модель Ultralytics YOLO11.
• Обучение модели: Настрой важные параметры обучения, такие как batch size (изображения, обрабатываемые за одну итерацию), размер изображения (целевое входное разрешение) и эпохи (общее количество циклов обучения), и запусти процесс обучения.
• Оценка производительности: После завершения обучения модели ты можешь протестировать её точность с помощью таких метрик, как mAP. Python-пакет Ultralytics также предоставляет встроенные функции для оценки модели.

Приложения для сегментации экземпляров, поддерживаемые Ultralytics YOLO11#

Сегментация экземпляров может применяться для решения реальных задач, помогая машинам видеть и понимать объекты более точно. От улучшения автоматизации до защиты окружающей среды, она играет ключевую роль во многих областях. Давай разберем примеры того, где она оказывает влияние.

Безопасность и мониторинг строительной площадки с использованием Ultralytics YOLO11#

Сегментация экземпляров может стать критически важной частью обеспечения безопасности и эффективности на строительных площадках. Например, её можно использовать для мониторинга тяжелой техники.

Ultralytics YOLO11 можно дообучить для точной сегментации и идентификации различных типов оборудования, таких как краны, экскаваторы и бульдозеры, а также для отслеживания их положения в реальном времени. Это позволяет руководителям объектов следить за тем, чтобы техника работала строго в отведенных зонах и не заезжала на участки, где находятся рабочие или существуют опасности.

Также интеграция таких решений с системами оповещения в реальном времени позволяет оперативно принимать корректирующие меры. Кроме того, полученные данные могут помочь оптимизировать планировку и рабочий процесс на площадке, дополнительно снижая риски и повышая производительность.

Fig 5. Мониторинг тяжелой техники с использованием Ultralytics YOLO11.

Мониторинг животных с помощью сегментации и Ultralytics YOLO11#

Animal behavior monitoring помогает исследователям, фермерам и защитникам природы лучше заботиться о животных в различных средах обитания. Сегментация экземпляров играет важную роль в таких системах, помогая идентифицировать и сегментировать отдельных животных на фермах, в зоопарках и в дикой природе. В отличие от традиционного обнаружения объектов, использующего ограничивающие рамки, сегментация экземпляров обеспечивает попиксельное разделение каждого животного, что особенно полезно, когда животные находятся близко друг к другу.

Детальная сегментация способствует более точному отслеживанию перемещений и поведения. Перекрывающиеся или плотно сгруппированные животные могут быть отчетливо распознаны, что обеспечивает более точный анализ взаимодействий, оценку здоровья и паттернов активности. В целом, более глубокое понимание поведения животных улучшает практику ухода и управления.

Fig 6. Мониторинг скота с использованием сегментации экземпляров.

Ultralytics YOLO11 в спортивной аналитике и отслеживании игроков#

Точное отслеживание игроков и событий — огромная часть спортивного анализа. Традиционные методы отслеживания полагаются на ручную разметку, которая может не уловить детали взаимодействий. Компьютерное зрение можно использовать для сегментации таких деталей, как каждый игрок, мяч и ключевое событие на пиксельном уровне, для получения глубоких инсайтов.

Например, сегментация экземпляров может помочь обнаруживать такие события, как фолы или инциденты вне мяча, четко разделяя каждого игрока и объект. Такой детальный мониторинг, обеспечиваемый моделями вроде Ultralytics YOLO11, предоставляет аналитикам более четкую информацию для изучения паттернов движения, пространственного положения и взаимодействия с высокой точностью. Ключевым преимуществом таких инсайтов является то, что они помогают командам совершенствовать свои стратегии и повышать общую результативность.

Преимущества и недостатки сегментации экземпляров#

Вот некоторые ключевые преимущества, которые сегментация экземпляров может принести различным отраслям:

• Улучшенная автоматизация: Автоматизируя такие задачи, как контроль качества и мониторинг безопасности, сегментация экземпляров снижает потребность в ручном вмешательстве и минимизирует человеческие ошибки.
• Лучшее понимание сцены: Точно очерчивая каждый объект, сегментация экземпляров способствует более глубокому пониманию сложных сцен, поддерживая принятие более обоснованных решений.
• Эффективная постобработка: Вывод на уровне пикселей упрощает такие задачи, как удаление фона, подсчет объектов и пространственный анализ, сокращая потребность в дополнительных этапах обработки.

Хотя эти преимущества подчеркивают влияние сегментации экземпляров на различные варианты использования, также важно учитывать сложности, связанные с её реализацией.

Вот некоторые ключевые ограничения сегментации экземпляров:

• Проблемы с прозрачностью: Сегментация прозрачных или отражающих объектов, таких как стекло или вода, затруднена, что приводит к неточным границам.
• Затраты на обслуживание: Для поддержания актуальности и точности моделей необходимы постоянные обновления и дообучение по мере изменения условий окружающей среды и наборов данных.
• Высокие усилия по аннотированию: Обучение моделей сегментации экземпляров требует детальных аннотаций на уровне пикселей, что значительно увеличивает время и стоимость подготовки данных.

Основные выводы#

Сегментация экземпляров позволяет различать отдельные объекты с высокой точностью, даже когда они перекрываются. Захватывая границы объектов на уровне пикселей, она обеспечивает более глубокое понимание визуальных данных по сравнению с традиционными задачами компьютерного зрения, такими как обнаружение объектов.

Недавние достижения в компьютерном зрении сделали сегментацию экземпляров быстрее и проще в использовании. В частности, такие модели, как Ultralytics YOLO11, упрощают этот процесс, обеспечивая сегментацию в реальном времени с минимальной настройкой, что делает её более доступной для различных отраслей и приложений.

Интересуешься искусственным интеллектом? Загляни в наш репозиторий на GitHub и присоединяйся к нашему сообществу, чтобы продолжить изучение. Узнай об инновациях вроде искусственного интеллекта в беспилотных автомобилях и компьютерного зрения в сельском хозяйстве на страницах наших решений. Ознакомься с нашими вариантами лицензирования и приступай к проекту в области компьютерного зрения!