Что такое сегментация экземпляров? Краткое руководство

Приложения компьютерного зрения становятся все более распространенными в нашей повседневной жизни, от дорожных камер, контролирующих состояние дорог, до систем самообслуживания в магазинах. Предоставляя машинам возможность понимать визуальные данные аналогично людям, Vision AI оказывает влияние на целый ряд отраслей.

Многие из этих приложений основаны на детекции объектов, задаче компьютерного зрения, которая размещает ограничивающие рамки вокруг ключевых объектов на изображениях. Хотя этот подход часто хорошо работает, некоторым решениям для анализа изображений требуется еще большая точность.

Например, медицинская визуализация требует большего, чем просто обнаружение опухоли — крайне важно очертить ее точную форму. Аналогично, в робототехнике машинам необходимо распознавать точные контуры объекта, чтобы правильно его захватить. Для решения этих задач сегментация экземпляров предлагает более точное решение.

Сегментация объектов - это задача компьютерного зрения, предназначенная для поддержки тех случаев, когда обнаружения объектов недостаточно - она обеспечивает точность на уровне пикселей. Модели компьютерного зрения, такие как Ultralytics YOLO11 позволяют легко применять сегментацию объектов к изображениям и видео. 

‍

В этом руководстве мы расскажем о том, как работает сегментация экземпляров, о ее применении и о том, как Ultralytics YOLO11 можно обучить для решения конкретных задач сегментации.

Что такое сегментация экземпляров?

Предположим, есть групповая фотография людей, стоящих близко друг к другу. Детекция объектов может помочь нарисовать рамки вокруг каждого человека, но это не покажет их точную форму. 

Сегментация экземпляров, с другой стороны, похожа на тщательную обрисовку каждого человека, чтобы можно было увидеть его полный контур, даже если они перекрываются. Вместо того чтобы просто отмечать местоположение объекта рамкой, она определяет точную форму каждого объекта на уровне пикселей, что облегчает понимание сложных изображений.

В результате получается детальная маска, которая заполняет форму объекта, точно определяя, какие пиксели к нему относятся. Этот уровень точности полезен во многих реальных приложениях, где важно понимать точную форму и границы объектов.

‍

Сегментация экземпляров в сравнении с семантической сегментацией

При изучении сегментации экземпляров вы можете столкнуться с концепцией семантической сегментации.

Обе техники помогают компьютерам понимать изображения на уровне пикселей, но служат разным целям. Семантическая сегментация маркирует каждый пиксель на основе его категории, группируя все объекты одного типа вместе. Например, на изображении с несколькими автомобилями семантическая сегментация отметит их все как «автомобиль», не делая различий между отдельными транспортными средствами.

Сегментация экземпляров, с другой стороны, идет дальше, идентифицируя каждый объект отдельно. Она присваивает уникальные метки отдельным экземплярам и создает точные маски вокруг их форм. Таким образом, на том же изображении сегментация экземпляров не просто пометит все как «автомобиль», а распознает и обведет каждый автомобиль индивидуально.

Основное различие между ними заключается в том, что семантическая сегментация группирует объекты по категориям, в то время как сегментация экземпляров различает каждый объект как уникальную сущность с четкими границами. Выбор задачи зависит от конкретного приложения — достаточно ли знать, что находится на изображении, или важно различать отдельные объекты.

‍

Популярные модели сегментации экземпляров

В настоящее время сообществу Vision AI доступно множество моделей сегментации экземпляров. Некоторые из них быстрее, некоторые — точнее, а некоторые — проще в использовании. 

Эти варианты, несмотря на их полезность, могут привести к вопросу, какой из них лучше использовать для конкретной задачи? Среди этих вариантов довольно популярны модели Ultralytics YOLO , поскольку они ориентированы на скорость и точность. 

Кроме того, за прошедшие годы эти модели претерпели значительные изменения. Например, Ultralytics YOLOv5 упростила развертывание с помощью таких фреймворков, как PyTorch, сделав передовой Vision AI доступным для более широкой аудитории, не требуя глубоких технических знаний.

Развивая успех, Ultralytics YOLOv8 представила расширенную поддержку задач компьютерного зрения, таких как сегментация объектов, оценка позы и классификация изображений. 

Теперь YOLO11 поднимает производительность на новый уровень. Он достигает более высокой средней точностиmAP) на наборе данных COCO с 22 % меньшим количеством параметров, чем YOLOv8m, что означает, что он может распознавать объекты более точно, используя при этом меньше ресурсов.

‍

Проще говоря, YOLO11 обеспечивает самую современную точность без ущерба для эффективности, что делает его революционным в полевых условиях.

Понимание принципов работы сегментации экземпляров

Далее давайте рассмотрим, как обычно работает сегментация экземпляров. Более старые модели компьютерного зрения используют двухэтапный подход. 

Сначала они detect объекты, рисуя вокруг них ограничительные рамки. Затем они генерируют маску на уровне пикселей для точного определения формы каждого объекта. Известным примером является Mask R-CNN, который основывается на моделях обнаружения объектов, добавляя этап предсказания маски. Хотя этот метод эффективен, он может быть медленным, так как обрабатывает изображение в несколько этапов, что усложняет работу приложений в реальном времени.

В то же время такие модели, как YOLO11 , обрабатывают изображения за один проход, одновременно предсказывая границы объектов и маски сегментации экземпляров. Такой оптимизированный подход позволяет значительно ускорить процесс, сохраняя при этом высокую точность. В результате он особенно полезен для приложений реального времени, таких как автономное вождение, анализ видео и робототехника, где важны и скорость, и точность.

Пользовательское обучение YOLO11 для сегментации экземпляров

Из коробки YOLO11 поставляется как предварительно обученная модель. Она была обучена на наборе данныхCOCO, который охватывает повседневные объекты для сегментации экземпляров. Однако пакет Ultralytics Python поддерживает пользовательское обучение, которое необходимо для специализированных приложений, где требуется сегментировать уникальные объекты.

Почему важно пользовательское обучение или тонкая настройка модели? Пользовательское обучение использует трансферное обучение, опираясь на знания, уже встроенные в предварительно обученные модели. Вместо того чтобы начинать с нуля, оно адаптирует существующую модель к новым задачам, используя меньшие наборы данных и меньшее количество вычислительных ресурсов, сохраняя при этом высокую точность.

Как настроить обучение YOLO11

Вот более подробный обзор шагов, связанных с тонкой настройкой YOLO11 для сегментации: 

• Подготовка данных: Соберите и аннотируйте изображения в соответствии с вашими конкретными задачами. Ultralytics поддерживает несколько наборов данных изображений, но вы также можете проводить обучение на собственном наборе данных, подготовив изображения и аннотации в требуемом формате YOLO .
  ‍
• Использование предварительно обученной модели: Вместо того чтобы начинать с нуля, используйте предварительно обученную модель Ultralytics YOLO11 .
  ‍
• Обучение модели: Отрегулируйте основные параметры обучения, такие как размер пакета (количество изображений, обрабатываемых за итерацию), размер изображения (целевое входное разрешение) и количество эпох (общее количество циклов обучения), и обучите модель. 
  ‍
• Оценка производительности: После завершения обучения модели вы можете проверить ее точность с помощью таких показателей, как mAP. Пакет Ultralytics Python также содержит встроенные функции для оценки модели.

Приложения для сегментации экземпляров с помощью YOLO11

Instance segmentation может использоваться для решения реальных задач, помогая машинам видеть и понимать объекты более точно. От улучшения автоматизации до защиты окружающей среды, она играет ключевую роль во многих областях. Давайте рассмотрим несколько примеров того, где она оказывает влияние.

Безопасность и мониторинг строительных площадок с помощью YOLO11

Instance segmentation может быть критически важной частью обеспечения безопасности и эффективности на строительных площадках. Например, ее можно использовать для мониторинга тяжелой техники. 

YOLO11 может быть настроен на точную segment и идентификацию различных типов оборудования, таких как краны, экскаваторы и бульдозеры, и track их положения в режиме реального времени. Это позволяет руководителям объектов следить за тем, чтобы техника работала строго в пределах обозначенных зон и не вторгалась в зоны, где находятся рабочие или существуют опасности. 

Кроме того, интеграция таких решений с системами оповещения в режиме реального времени позволяет оперативно принимать корректирующие меры. Помимо этого, собранные данные могут помочь оптимизировать планировку площадки и рабочий процесс, что еще больше снижает риски и повышает производительность.

‍

Мониторинг животных с помощью сегментации и YOLO11

Мониторинг поведения животных помогает исследователям, фермерам и экологам лучше заботиться о животных в различных средах. Instance segmentation играет полезную роль в этих системах, идентифицируя и сегментируя отдельных животных на фермах, в зоопарках и в естественной среде обитания. В отличие от традиционного object detection, который использует ограничивающие рамки, instance segmentation обеспечивает разграничение каждого животного на уровне пикселей, что особенно полезно, когда животные находятся в непосредственной близости друг от друга.

Детальная сегментация облегчает более точное отслеживание движений и поведения. Перекрывающиеся или тесно сгруппированные животные могут быть четко распознаны, что обеспечивает более точный анализ взаимодействий, оценки состояния здоровья и моделей активности. В целом, более глубокое понимание поведения животных улучшает практику ухода за животными и управления ими.

‍

YOLO11 в области спортивной аналитики и отслеживания игроков

Точное отслеживание игроков и событий - огромная часть спортивного анализа. Традиционные методы отслеживания опираются на ручную маркировку, которая может не отражать детальные взаимодействия. Компьютерное зрение может быть использовано для segment деталей, таких как каждый игрок, мяч и ключевое событие на уровне пикселей, чтобы получить подробную информацию.

Например, сегментация экземпляров может помочь detect такие события, как фолы или инциденты за пределами мяча, четко разделяя каждого игрока и объект. Такой детальный мониторинг, обеспечиваемый моделями типа YOLO11 , дает аналитикам более четкую информацию, позволяющую с высокой точностью изучать модели движения, пространственного позиционирования и взаимодействий. Ключевое преимущество этих данных заключается в том, что они помогают командам совершенствовать свои стратегии и повышать общую производительность.

Плюсы и минусы instance segmentation

Вот некоторые из ключевых преимуществ, которые instance segmentation может принести различным отраслям:

• Улучшенная автоматизация: Автоматизируя такие задачи, как контроль качества и мониторинг безопасности, instance segmentation снижает потребность в ручном вмешательстве и минимизирует человеческие ошибки.
  ‍
• Улучшенное понимание сцены: Точно очерчивая каждый объект, instance segmentation способствует более глубокому пониманию сложных сцен, поддерживая принятие более обоснованных решений.
  ‍
• Эффективная постобработка: Вывод на уровне пикселей упрощает такие задачи, как удаление фона, подсчет объектов и пространственный анализ, уменьшая потребность в дополнительных этапах обработки.

Хотя эти преимущества подчеркивают, как instance segmentation влияет на различные варианты использования, также важно учитывать проблемы, связанные с ее внедрением. 

Вот некоторые из ключевых ограничений сегментации экземпляров:

• Проблемы с прозрачностью: Сегментация прозрачных или отражающих объектов, таких как стекло и вода, затруднена, что приводит к неточным границам.
  ‍
• Накладные расходы на обслуживание: Для поддержания точности и актуальности моделей необходимы постоянные обновления и тонкая настройка по мере изменения условий окружающей среды и наборов данных.
  ‍
• Высокие затраты на аннотацию: Обучение моделей сегментации экземпляров требует детальной аннотации на уровне пикселей, что значительно увеличивает время и стоимость подготовки данных.

Основные выводы

Сегментация экземпляров позволяет различать отдельные объекты с высокой точностью, даже когда они перекрываются. Захватывая границы объектов на уровне пикселей, она обеспечивает более глубокое понимание визуальных данных по сравнению с традиционными задачами компьютерного зрения, такими как обнаружение объектов.

Последние достижения в области компьютерного зрения позволили ускорить и упростить процесс сегментации экземпляров. В частности, модели компьютерного зрения, такие как Ultralytics YOLO11 , упрощают процесс, позволяя выполнять сегментацию в режиме реального времени с минимальными настройками, что делает ее более доступной для различных отраслей и приложений.

Интересуетесь искусственным интеллектом? Посетите наш репозиторий на GitHub и присоединяйтесь к нашему сообществу, чтобы продолжить изучение. Узнайте об инновациях, таких как искусственный интеллект в самоуправляемых автомобилях и Vision AI в сельском хозяйстве, на страницах наших решений. Ознакомьтесь с нашими вариантами лицензирования и начните свой проект в области компьютерного зрения!