Что такое сегментация экземпляров? Краткое руководство

Приложения компьютерного зрения становятся всё более распространёнными в нашей повседневной жизни: от дорожных камер, отслеживающих состояние дорог, до систем самообслуживания в магазинах. Благодаря тому, что машины могут понимать визуальные данные подобно людям, vision AI находит применение в самых разных отраслях.

Многие из этих приложений используют обнаружение объектов — задачу компьютерного зрения, которая размещает ограничивающие рамки вокруг ключевых объектов на изображениях. Хотя этот подход часто работает хорошо, некоторым решениям для анализа изображений требуется ещё более высокая точность.

Например, для анализа медицинских изображений недостаточно просто обнаружить опухоль — крайне важно точно очертить её форму. Аналогично, в робототехнике машинам необходимо распознавать точные контуры объекта, чтобы правильно захватить его. Сегментация экземпляров помогает решить эти задачи более точно.

Сегментация экземпляров — это задача компьютерного зрения, предназначенная для случаев, когда одного обнаружения объектов недостаточно: она обеспечивает точность на уровне пикселей. Модели компьютерного зрения, такие как Ultralytics YOLO11, можно легко использовать для сегментации экземпляров на изображениях и видео.

Рис. 1. Пример использования YOLO11 для сегментации экземпляров.

В этом руководстве мы разберём, как работает сегментация экземпляров, где она применяется и как выполнить дообучение Ultralytics YOLO11 для конкретных задач сегментации.

Что такое сегментация экземпляров?#

Представь групповую фотографию людей, стоящих близко друг к другу. Обнаружение объектов может помочь нарисовать рамки вокруг каждого человека, но не покажет его точную форму.

Сегментация экземпляров, напротив, похожа на аккуратное обведение каждого человека, благодаря чему виден его полный контур, даже если люди перекрывают друг друга. Вместо того чтобы просто отмечать расположение объекта рамкой, она определяет точную форму каждого объекта на уровне пикселей, облегчая понимание сложных изображений.

В результате создаётся подробная маска, заполняющая форму объекта и точно определяющая, какие пиксели ему принадлежат. Такая точность полезна во множестве реальных приложений, где важно понимать точную форму и границы объектов.

Рис. 2. Демонстрация поддержки сегментации экземпляров в Ultralytics YOLO11.

Сегментация экземпляров и семантическая сегментация#

Изучая сегментацию экземпляров, ты можешь столкнуться с понятием семантической сегментации.

Обе технологии помогают компьютерам понимать изображения на уровне пикселей, но предназначены для разных целей. Семантическая сегментация присваивает каждому пикселю метку на основе его категории, объединяя все объекты одного типа. Например, на изображении с несколькими автомобилями семантическая сегментация пометит их все как "car", не различая отдельные машины.

Сегментация экземпляров, напротив, идёт дальше и распознаёт каждый объект отдельно. Она присваивает уникальные метки отдельным экземплярам и создаёт точные маски вокруг их форм. Поэтому на том же изображении сегментация экземпляров не просто пометит всё как "car", а распознает и очертит каждый автомобиль отдельно.

Главное различие между ними заключается в том, что семантическая сегментация объединяет объекты по категориям, а сегментация экземпляров различает каждый объект как отдельную сущность с чёткими границами. Выбор задачи зависит от конкретного приложения: достаточно ли знать, что находится на изображении, или важно различать отдельные объекты.

Рис. 3. Сегментация экземпляров и семантическая сегментация (справа и слева соответственно).

Популярные модели сегментации экземпляров#

Сегодня сообществу vision AI доступно множество моделей сегментации экземпляров. Одни работают быстрее, другие обеспечивают более высокую точность, а третьи проще в использовании.

Эти варианты полезны, но могут вызвать вопрос: какую модель выбрать для конкретной задачи? Среди доступных вариантов модели Ultralytics YOLO довольно популярны, поскольку ориентированы на скорость и точность.

Кроме того, за эти годы такие модели значительно развились. Например, Ultralytics YOLOv5 упростила развёртывание с использованием таких фреймворков, как PyTorch, сделав передовые технологии vision AI доступными более широкой аудитории без необходимости обладать глубокими техническими знаниями.

Развивая этот успех, Ultralytics YOLOv8 улучшила поддержку задач компьютерного зрения, таких как сегментация экземпляров, оценка позы и классификация изображений.

Теперь Ultralytics YOLO11 выводит производительность на новый уровень. Она достигает более высокой средней точности (mAP) на наборе данных COCO, используя на 22% меньше параметров, чем YOLOv8m. Это означает, что модель может точнее распознавать объекты, используя меньше ресурсов.

Рис. 4. Сравнение YOLO11.

Проще говоря, Ultralytics YOLO11 обеспечивает точность уровня современных передовых моделей без ущерба для эффективности, что делает её прорывным решением в этой области.

Как работает сегментация экземпляров#

Теперь рассмотрим, как обычно работает сегментация экземпляров. Более старые модели компьютерного зрения используют двухэтапный подход.

Сначала они обнаруживают объекты, рисуя вокруг них ограничивающие рамки. Затем создают маску на уровне пикселей, очерчивая точную форму каждого объекта. Хорошо известный пример — Mask R-CNN: она расширяет модели обнаружения объектов, добавляя этап предсказания масок. Хотя этот метод эффективен, он может работать медленно, поскольку обрабатывает изображение в несколько этапов, что усложняет применение в реальном времени.

Модели вроде Ultralytics YOLO11 обрабатывают изображения за один проход, одновременно предсказывая ограничивающие рамки объектов и маски сегментации экземпляров. Такой оптимизированный подход значительно ускоряет работу, сохраняя высокую точность. Поэтому он особенно полезен для приложений реального времени, таких как автономное вождение, анализ видео и робототехника, где важны и скорость, и точность.

Дообучение Ultralytics YOLO11 для сегментации экземпляров#

Из коробки YOLO11 поставляется как предварительно обученная модель. Она обучена на наборе данных COCO-Seg, который охватывает повседневные объекты для сегментации экземпляров. Однако пакет Ultralytics Python поддерживает пользовательское обучение, что особенно важно для специализированных приложений, где нужно сегментировать уникальные объекты.

Почему важно выполнять пользовательское обучение или дообучение модели? Пользовательское обучение использует перенос обучения, опираясь на знания, уже заложенные в предварительно обученных моделях. Вместо обучения с нуля существующая модель адаптируется к новым задачам с использованием меньших наборов данных и меньших вычислительных ресурсов, сохраняя при этом высокую точность.

Как выполнить пользовательское обучение Ultralytics YOLO11#

Рассмотрим подробнее этапы дообучения Ultralytics YOLO11 для сегментации экземпляров:

• Подготовка данных: Собери и разметь изображения с учётом конкретного приложения. Ultralytics поддерживает несколько наборов данных изображений, но ты также можешь обучить модель на собственном наборе данных, подготовив изображения и аннотации в требуемом формате YOLO.
• Использование предварительно обученной модели: Вместо обучения с нуля используй предварительно обученную модель Ultralytics YOLO11.
• Обучение модели: Настрой важные параметры обучения, такие как размер пакета (количество изображений, обрабатываемых за одну итерацию), размер изображения (целевое разрешение входных данных) и количество эпох (общее число циклов обучения), а затем обучи модель.
• Оценка производительности: После завершения обучения модели ты можешь проверить её точность с помощью таких метрик производительности, как mAP. Пакет Ultralytics Python также предоставляет встроенные функции для оценки модели.

Приложения сегментации экземпляров на базе Ultralytics YOLO11#

Сегментация экземпляров помогает решать реальные задачи, позволяя машинам точнее видеть и понимать объекты. От улучшения автоматизации до защиты окружающей среды — она играет важную роль во многих областях. Рассмотрим несколько примеров её применения.

Безопасность и мониторинг строительных площадок с использованием Ultralytics YOLO11#

Сегментация экземпляров может играть ключевую роль в обеспечении безопасности и эффективности на строительных площадках. Например, её можно использовать для мониторинга тяжёлой техники.

Ultralytics YOLO11 можно дообучить для точной сегментации и идентификации различных типов оборудования, таких как краны, экскаваторы и бульдозеры, а также для отслеживания их положения в реальном времени. Это позволяет руководителям площадки контролировать, чтобы техника работала строго в обозначенных зонах и не заезжала на участки, где находятся рабочие или существуют опасности.

Кроме того, интеграция таких решений с системами оповещения в реальном времени позволяет быстро принимать корректирующие меры. Собранные данные также помогают оптимизировать планировку площадки и рабочие процессы, дополнительно снижая риски и повышая производительность.

Рис. 5. Мониторинг тяжёлой техники с использованием Ultralytics YOLO11.

Мониторинг животных с помощью сегментации и Ultralytics YOLO11#

Мониторинг поведения животных помогает исследователям, фермерам и специалистам по охране природы лучше заботиться о животных в разных условиях. Сегментация экземпляров играет важную роль в таких системах, идентифицируя и сегментируя отдельных животных на фермах, в зоопарках и естественной среде обитания. В отличие от традиционного обнаружения объектов с использованием ограничивающих рамок, сегментация экземпляров обеспечивает разграничение каждого животного на уровне пикселей, что особенно полезно, когда животные находятся близко друг к другу.

Подробная сегментация обеспечивает более точное отслеживание движений и поведения. Перекрывающихся или расположенных плотными группами животных можно чётко распознавать, что позволяет точнее анализировать взаимодействия, состояние здоровья и модели активности. В целом более глубокое понимание поведения животных улучшает практики ухода за ними и управления ими.

Рис. 6. Мониторинг крупного рогатого скота с использованием сегментации экземпляров.

Ultralytics YOLO11 в спортивной аналитике и отслеживании игроков#

Точное отслеживание игроков и событий — важная часть спортивной аналитики. Традиционные методы отслеживания основаны на ручной разметке, которая может не фиксировать подробные взаимодействия. Компьютерное зрение можно использовать для сегментации таких деталей, как каждый игрок, мяч и ключевое событие, на уровне пикселей, чтобы получать подробные сведения.

Например, сегментация экземпляров помогает обнаруживать такие события, как фолы или эпизоды без мяча, чётко разделяя игроков и объекты. Детальный мониторинг с помощью моделей вроде Ultralytics YOLO11 даёт аналитикам более ясную информацию для изучения моделей движения, пространственного положения и взаимодействий с высокой точностью. Важное преимущество этих данных заключается в том, что они помогают командам совершенствовать стратегии и повышать общую результативность.

Преимущества и недостатки сегментации экземпляров#

Вот некоторые ключевые преимущества, которые сегментация экземпляров может дать разным отраслям:

• Улучшенная автоматизация: Автоматизируя такие задачи, как контроль качества и мониторинг безопасности, сегментация экземпляров снижает потребность в ручном вмешательстве и минимизирует количество человеческих ошибок.
• Лучшее понимание сцены: Точно очерчивая каждый объект, сегментация экземпляров помогает глубже понимать сложные сцены и принимать более обоснованные решения.
• Эффективная постобработка: Результат на уровне пикселей упрощает такие задачи, как удаление фона, подсчёт объектов и пространственный анализ, уменьшая потребность в дополнительных этапах обработки.

Хотя эти преимущества показывают влияние сегментации экземпляров на различные варианты использования, важно также учитывать сложности её внедрения.

Вот некоторые ключевые ограничения сегментации экземпляров:

• Сложности с прозрачностью: Сегментация прозрачных или отражающих объектов, таких как стекло и вода, затруднена и приводит к неточным границам.
• Затраты на обслуживание: Чтобы модели оставались точными и актуальными, необходимы постоянные обновления и дообучение по мере изменения условий окружающей среды и наборов данных.
• Большой объём разметки: Обучение моделей сегментации экземпляров требует подробных аннотаций на уровне пикселей, что значительно увеличивает время и стоимость подготовки данных.

Основные выводы#

Сегментация экземпляров позволяет точно различать отдельные объекты, даже когда они перекрываются. Определяя границы объектов на уровне пикселей, она обеспечивает более глубокое понимание визуальных данных по сравнению с традиционными задачами компьютерного зрения, такими как обнаружение объектов.

Последние достижения в области компьютерного зрения сделали сегментацию экземпляров более быстрой и удобной. В частности, модели компьютерного зрения вроде Ultralytics YOLO11 упрощают этот процесс, обеспечивая сегментацию в реальном времени при минимальной настройке и делая её более доступной для различных отраслей и приложений.

Интересуешься AI? Посети наш репозиторий на GitHub и присоединяйся к нашему сообществу, чтобы продолжать изучение. Узнай об инновациях, таких как AI в беспилотных автомобилях и vision AI в сельском хозяйстве, на наших страницах решений. Ознакомься с вариантами лицензирования и начни работу над проектом компьютерного зрения!