Что такое сегментация экземпляров? Краткое руководство

Приложения компьютерного зрения всё чаще встречаются в повседневной жизни: от камер, следящих за состоянием дорог, до систем самостоятельной оплаты в магазинах. Позволяя машинам понимать визуальные данные подобно людям, визуальный ИИ влияет на самые разные отрасли.

Многие из этих приложений используют обнаружение объектов — задачу компьютерного зрения, которая обводит ключевые объекты на изображениях ограничивающими рамками. Хотя такой подход часто хорошо работает, для некоторых решений по анализу изображений нужна ещё большая точность.

Например, при анализе медицинских изображений недостаточно просто обнаружить опухоль — важно точно очертить её форму. Точно так же в робототехнике машинам нужно распознавать точные контуры объекта, чтобы правильно его захватить. Решить эти задачи позволяет более точный подход — сегментация экземпляров.

Сегментация экземпляров — это задача компьютерного зрения, предназначенная для случаев, когда обнаружения объектов недостаточно: она обеспечивает точность на уровне пикселей. Модели компьютерного зрения, такие как Ultralytics YOLO11, позволяют легко выполнять сегментацию экземпляров на изображениях и видео.

Рис. 1. Пример сегментации экземпляров с помощью YOLO11.

В этом руководстве мы разберём, как работает сегментация экземпляров, где она применяется и как настроить Ultralytics YOLO11 для решения конкретных задач сегментации.

Что такое сегментация экземпляров?#

Представь групповое фото, на котором люди стоят близко друг к другу. Обнаружение объектов поможет обвести рамками каждого человека, но точную форму людей оно не покажет.

Сегментация экземпляров, напротив, похожа на тщательное обведение каждого человека, позволяющее увидеть его целиком, даже если люди перекрывают друг друга. Вместо того чтобы просто отметить рамкой местоположение объекта, она определяет точную форму каждого объекта на уровне пикселей, упрощая анализ сложных изображений.

В результате получается подробная маска, заполняющая форму объекта и точно указывающая, какие пиксели ему принадлежат. Такая точность полезна во многих реальных приложениях, где важно понимать точную форму и границы объектов.

Рис. 2. Поддержка сегментации экземпляров в Ultralytics YOLO11.

Сегментация экземпляров и семантическая сегментация#

Изучая сегментацию экземпляров, ты можешь встретить понятие семантической сегментации.

Оба метода помогают компьютерам анализировать изображения на уровне пикселей, но служат разным целям. Семантическая сегментация присваивает каждому пикселю метку в соответствии с его категорией, объединяя все объекты одного типа. Например, на изображении с несколькими автомобилями семантическая сегментация пометит все автомобили как «автомобиль», не различая отдельные машины.

Сегментация экземпляров, напротив, идёт дальше и определяет каждый объект по отдельности. Она присваивает уникальные метки отдельным экземплярам и создаёт точные маски по их контурам. Поэтому на том же изображении сегментация экземпляров не просто пометит всё как «автомобиль», а распознает и очертит каждую машину отдельно.

Главное различие между этими методами в том, что семантическая сегментация объединяет объекты по категориям, а сегментация экземпляров различает каждый объект как отдельную сущность с чёткими границами. Выбор задачи зависит от конкретного приложения: достаточно ли знать, что изображено, или важно различать отдельные объекты.

Чтобы понять, какая задача подходит твоему проекту, смотри сравнение семантической сегментации и сегментации экземпляров и руководство по выбору.

Рис. 3. Сегментация экземпляров и семантическая сегментация (соответственно справа и слева).

Популярные модели сегментации экземпляров#

Сегодня сообществу разработчиков ИИ в области компьютерного зрения доступно множество моделей сегментации экземпляров. Одни работают быстрее, другие точнее, а некоторые проще в использовании.

Хотя эти варианты полезны, возникает вопрос, какой из них подходит для конкретной задачи. Среди доступных решений довольно популярны модели Ultralytics YOLO, ориентированные на скорость и точность.

Кроме того, за прошедшие годы эти модели значительно развились. Например, Ultralytics YOLOv5 упростила развёртывание с помощью таких фреймворков, как PyTorch, благодаря чему передовые технологии ИИ в области компьютерного зрения стали доступнее широкой аудитории без глубоких технических знаний.

Продолжая этот успех, Ultralytics YOLOv8 расширила поддержку задач компьютерного зрения, таких как сегментация экземпляров, оценка позы и классификация изображений.

Ultralytics YOLO11 (которую сменила Ultralytics YOLO26) подняла производительность на новый уровень. Она обеспечивает более высокую среднюю точность (mAP) на наборе данных COCO, используя на 22% меньше параметров, чем YOLOv8m, то есть распознает объекты точнее при меньших затратах ресурсов.

Рис. 4. Сравнение производительности YOLO11.

Проще говоря, Ultralytics YOLO11 обеспечивает точность на уровне передовых моделей без ущерба для эффективности.

Как работает сегментация экземпляров#

Далее рассмотрим, как обычно работает сегментация экземпляров. В старых моделях компьютерного зрения используется двухэтапный подход.

Сначала они обнаруживают объекты, обводя их ограничивающими рамками. Затем создают маску на уровне пикселей, точно очерчивающую форму каждого объекта. Известный пример — Mask R-CNN, расширяющая модели обнаружения объектов за счет этапа предсказания маски. Этот метод эффективен, но может работать медленно, поскольку изображение обрабатывается в несколько этапов, что затрудняет применение в системах реального времени.

Между тем модели вроде Ultralytics YOLO11 обрабатывают изображения за один проход, одновременно предсказывая ограничивающие рамки объектов и маски сегментации экземпляров. Такой оптимизированный подход значительно ускоряет работу, сохраняя высокую точность. Поэтому модель особенно полезна для приложений реального времени, таких как автономное вождение, анализ видео и робототехника, где важны и скорость, и точность.

Настройка Ultralytics YOLO11 для сегментации экземпляров#

Сразу после установки YOLO11 доступна в виде предобученной модели. Она обучена на наборе данных COCO-Seg, содержащем повседневные объекты для сегментации экземпляров. Однако пакет Ultralytics для Python поддерживает обучение на пользовательских данных, что необходимо для специализированных приложений, в которых требуется сегментировать уникальные объекты.

Зачем нужно пользовательское обучение или дообучение модели? Пользовательское обучение использует трансферное обучение, опираясь на знания, уже заложенные в предварительно обученных моделях. Вместо обучения с нуля существующая модель адаптируется к новым задачам с помощью меньших наборов данных и меньших вычислительных ресурсов, сохраняя при этом высокую точность.

Как настроить Ultralytics YOLO11#

Вот подробнее о шагах дообучения Ultralytics YOLO11 для сегментации экземпляров:

• Подготовка данных: Собери и аннотируй изображения с учётом конкретного приложения. Ultralytics поддерживает множество наборов данных изображений, но ты также можешь обучать модель на собственном наборе данных, подготовив изображения и аннотации в требуемом формате YOLO.
• Использование предварительно обученной модели: Вместо обучения с нуля используй предварительно обученную модель Ultralytics YOLO11.
• Обучение модели: Настрой основные параметры обучения, такие как размер пакета (число изображений, обрабатываемых за одну итерацию), размер изображения (целевое разрешение входных данных) и число эпох (общее количество циклов обучения), а затем обучи модель.
• Оценка производительности: После завершения обучения проверь точность модели с помощью таких метрик производительности, как mAP. Пакет Ultralytics для Python также предоставляет встроенные функции для оценки модели.

Применение сегментации экземпляров с помощью Ultralytics YOLO11#

Сегментация экземпляров помогает машинам точнее видеть и понимать объекты, а значит, решать реальные задачи. Она играет важную роль во многих областях — от улучшения автоматизации до защиты окружающей среды. Рассмотрим несколько примеров её практического применения.

Безопасность и мониторинг строительных площадок с помощью Ultralytics YOLO11#

Сегментация экземпляров может быть важной частью обеспечения безопасности и эффективности на строительных площадках. Например, её можно использовать для мониторинга тяжёлой техники.

Ultralytics YOLO11 можно дообучить для точной сегментации и распознавания разных видов техники, например кранов, экскаваторов и бульдозеров, а также отслеживания их местоположения в реальном времени. Это позволяет руководителям площадки следить за тем, чтобы техника работала строго в отведённых зонах и не заезжала туда, где находятся рабочие или есть опасность.

Кроме того, интеграция таких решений с системами оповещения в реальном времени позволяет быстро принимать корректирующие меры. Собранные данные также помогают оптимизировать планировку площадки и рабочие процессы, дополнительно снижая риски и повышая производительность.

Рис. 5. Мониторинг тяжёлой техники с помощью Ultralytics YOLO11.

Мониторинг животных с помощью сегментации и Ultralytics YOLO11#

Мониторинг поведения животных помогает исследователям, фермерам и специалистам по охране природы лучше заботиться о животных в разных условиях. Сегментация экземпляров играет важную роль в таких системах: она распознаёт и сегментирует отдельных животных на фермах, в зоопарках и естественной среде обитания. В отличие от традиционного обнаружения объектов с ограничивающими рамками, сегментация экземпляров очерчивает каждое животное на уровне пикселей, что особенно полезно, когда животные находятся близко друг к другу.

Детальная сегментация помогает точнее отслеживать движения и поведение. Животных, которые перекрывают друг друга или находятся близко друг к другу, можно различать, что позволяет точнее анализировать их взаимодействия, состояние здоровья и характер активности. Более глубокое понимание поведения животных в целом улучшает уход за ними и управление их содержанием.

Рис. 6. Мониторинг крупного рогатого скота с помощью сегментации экземпляров.

Ultralytics YOLO11 для спортивной аналитики и отслеживания игроков#

Точное отслеживание игроков и событий играет огромную роль в спортивной аналитике. Традиционные методы отслеживания опираются на ручную разметку, которая может не учитывать подробные взаимодействия. Компьютерное зрение позволяет сегментировать на уровне пикселей такие объекты, как каждый игрок и мяч, а также ключевые события, чтобы получать подробную информацию.

Например, сегментация экземпляров помогает обнаруживать такие события, как фолы и эпизоды без мяча, чётко отделяя каждого игрока и объект. Благодаря моделям вроде Ultralytics YOLO11 такой детальный мониторинг даёт аналитикам более точные сведения для изучения моделей движения, положения игроков на поле и взаимодействий. Эти данные помогают командам совершенствовать стратегию и повышать общую результативность.

Преимущества и недостатки сегментации экземпляров#

Вот некоторые ключевые преимущества сегментации экземпляров для различных отраслей:

• Улучшение автоматизации: Автоматизируя такие задачи, как контроль качества и мониторинг безопасности, сегментация экземпляров сокращает необходимость ручного вмешательства и снижает вероятность человеческой ошибки.
• Более глубокое понимание сцены: Точно очерчивая каждый объект, сегментация экземпляров помогает лучше понимать сложные сцены и принимать более обоснованные решения.
• Упрощение постобработки: Результаты на уровне пикселей упрощают такие задачи, как удаление фона, подсчёт объектов и пространственный анализ, сокращая количество дополнительных этапов обработки.

Хотя эти преимущества показывают, как сегментация экземпляров помогает решать разные задачи, важно также учитывать сложности её внедрения.

Вот некоторые ключевые ограничения сегментации экземпляров:

• Сложности с прозрачными объектами: Сегментировать прозрачные и отражающие объекты, например стекло и воду, трудно, поэтому их границы могут определяться неточно.
• Затраты на поддержку: Чтобы модели оставались точными и актуальными, их нужно постоянно обновлять и дообучать по мере изменения условий среды и наборов данных.
• Высокие трудозатраты на аннотирование: Для обучения моделей сегментации экземпляров нужны подробные аннотации на уровне пикселей, что значительно увеличивает время и стоимость подготовки данных.

Главные выводы#

Сегментация экземпляров позволяет точно различать отдельные объекты, даже если они перекрывают друг друга. Определяя границы объектов на уровне пикселей, она обеспечивает более глубокое понимание визуальных данных, чем традиционные задачи компьютерного зрения, например обнаружение объектов.

Последние достижения в области компьютерного зрения ускорили сегментацию экземпляров и упростили её использование. В частности, модели компьютерного зрения, такие как Ultralytics YOLO11, упрощают этот процесс и позволяют выполнять сегментацию в реальном времени с минимальной настройкой, делая её доступнее для разных отраслей и приложений.

Интересуешься ИИ? Загляни в наш репозиторий на GitHub и присоединяйся к нашему сообществу, чтобы продолжать узнавать новое. На страницах решений ты найдёшь информацию о таких инновациях, как ИИ в беспилотных автомобилях и ИИ для компьютерного зрения в сельском хозяйстве. Ознакомься с вариантами лицензирования и начни свой проект в области компьютерного зрения!