Сегментация экземпляров

Сегментация экземпляров — это продвинутая задача компьютерного зрения (CV), которая идентифицирует и разграничивает отдельные объекты на изображении на уровне пикселей. В отличие от других задач компьютерного зрения, она не просто классифицирует изображение или рисует ограничивающий прямоугольник вокруг объектов; вместо этого она генерирует точную пиксельную маску для каждого отдельного экземпляра объекта. Этот метод обеспечивает гораздо более глубокое понимание сцены, поскольку позволяет различать перекрывающиеся объекты одного и того же класса.

Сегментация экземпляров в сравнении с семантической сегментацией и обнаружением объектов

Важно отличать сегментацию экземпляров от других связанных задач компьютерного зрения.

• Детекция объектов: Эта задача определяет наличие и местоположение объектов, обычно рисуя вокруг них прямоугольные ограничивающие рамки и присваивая метку класса. Она отвечает на вопрос: «Что находится на изображении и где оно находится?», но не предоставляет информацию о форме.
• Семантическая сегментация: Эта задача классифицирует каждый пиксель изображения в определенную категорию. Например, она пометит все пиксели, относящиеся к автомобилям, как "автомобиль", но не будет различать два разных автомобиля на изображении. Она отвечает на вопрос: "К какой категории относится каждый пиксель?"
• Сегментация экземпляров: Это сочетает в себе возможности обнаружения объектов и семантической сегментации. Она обнаруживает каждый экземпляр объекта и генерирует для него уникальную маску сегментации. На изображении с тремя автомобилями сегментация экземпляров выведет три отдельные маски, каждая из которых соответствует определенному автомобилю.
• Паноптическая сегментация: Это наиболее полная из задач сегментации, объединяющая семантическую сегментацию и сегментацию экземпляров. Она присваивает каждому пикселю метку класса и уникальный идентификатор экземпляра, обеспечивая полное, унифицированное понимание сцены.

Как работает сегментация экземпляров

Модели сегментации экземпляров обычно выполняют две основные функции: во-первых, они обнаруживают все экземпляры объектов на изображении, а во-вторых, они генерируют маску сегментации для каждого обнаруженного экземпляра. Этот процесс получил широкую известность благодаря таким архитектурам, как Mask R-CNN, которая расширяет детекторы объектов, такие как Faster R-CNN, путем добавления параллельной ветви, которая предсказывает бинарную маску для каждой области интереса. Современные модели еще больше усовершенствовали этот процесс для повышения скорости и точности, обеспечивая вывод в реальном времени во многих приложениях. Разработка часто опирается на мощные фреймворки глубокого обучения, такие как PyTorch и TensorFlow.

Применение в реальном мире

Подробные контуры объектов, предоставляемые сегментацией экземпляров, ценны во многих областях.

• Автономные транспортные средства: Самоуправляемые автомобили используют сегментацию экземпляров для точного определения формы и местоположения отдельных пешеходов, транспортных средств и велосипедистов. Эта детальная информация имеет решающее значение для безопасной навигации и планирования маршрута, особенно в сложных городских условиях с большим количеством перекрывающихся объектов. Наборы данных, такие как Cityscapes, сыграли важную роль в продвижении этой области.
• Анализ медицинских изображений: В радиологии сегментация экземпляров используется для точного выделения опухолей, поражений и органов на КТ или МРТ. Это помогает врачам измерять размер опухоли, планировать операции и контролировать эффективность лечения. Вы можете узнать больше об этом в нашей статье в блоге об использовании YOLO11 для обнаружения опухолей.
• Робототехника: Роботы используют сегментацию экземпляров, чтобы понимать свое окружение, идентифицировать конкретные объекты для захвата и избегать препятствий с большей точностью. Это имеет решающее значение для задач в производстве и логистике.
• Анализ спутниковых снимков: Этот метод используется для подсчета отдельных деревьев в лесу, нанесения на карту зданий в городе или отслеживания изменений в землепользовании с течением времени с помощью данных от таких организаций, как NASA.
• Сельское хозяйство: Может использоваться для идентификации и подсчета отдельных плодов для оценки урожайности или для обнаружения конкретных сорняков для целенаправленного применения гербицидов, что является ключевой частью точного земледелия.

Сегментация экземпляров с Ultralytics YOLO

Ultralytics предоставляет современные модели, способные эффективно выполнять сегментацию экземпляров. Такие модели, как YOLOv8 и новейшая YOLO11, разработаны для обеспечения высокой производительности в различных задачах компьютерного зрения, включая сегментацию экземпляров. Более подробную информацию можно найти в нашей документации по задаче сегментации. Пользователи могут использовать предварительно обученные модели или выполнять тонкую настройку на пользовательских наборах данных, таких как COCO, с помощью таких инструментов, как платформа Ultralytics HUB, которая упрощает рабочий процесс машинного обучения (ML) от управления данными до развертывания моделей. Для практической реализации доступны такие ресурсы, как наш учебник по сегментации с использованием предварительно обученных моделей Ultralytics YOLOv8 или наше руководство по изоляции объектов сегментации. Вы также можете узнать, как использовать Ultralytics YOLO11 для сегментации экземпляров.