Сегментация экземпляров

Сегментация объектов - это сложная техника компьютерного зрения (CV), которая идентифицирует, локализует и очерчивает отдельные объекты на изображении на уровне пикселей. В отличие от обнаружения объектов, которое приближенно определяет их местоположение объекта с помощью прямоугольного ограничительного поля, экземпляр сегментация генерирует точную маску, которая описывает точную форму каждого отдельного объекта. Такой уровень детализации позволяет системам различать несколько экземпляров одного и того же класса - например, отделять два пересекающихся автомобиля или отдельных людей в толпе. например, разделить два пересекающихся автомобиля или отдельных людей в толпе, что делает ее важнейшим компонентом передового искусственного интеллекта (ИИ) приложений.

Отличие от смежных задач

Чтобы полностью понять сегментацию экземпляров, полезно сравнить ее с другими фундаментальными задачами задачами компьютерного зрения:

• Семантическая сегментация: Эта задача классифицирует каждый пиксель на изображении в определенную категорию (например, "небо", "дорога", "человек"), но не выделяет отдельные объекты. "человек"), но не различает отдельные объекты. Все пиксели, принадлежащие к классу "автомобиль", группируются вместе, что означает невозможность отличить один автомобиль от другого.
• Обнаружение объекта: Эта задача определяет наличие и расположение объектов, заключая их в ограничительные рамки. Хотя она различает между отдельными экземплярами (например, автомобиль A против автомобиля B), она не фиксирует их форму или границы.
• Паноптическое сегментирование: Она сочетает в себе лучшее из двух миров, присваивая каждому пикселю метку класса (семантическую) и в то же время однозначно идентификации отдельных экземпляров объектов (экземпляр), обеспечивая комплексное понимание сцены.

Сегментация экземпляров эффективно объединяет локализационные возможности обнаружения объектов с точностью до пикселя точностью семантической сегментации на уровне пикселей.

Как это работает

Модели сегментации экземпляров обычно используют архитектуры глубокого обучения (DL), в частности Конволюционные нейронные сети (CNN) для извлечения признаков из изображения. Этот процесс обычно включает два параллельных этапа:

1. Локализация: Модель предсказывает класс и координаты ограничительной рамки для каждого объекта.
2. Генерация маски: Одновременно модель предсказывает бинарную маску в пределах обнаруженной области, определяя, какие именно пиксели принадлежат объекту.

В ранних подходах, таких как R-CNN Маска, использовался двухэтапный процесс, сначала генерирования предложений регионов, а затем их уточнения. Современные архитектуры, такие как Ultralytics YOLO11совершили революцию, выполнив обнаружения и сегментации на одном этапе. Это позволяет в режиме реального времени, что позволяет segment объекты в живых видеопотоках с высокой скоростью и точностью.

Применение в реальном мире

Точное определение границ, обеспечиваемое сегментацией экземпляров, незаменимо в различных отраслях промышленности:

• Анализ медицинских изображений: В здравоохранении очень важно определить точный объем и форму аномалий. Сегментация изображений используется для очерчивания опухолей на снимках МРТ или подсчета отдельных клеток при микроскопии, что помогает в постановке точного диагноза и планировании лечения.
• Автономные транспортные средства: Самоуправляемые автомобили используют эту технологию для понимания сложных дорожных сцен. Благодаря обучению на таких наборах данных, как Cityscapes, автомобили могут различать дорожные покрытия, пригодные для движения поверхности, пешеходов и другие транспортные средства, обеспечивая безопасную навигацию даже в условиях большого скопления людей.
• Точное земледелие: Фермеры используют сегментацию для контроля состояния посевов. Роботы, оснащенные системами технического зрения, могут идентифицировать отдельные сорняки среди посевов для целенаправленного применения гербицидов или направлять роботизированные руки для сбора фруктов, например клубники, распознавая их точные контуры. распознавая их точные контуры.
• Робототехника: Чтобы робот мог взаимодействовать с окружающей средой, например, взять определенный предмет из корзины, он должен понимать ориентацию и форму объекта. Сегментация объектов предоставляет геометрические данные, необходимые для успешного манипулирования.

Реализация сегментации экземпляров

Разработчики могут легко реализовать сегментацию экземпляров с помощью ultralytics Пакет Python . Библиотека поддерживает YOLO11 модели, предварительно обученные на Набор данных COCOкоторый способен detect и segment 80 распространенных категорий объектов. из коробки.

Вот краткий пример того, как загрузить модель и выполнить сегментацию изображения:

from ultralytics import YOLO

# Load a pre-trained YOLO11 instance segmentation model
model = YOLO("yolo11n-seg.pt")

# Run inference on an image
# The model predicts classes, boxes, and masks simultaneously
results = model.predict("https://ultralytics.com/images/bus.jpg")

# Visualize the results with masks plotted
results[0].show()

Для пользователей, желающих применить эту технологию к своим собственным данным, фреймворк поддерживает обучение на пользовательских наборах данных, что позволяет модели изучать новые классы, специфичные для конкретных приложений.