Сегментация изображений

Сегментация изображений - это фундаментальная задача компьютерного зрения (КВ), которая заключается в разделении цифрового изображения на несколько отдельных областей или сегментов. Цель состоит в том, чтобы присвоить каждому пикселю изображения определенную метку, эффективно создавая карту объектов и фона на уровне пикселей. В отличие от других задач CV, в которых можно определить местоположение объекта с помощью простой рамки, сегментация изображения обеспечивает гораздо более детальное понимание, определяя точную форму каждого объекта. Такая детализация крайне важна для приложений, требующих глубокого понимания геометрии и композиции сцены. Этот процесс является основой для многих передовых приложений искусственного интеллекта.

Типы сегментации изображений

Сегментацию изображений можно разделить на три основных типа, каждый из которых обеспечивает различный уровень детализации и служит для разных целей:

• Семантическая сегментация: Эта техника относит каждый пиксель изображения к заранее определенной категории, например "автомобиль", "дорога" или "небо". Все экземпляры одного класса объектов группируются под одной меткой. Например, на изображении с несколькими автомобилями семантическая сегментация обозначит все пиксели, принадлежащие любому автомобилю, как просто "автомобиль", не отличая один автомобиль от другого.
• Сегментация экземпляров: Этот метод делает сегментацию еще одним шагом вперед, не только классифицируя каждый пиксель, но и различая отдельные экземпляры одного и того же класса. В той же уличной сцене сегментация по экземплярам идентифицирует каждый автомобиль как уникальный объект, назначая отдельную маску для "автомобиля 1", "автомобиля 2" и так далее. Это особенно полезно, когда необходимо подсчитать или отследить отдельные объекты.
• Паноптическая сегментация: Паноптическая сегментация, являясь гибридным подходом, сочетает в себе сильные стороны семантической сегментации и сегментации по экземплярам. Она направлена на создание полного и единого понимания сцены путем присвоения метки класса каждому пикселю (как при семантической сегментации) и одновременной уникальной идентификации каждого объекта (как при сегментации экземпляров). Это обеспечивает наиболее полный анализ сцены.

Чем сегментация изображений отличается от других задач, связанных с резюме

Важно отличать сегментацию изображений от других распространенных задач компьютерного зрения:

• Классификация изображений: Сосредоточена на присвоении одной метки всему изображению (например, "это фотография пляжа"). Он понимает, что находится на изображении, но не понимает, где.
• Обнаружение объектов: Идентифицирует и определяет местоположение объектов на изображении, обычно рисуя вокруг них ограничительную рамку. Это позволяет определить наличие объектов и их приблизительное расположение, но не их точную форму.
• Сегментация изображений: Обеспечивает наибольшую детализацию, определяя точную границу каждого объекта на уровне пикселей, что позволяет точно определить форму и местоположение объекта.

Приложения и примеры использования

Детальный результат сегментации изображений делает ее неоценимой во многих областях.

• Автономные транспортные средства: Для безопасной навигации самоуправляемым автомобилям необходимо точное понимание окружающей обстановки. Модели сегментации определяют точные границы дороги, полос движения, пешеходов, других транспортных средств и препятствий, что позволяет лучше планировать путь и принимать решения. Вы можете прочитать больше о роли ИИ в автомобильной промышленности.
• Анализ медицинских изображений: В здравоохранении сегментация используется для анализа медицинских снимков, таких как МРТ или КТ. Она позволяет точно определить контуры опухолей, органов или аномалий, помогая врачам в постановке точного диагноза, планировании хирургических операций и наблюдении за развитием болезни. Это ключевая область применения таких архитектур, как U-Net, которая отлично зарекомендовала себя в биомедицинских контекстах.
• Анализ спутниковых изображений: Модели сегментации обрабатывают спутниковые снимки для мониторинга изменений окружающей среды, таких как вырубка лесов или урбанизация. Они могут классифицировать почвенно-растительный покров (например, лес, вода, городские районы) и обнаруживать отдельные объекты, такие как здания или корабли, для картографии и сбора разведданных.
• Производство и робототехника: На автоматизированных заводах сегментация помогает роботам определять конкретные детали на конвейерной ленте для сборки или осуществлять контроль качества, обнаруживая дефекты с высокой точностью. Вы можете узнать больше о его использовании в сегментации трещин.

Сегментация изображений и ультралитература YOLO

Современные модели глубокого обучения, особенно основанные на конволюционных нейронных сетях (CNN), являются стандартом для сегментации изображений. Модели Ultralytics YOLO, включая YOLOv8 и новейшую YOLO11, обеспечивают высокопроизводительную сегментацию в режиме реального времени. Эти модели можно легко обучать на стандартных наборах данных, таких как COCO, или на пользовательских наборах данных для специализированных задач.

Фреймворк Ultralytics упрощает весь рабочий процесс, начиная с обучения модели и заканчивая проверкой ее производительности и развертыванием для выводов. В качестве практического руководства вы можете просмотреть учебники по сегментации изображений с помощью YOLO11 в Google Colab или узнать, как изолировать сегментированные объекты. Такие инструменты, как Ultralytics HUB, предлагают решение без кода для управления наборами данных, обучения моделей с использованием облачных ресурсов и их развертывания в реальных приложениях.