Сегментация изображений

Сегментация изображений — это фундаментальная задача компьютерного зрения (CV), которая включает в себя разделение цифрового изображения на несколько отдельных областей или сегментов. Цель состоит в том, чтобы присвоить определенную метку каждому пикселю на изображении, эффективно создавая карту объектов и фона на уровне пикселей. В отличие от других задач CV, которые могут идентифицировать местоположение объекта с помощью простого прямоугольника, сегментация изображений обеспечивает гораздо более детальное понимание, очерчивая точную форму каждого объекта. Эта детальная информация имеет решающее значение для приложений, требующих глубокого понимания геометрии и композиции сцены. Этот процесс является основой для многих передовых приложений ИИ.

Типы сегментации изображений

Сегментацию изображений можно разделить на три основных типа, каждый из которых предлагает различный уровень детализации и служит различным целям:

• Семантическая сегментация: Этот метод классифицирует каждый пиксель на изображении в предопределенную категорию, такую как «автомобиль», «дорога» или «небо». Все экземпляры одного и того же класса объектов группируются под одной меткой. Например, на изображении с несколькими автомобилями семантическая сегментация пометит все пиксели, принадлежащие любому автомобилю, просто как «автомобиль», не различая один автомобиль от другого.
• Сегментация экземпляров: Этот метод идет еще дальше в сегментации, не только классифицируя каждый пиксель, но и различая отдельные экземпляры одного и того же класса. В той же уличной сцене сегментация экземпляров идентифицирует каждый автомобиль как уникальный объект, присваивая отдельную маску "автомобилю 1", "автомобилю 2" и так далее. Это особенно полезно, когда необходимо подсчитывать или отслеживать отдельные объекты.
• Паноптическая сегментация: Паноптическая сегментация, как гибридный подход, сочетает в себе сильные стороны семантической сегментации и сегментации экземпляров. Она направлена на создание полного и унифицированного понимания сцены путем присвоения метки класса каждому отдельному пикселю (как семантическая сегментация), а также уникальной идентификации каждого экземпляра объекта (как сегментация экземпляров). Это обеспечивает наиболее полный доступный анализ сцены.

Чем сегментация изображений отличается от других задач компьютерного зрения?

Важно отличать сегментацию изображений от других распространенных задач компьютерного зрения:

• Классификация изображений: Сосредоточена на присвоении одной метки всему изображению (например, "это фотография пляжа"). Она понимает, что находится на изображении, но не где.
• Обнаружение объектов: Идентифицирует и определяет местоположение объектов на изображении, обычно рисуя ограничивающую рамку вокруг них. Он сообщает вам, какие объекты присутствуют и их приблизительное местоположение, но не их точную форму.
• Сегментация изображений: Предоставляет наиболее подробную информацию, очерчивая точную границу каждого объекта на уровне пикселей, предлагая точное понимание формы и местоположения объекта.

Приложения и варианты использования

Подробные выходные данные сегментации изображений делают ее бесценной во многих областях.

• Autonomous Vehicles (Автономные транспортные средства): Чтобы самоуправляемые автомобили могли безопасно перемещаться, им необходимо точное понимание окружающей среды. Модели сегментации определяют точные границы дороги, полос движения, пешеходов, других транспортных средств и препятствий, что позволяет улучшить планирование маршрута и принятие решений. Вы можете узнать больше о роли ИИ в автомобильной промышленности.
• Анализ медицинских изображений: В здравоохранении сегментация используется для анализа медицинских сканов, таких как МРТ или КТ-сканы. Она может точно очерчивать опухоли, органы или аномалии, помогая врачам в точной диагностике, планировании операций и мониторинге прогрессирования заболевания. Это было ключевым применением для архитектур, таких как U-Net, которая превосходно справляется с задачами в биомедицинском контексте.
• Анализ спутниковых изображений: Модели сегментации обрабатывают спутниковые снимки для мониторинга изменений окружающей среды, таких как вырубка лесов или урбанизация. Они могут классифицировать земельное покрытие (например, лес, вода, городские районы) и обнаруживать отдельные объекты, такие как здания или корабли, для картографии и сбора разведывательной информации.
• Производство и робототехника: На автоматизированных заводах сегментация помогает роботам идентифицировать конкретные детали на конвейерной ленте для сборки или выполнять контроль качества, обнаруживая дефекты с высокой точностью. Вы можете узнать больше о его использовании в сегментации трещин.

Сегментация изображений и Ultralytics YOLO

Современные модели глубокого обучения, особенно те, которые основаны на сверточных нейронных сетях (CNN), являются стандартом для сегментации изображений. Модели Ultralytics YOLO, включая YOLOv8 и новейшую YOLO11, обеспечивают высокую производительность и возможности сегментации в реальном времени. Эти модели можно легко обучать на стандартных наборах данных, таких как COCO, или на пользовательских наборах данных для специализированных задач.

Фреймворк Ultralytics упрощает весь рабочий процесс, от обучения модели до валидации ее производительности и развертывания для инференса. Для практического руководства вы можете следовать учебным пособиям по сегментации изображений с помощью YOLO11 на Google Colab или узнать, как изолировать сегментированные объекты. Такие инструменты, как Ultralytics HUB, предлагают решение без кода для управления наборами данных, обучения моделей с использованием облачных ресурсов и развертывания их в реальных приложениях.