Сегментация изображений

Сегментация изображений - это основная техника в Компьютерное зрение (КЗ) предполагает разбиение цифрового изображения на множество подгрупп пикселей, обычно называемых сегментами изображения. Основная цель заключается в том, чтобы упростить представление изображения, превратив его в нечто более осмысленное и удобное для анализа. В отличие от обнаружения объектов, которые локализуются в пределах прямоугольного ограничительного поля, сегментация изображения обеспечивает точную карту формы объекта на уровне пикселей. Этот процесс присваивает метку каждому пикселю изображения, что позволяет модели искусственного интеллекта (ИИ) понять точные границы и контуры объектов в сцене.

Важность точности на уровне пикселей

Во многих современных рабочих процессах машинного обучения (ML) недостаточно знать приблизительное местоположение объекта. Приложения, требующие взаимодействия с физическим миром - например, робот, захватывающий пакет, или автомобиль, движущийся по извилистой дороге, - требуют детального понимания геометрии. Сегментация изображений устраняет этот пробел, преобразуя необработанные визуальные данные в набор классифицированных областей. Этот сайт Эта возможность обеспечивается передовыми архитектуры глубокого обучения (ГОО), в частности Конволюционные нейронные сети (CNN), которые извлекают пространственные характеристики, чтобы отличить объекты переднего плана от фона.

Типы сегментации изображений

Понимание конкретной задачи сегментации имеет решающее значение для выбора правильной архитектуры модели. Три основные категории:

• Семантическая сегментация: Этот метод рассматривает несколько объектов одной категории как единое целое. Например, на уличной сцене все пиксели, относящиеся к категории "дорога", окрашены в серый цвет, а все пиксели, относящиеся к категории "автомобиль", окрашены в синий цвет. При этом не делается различия между двумя разными автомобилями; просто определяется, что они оба являются транспортными средствами. Этот подход часто реализуется с помощью архитектур, подобных U-Net, изначально разработанной для сегментации биомедицинских изображений.
• Сегментация объектов: Эта методика идет дальше, определяя отдельные объекты. Если на изображении пять автомобилей, сегментация экземпляров создаст пять отдельных масок, что позволит системе подсчитывать и track каждый автомобиль независимо. Это основная задача, выполняемая Ultralytics YOLO11 модели сегментации, которые обеспечивают баланс скорость и точность для приложений, работающих в режиме реального времени.
• Паноптическое сегментирование: A Гибридный подход, объединяющий семантическую сегментацию и сегментацию по экземпляру. Он обеспечивает комплексное понимание сцены путем присваивая каждому пикселю метку класса (фоновый материал, например небо и дорога) и одновременно однозначно идентифицируя поддающиеся подсчету объектов (например, людей и автомобилей).

Применение в реальном мире

Возможность очертить точные границы делает сегментацию незаменимой в различных отраслях:

• Анализ медицинских изображений: Сегментация крайне важна в здравоохранении для анализа таких снимков, как МРТ или КТ изображения. Точно выделяя опухоли, органы или повреждения, модели ИИ помогают радиологам в диагностике и планировании хирургического вмешательства. планировании. Например, определение точного объема опухоли мозга позволяет проводить более целенаправленную лучевую терапию, минимизируя повреждение здоровых тканей.
• Автономные транспортные средства: Для безопасной навигации самоуправляемые автомобили в значительной степени полагаются на сегментацию. Модели обрабатывают видеоизображения, чтобы определить полос движения, тротуаров, пешеходов и препятствий. Такие организации, как SAE International, определяют уровни автономности, которые требуют такого детального восприятия окружающей среды для принятия решений в доли секунды.
• Точное земледелие: На сайте ИИ в сельском хозяйстве, сегментация помогает в отслеживать состояние посевов. Дроны, оснащенные мультиспектральными камерами, могут segment поля, чтобы выявить зарастание сорняками или недостаток питательных веществ по каждому листу, что позволяет целенаправленно применять гербициды.

Техническая реализация с помощью YOLO

Современные фреймворки упростили реализацию задач сегментации. В то время как старые двухэтапные детекторы, такие как Маска R-CNN были точными, но медленными, то одноэтапные модели произвели революцию в этой области, предложив вывод в реальном времени. Сайт Ultralytics YOLO11 например, поддерживает сегментацию экземпляров. Перспективы на будущее, YOLO26 разрабатывается для дальнейшей оптимизации этих возможности сквозной обработки.

Разработчики могут использовать стандартные библиотеки, такие как OpenCV для предварительной обработки и визуализации, при этом используя PyTorch на основе фреймворков PyTorch для вывода модели.

Вот краткий пример того, как выполнить сегментацию экземпляров с помощью предварительно обученной модели YOLO11 на языке Python:

from ultralytics import YOLO

# Load a pre-trained YOLO11 segmentation model
model = YOLO("yolo11n-seg.pt")

# Run inference on an image (can be a local path or URL)
results = model("https://ultralytics.com/images/bus.jpg")

# Display the resulting image with segmentation masks overlaid
results[0].show()

Этот фрагмент кода автоматически решает сложные задачи извлечения признаков, регрессии ограничительных рамок и создания масок позволяя разработчикам сосредоточиться на интеграции интегрировать результаты сегментации в свои более крупные приложения.