Image Segmentation

Сегментация изображений — это сложный метод в computer vision (CV), который заключается в разбиении цифрового изображения на несколько подгрупп пикселей, часто называемых сегментами изображения или областями. В отличие от стандартной image classification, которая присваивает единую метку всему изображению, сегментация анализирует визуальные данные на гораздо более детальном уровне, присваивая определенную метку класса каждому отдельному пикселю. Этот процесс создает точную карту на уровне пикселей, позволяя моделям artificial intelligence (AI) понимать не только то, какие объекты присутствуют, но и где именно они находятся иковы их конкретные границы.

Механика попиксельного анализа#

Для достижения такого высокоточного понимания модели сегментации обычно используют архитектуры deep learning (DL), в частности Convolutional Neural Networks (CNNs). Эти сети действуют как мощные экстракторы признаков, выявляя такие паттерны, как края, текстуры и сложные формы. Традиционные архитектуры сегментации, такие как классический U-Net, часто используют структуру энкодера-декодера. Энкодер сжимает входное изображение для захвата семантического контекста, в то время как декодер восстанавливает пространственные детали для вывода финальной segmentation mask.

Современные достижения привели к созданию архитектур реального времени, таких как YOLO26, выпущенная в январе 2026 года. Эти модели интегрируют возможности сегментации непосредственно в конвейер сквозной обработки, обеспечивая высокоскоростную обработку на различном оборудовании — от облачных GPUs до периферийных устройств.

Основные типы сегментации#

В зависимости от конкретной цели проекта разработчики обычно выбирают один из трех основных методов сегментации:

• Semantic Segmentation: Этот метод классифицирует пиксели на основе их категории, но не различает отдельные объекты одного и того же класса. Например, при satellite image analysis все пиксели, представляющие «лес», будут окрашены в зеленый цвет, рассматривая весь лес как единое целое.
• Instance Segmentation: Этот метод определяет и разделяет отдельные интересующие объекты. В оживленной уличной сцене сегментация экземпляров создаст уникальную маску для «Car A», «Car B» и «Pedestrian A», позволяя системам подсчитывать и отслеживать конкретные сущности. Это ключевая функция семейства моделей Ultralytics YOLO26.
• Panoptic Segmentation: Гибридный подход, объединяющий охват семантической сегментации с точностью сегментации экземпляров. Он присваивает метку каждому пикселю, выделяя аморфные фоновые элементы (такие как небо и дорога) и одновременно уникально идентифицируя учитываемые объекты переднего плана.

Отличие от обнаружения объектов#

Крайне важно отличать сегментацию от object detection. В то время как алгоритмы детектирования локализуют элементы с помощью прямоугольного bounding box, они неизбежно захватывают фоновые пиксели внутри этого бокса. Сегментация обеспечивает более точное представление, трассируя точный контур или полигон объекта. Это различие жизненно важно для таких приложений, как robotic grasping, где роборука должна знать точную геометрию предмета, чтобы манипулировать им без столкновений.

Реальные приложения#

Точность, обеспечиваемая сегментацией изображений, стимулирует инновации в самых разных отраслях:

• Медицинская диагностика: В области medical image analysis сегментация необходима для оконтуривания анатомических структур. Алгоритмы анализируют MRI scans для выделения опухолей или границ органов, позволяя хирургам рассчитывать точные объемы и планировать процедуры с жизненно важной точностью.
• Автономное вождение: Беспилотные транспортные средства полагаются на сегментацию для безопасной навигации. Обрабатывая видеопотоки, компьютер автомобиля может отличать drivable lanes от тротуаров и препятствий. Организации по стандартизации, такие как SAE International, определяют уровни автономности, которые требуют такого высокоточного восприятия окружающей среды.
• Точное земледелие: В AI in agriculture сегментация помогает робототехническим системам находить сорняки среди культур. Создавая маски для конкретных листьев растений, автоматизированные опрыскиватели могут воздействовать только на инвазивные виды, значительно снижая расход гербицидов.

Реализация сегментации с помощью Ultralytics YOLO26#

Разработчики могут эффективно реализовывать сегментацию экземпляров с помощью пакета ultralytics Python. В следующем примере используется современная YOLO26 model, оптимизированная как по скорости, так и по точности.

from ultralytics import YOLO

# Load a pre-trained YOLO26 segmentation model
# 'n' denotes the nano version, optimized for speed
model = YOLO("yolo26n-seg.pt")

# Run inference on an image to generate masks
# The model identifies objects and outlines their shape
results = model("https://ultralytics.com/images/bus.jpg")

# Display the image with segmentation overlays
results[0].show()

Для достижения высокой производительности в специализированных задачах командам часто требуется курировать высококачественные training data. Ultralytics Platform упрощает этот процесс, предоставляя инструменты для аннотирования изображений полигональными масками, управления наборами данных и обучения моделей в облаке, оптимизируя весь жизненный цикл machine learning operations (MLOps). Библиотеки вроде OpenCV также часто используются вместе с этими моделями для предварительной обработки изображений и постобработки полученных масок.