Instance Segmentation

Сегментация экземпляров — это сложный метод в компьютерном зрении (CV), который идентифицирует и очерчивает каждый отдельный объект интереса на изображении на уровне пикселей. В то время как стандартное обнаружение объектов локализует элементы с помощью прямоугольных ограничивающих рамок (bounding boxes), сегментация экземпляров углубляет анализ за счет создания точной маски для каждого обнаруженного объекта. Эта возможность позволяет моделям искусственного интеллекта (AI) различать отдельные объекты одного класса — например, разделять двух перекрывающихся людей — обеспечивая более богатое и детальное понимание визуальной сцены по сравнению с более простыми методами классификации.

Link to this sectionРазличие типов сегментации#

Чтобы полностью понять полезность сегментации экземпляров, полезно отличать ее от других связанных задач обработки изображений. Каждый метод предлагает разный уровень детализации в зависимости от требований приложения.

• Семантическая сегментация: Этот подход классифицирует каждый пиксель на изображении по категориям (например, "дорога", "небо", "автомобиль"). Однако он не различает отдельные объекты одной и той же категории. Если три автомобиля припаркованы рядом, семантическая сегментация рассматривает их как одну общую область "автомобиль".
• Сегментация экземпляров: Этот метод рассматривает каждый объект как уникальную сущность. Он обнаруживает отдельные экземпляры и присваивает уникальную метку пикселям каждого из них. В примере с припаркованными автомобилями сегментация экземпляров создаст три отдельные маски, идентифицируя "Автомобиль А", "Автомобиль Б" и "Автомобиль В" по отдельности.
• Паноптическая сегментация: Гибридный подход, сочетающий маркировку фона семантической сегментации с идентификацией отдельных объектов сегментации экземпляров.

Link to this sectionМеханика попиксельного анализа#

Современные модели сегментации экземпляров обычно полагаются на продвинутые архитектуры глубокого обучения (DL), в частности на сверточные нейронные сети (CNNs). Эти сети извлекают признаки из изображения для предсказания как класса объекта, так и его пространственного контура. Исторически двухэтапные архитектуры, такие как Mask R-CNN, были стандартом: сначала они предлагали области интереса, а затем уточняли их в маски.

Однако недавние достижения привели к созданию одноэтапных детекторов, таких как YOLO26, которые выполняют обнаружение и сегментацию одновременно. Этот подход "из конца в конец" значительно повышает скорость инференса в реальном времени, позволяя применять высокоточную сегментацию к живым видеопотокам на потребительском оборудовании.

Link to this sectionРеальные приложения#

Точные границы, обеспечиваемые сегментацией экземпляров, критически важны для отраслей, где понимание точной формы и положения объекта необходимо для принятия решений.

• AI в здравоохранении: В медицинской диагностике крайне важно определять точный размер и форму опухолей или поражений. Сегментация экземпляров позволяет моделям с высокой точностью обводить аномалии на МРТ-снимках, помогая радиологам в планировании лечения и мониторинге прогрессирования заболевания.
• Автономные транспортные средства: Беспилотные автомобили полагаются на сегментацию для навигации в сложных условиях. Используя такие наборы данных, как Cityscapes, транспортные средства могут идентифицировать проезжую часть, распознавать дорожную разметку и разделять отдельных пешеходов на оживленных переходах для обеспечения безопасности.
• AI в сельском хозяйстве: Точное земледелие использует сегментацию для мониторинга здоровья сельскохозяйственных культур. Роботы, оснащенные системами технического зрения, могут идентифицировать отдельные плоды для автоматизированного сбора урожая или обнаруживать конкретные сорняки для целевого внесения гербицидов, сокращая использование химикатов и оптимизируя урожайность.

Link to this sectionРеализация сегментации с помощью Python#

Разработчики могут легко реализовать сегментацию экземпляров с помощью библиотеки ultralytics. Следующий пример демонстрирует, как загрузить предобученную модель YOLO26 и создать маски сегментации для изображения.

from ultralytics import YOLO

# Load a pre-trained YOLO26 instance segmentation model
# The 'n' suffix denotes the nano version, optimized for speed
model = YOLO("yolo26n-seg.pt")

# Run inference on an image
# This predicts classes, bounding boxes, and masks
results = model("https://ultralytics.com/images/bus.jpg")

# Visualize the results
# Displays the image with overlaid segmentation masks
results[0].show()

Link to this sectionПроблемы и обучение моделей#

Несмотря на свою мощность, сегментация экземпляров является вычислительно затратной по сравнению с простым обнаружением ограничивающих рамок. Создание масок с точностью до пикселя требует значительных ресурсов GPU и точной разметки данных. Разметка данных для этих задач включает рисование плотных полигонов вокруг каждого объекта, что может быть очень трудоемким процессом.

Чтобы упростить этот процесс, команды часто используют такие инструменты, как Ultralytics Platform, которая предлагает функции для управления наборами данных, автоматической разметки и облачного обучения. Это позволяет разработчикам дообучать модели на пользовательских данных — таких как специфические промышленные детали или биологические образцы — и эффективно развертывать их на устройствах Edge AI, используя оптимизированные форматы, такие как ONNX или TensorRT.