Semantic Segmentation

Семантическая сегментация — это задача компьютерного зрения, которая заключается в разделении изображения на отдельные области путем назначения конкретной метки класса каждому отдельному пикселю. В отличие от более простых задач, таких как классификация изображений, которая присваивает одну метку всему изображению, или обнаружение объектов, которая рисует ограничивающие рамки вокруг объектов, семантическая сегментация обеспечивает понимание сцены на уровне пикселей. Этот детальный анализ имеет решающее значение для приложений, где точная форма и граница объекта важны не меньше, чем его идентичность. Он позволяет машинам "видеть" мир больше так, как это делают люди, различая точные пиксели, из которых состоит дорога, пешеход или опухоль на медицинском снимке.

Как работает семантическая сегментация#

По своей сути семантическая сегментация рассматривает изображение как сетку пикселей, которые необходимо классифицировать. Модели глубокого обучения, в частности сверточные нейронные сети (CNN), являются стандартной архитектурой для этой задачи. Типичная архитектура, такая как широко используемая U-Net, использует структуру энкодера-декодера. Энкодер сжимает входное изображение для извлечения высокоуровневых признаков (таких как текстуры и формы), в то время как декодер повышает дискретизацию этих признаков обратно до исходного разрешения изображения для создания точной маски сегментации.

Для достижения этого модели обучаются на больших размеченных наборах данных, где люди-разметчики тщательно раскрасили каждый пиксель в соответствии с его классом. Такие инструменты, как Ultralytics Platform, облегчают этот процесс, предлагая функции авторазметки, которые ускоряют создание высококачественных данных ground truth. После обучения модель выдает маску, где значение каждого пикселя соответствует ID класса, эффективно "окрашивая" изображение смыслом.

Разграничение похожих концепций#

Часто семантическую сегментацию путают с другими задачами на уровне пикселей. Понимание различий является ключом к выбору правильного подхода для проекта:

• Сегментация экземпляров: В то время как семантическая сегментация рассматривает все объекты одного класса как единое целое (например, все "машины" окрашены в синий цвет), сегментация экземпляров различает отдельные объекты (например, "Машина А" синяя, "Машина Б" красная).
• Паноптическая сегментация: Это объединяет оба понятия. Она присваивает класс каждому пикселю (семантика) и одновременно разделяет отдельные экземпляры исчисляемых объектов (экземпляры), обеспечивая наиболее полное понимание сцены.

Реальные приложения#

Способность анализировать визуальные данные с точностью до пикселя стимулирует инновации во многих высокотехнологичных отраслях:

• ИИ в автомобилестроении: Беспилотные транспортные средства сильно зависят от сегментации для безопасной навигации. Выделяя проезжие части на фоне тротуаров и точно обводя пешеходов, автомобили и препятствия, системы автономного вождения могут принимать критические решения в реальном времени.
• ИИ в здравоохранении: В медицинской визуализации модели сегментируют органы, поражения или опухоли на КТ- и МРТ-сканах. Это помогает рентгенологам рассчитывать объем опухоли для планирования лечения или направлять инструменты роботизированной хирургии с экстремальной точностью.
• ИИ в сельском хозяйстве: Фермеры используют аэрофотоснимки с дронов и сегментацию для мониторинга здоровья сельскохозяйственных культур. Классифицируя пиксели как "здоровая культура", "сорняк" или "почва", автоматизированные системы могут целенаправленно распылять гербициды, сокращая использование химикатов и оптимизируя урожайность.

Реализация сегментации с помощью Ultralytics#

Современным моделям сегментации необходимо балансировать точность со скоростью, особенно для инференса в реальном времени на периферийных устройствах. Семейство моделей Ultralytics YOLO26 включает в себя специализированные модели сегментации (обозначаемые суффиксом -seg), которые изначально являются сквозными (end-to-end), предлагая превосходную производительность по сравнению со старыми архитектурами вроде YOLO11.

Следующий пример демонстрирует, как выполнять сегментацию изображения с использованием пакета Python ultralytics. Это создает бинарные маски, которые определяют границы объектов.

from ultralytics import YOLO

# Load a pre-trained YOLO26 segmentation model
model = YOLO("yolo26n-seg.pt")

# Run inference on an image
results = model("https://ultralytics.com/images/bus.jpg")

# Visualize the results
# This will display the image with the segmentation masks overlaid
results[0].show()

Проблемы и будущие направления#

Несмотря на значительный прогресс, семантическая сегментация остается ресурсоемкой. Создание классификации для каждого отдельного пикселя требует значительных ресурсов GPU и памяти. Исследователи активно работают над оптимизацией этих моделей для повышения эффективности, исследуя такие методы, как квантование моделей, чтобы запускать тяжелые сети на мобильных телефонах и встраиваемых устройствах.

Кроме того, потребность в массивных размеченных датасетах является узким местом. Чтобы решить эту проблему, индустрия движется в сторону генерации синтетических данных и самоконтролируемого обучения, позволяя моделям обучаться на необработанных изображениях без необходимости использования миллионов ручных меток пикселей. По мере того как эти технологии созревают, мы можем ожидать, что сегментация станет еще более повсеместной в умных камерах, робототехнике и приложениях дополненной реальности.