Semantic Segmentation

Семантическая сегментация — это задача компьютерного зрения, которая заключается в разделении изображения на отдельные области путем присвоения конкретной метки класса каждому пикселю. В отличие от более простых задач, таких как классификация изображений, присваивающая одну метку всему изображению, или обнаружение объектов, которое рисует ограничивающие рамки вокруг объектов, семантическая сегментация обеспечивает понимание сцены на уровне пикселей. Этот детализированный анализ критически важен для приложений, где точная форма и границы объекта так же важны, как и его идентификация. Это позволяет машинам «видеть» мир почти так же, как люди, различая точные пиксели, из которых состоит дорога, пешеход или опухоль на медицинском снимке.

Link to this sectionКак работает семантическая сегментация#

По своей сути, семантическая сегментация рассматривает изображение как сетку пикселей, которые нужно классифицировать. Модели глубокого обучения, особенно сверточные нейронные сети (CNN), являются стандартной архитектурой для этой задачи. Типичная архитектура, такая как широко используемый U-Net, использует структуру энкодер-декодер. Энкодер сжимает входное изображение для извлечения высокоуровневых признаков (таких как текстуры и формы), а декодер увеличивает эти признаки обратно до исходного разрешения изображения для генерации точной маски сегментации.

Для достижения этого модели обучаются на больших аннотированных наборах данных, где люди-аннотаторы тщательно раскрасили каждый пиксель в соответствии с его классом. Инструменты, такие как Ultralytics Platform, облегчают этот процесс, предлагая функции автоаннотирования, которые ускоряют создание высококачественных данных ground truth. После обучения модель выдает маску, где каждое значение пикселя соответствует идентификатору класса, эффективно «раскрашивая» изображение смыслом.

Link to this sectionРазграничение похожих концепций#

Часто семантическую сегментацию путают с другими задачами на уровне пикселей. Понимание различий является ключом к выбору правильного подхода для проекта:

• Сегментация экземпляров: В то время как семантическая сегментация рассматривает все объекты одного класса как единое целое (например, все «машины» окрашены в синий цвет), сегментация экземпляров различает отдельные объекты (например, «Машина A» синяя, «Машина B» красная).
• Паноптическая сегментация: Это объединяет обе концепции. Она присваивает класс каждому пикселю (семантика) и одновременно отделяет индивидуальные экземпляры счетных объектов (экземпляры), обеспечивая наиболее полное понимание сцены.

Link to this sectionРеальные приложения#

Способность анализировать визуальные данные с точностью до пикселя стимулирует инновации во многих высокотехнологичных отраслях:

• ИИ в автомобилестроении: Автономные транспортные средства сильно зависят от сегментации для безопасной навигации. Идентифицируя проезжие части в сравнении с тротуарами и точно очерчивая пешеходов, автомобили и препятствия, системы беспилотного вождения могут принимать критически важные решения в режиме реального времени.
• ИИ в здравоохранении: В медицинской визуализации модели сегментируют органы, поражения или опухоли на КТ- и МРТ-сканах. Это помогает радиологам рассчитывать объем опухоли для планирования лечения или направлять инструменты роботизированной хирургии с предельной точностью.
• ИИ в сельском хозяйстве: Фермеры используют аэрофотосъемку с дронов и сегментацию для мониторинга здоровья сельскохозяйственных культур. Классифицируя пиксели как «здоровая культура», «сорняк» или «почва», автоматизированные системы могут направленно распылять гербициды, сокращая использование химикатов и оптимизируя урожайность.

Link to this sectionРеализация сегментации с помощью Ultralytics#

Современные модели сегментации должны балансировать между точностью и скоростью, особенно для инференса в реальном времени на граничных устройствах. Семейство моделей Ultralytics YOLO26 включает специализированные модели сегментации (обозначенные суффиксом -seg), которые являются нативно сквозными (end-to-end), предлагая превосходную производительность по сравнению со старыми архитектурами, такими как YOLO11.

Следующий пример демонстрирует, как выполнить сегментацию изображения с помощью пакета ultralytics для Python. Это создает бинарные маски, которые очерчивают границы объектов.

from ultralytics import YOLO

# Load a pre-trained YOLO26 segmentation model
model = YOLO("yolo26n-seg.pt")

# Run inference on an image
results = model("https://ultralytics.com/images/bus.jpg")

# Visualize the results
# This will display the image with the segmentation masks overlaid
results[0].show()

Link to this sectionПроблемы и будущие направления#

Несмотря на значительный прогресс, семантическая сегментация остается вычислительно интенсивной. Генерация классификации для каждого отдельного пикселя требует значительных ресурсов GPU и памяти. Исследователи активно работают над оптимизацией этих моделей для повышения эффективности, изучая методы, такие как квантование моделей, чтобы запускать тяжелые нейросети на мобильных телефонах и встроенных устройствах.

Более того, потребность в огромных размеченных наборах данных является узким местом. Чтобы решить эту проблему, отрасль движется в сторону генерации синтетических данных и самообучения, что позволяет моделям учиться на необработанных изображениях без необходимости в миллионах ручных разметок пикселей. По мере развития этих технологий мы можем ожидать, что сегментация станет еще более распространенной в смарт-камерах, робототехнике и приложениях дополненной реальности.