Семантическая сегментация

Семантическая сегментация - это основополагающая техника в Компьютерное зрение (КЗ), которая предполагает присвоение определенную метку класса каждому отдельному пикселю изображения. В отличие от более простых задач, в которых можно классифицировать все изображение или поместить ограничительную рамку вокруг объекта, семантическая сегментация позволяет получить попиксельную карту сцены. Этот Такой уровень детализации позволяет машинам понимать точные границы и формы объектов, классифицировать такие отдельные области, как "дорога", "человек", "небо" или "опухоль". Рассматривая изображение как совокупность классифицированных пикселей, а не просто как сумму объектов, этот метод обеспечивает комплексное понимание понимание визуального контекста, что очень важно для продвинутых систем искусственного интеллекта (ИИ) взаимодействующих со сложным окружением.

Основные механизмы классификации на пиксельном уровне

Процесс семантической сегментации в значительной степени опирается на модели глубокого обучения (DL), в частности архитектуры на основе Конволюционные нейронные сети (CNN). Эти модели обучаются на больших аннотированных наборах данных, где эксперты-человеки помечают каждый пиксель. В процессе обучения сеть учится ассоциировать низкоуровневые характеристики, такие как текстуры и края с высокоуровневыми семантическими понятиями.

Распространенная архитектурная схема включает в себя структуру кодер-декодер:

• Кодировщик: Уменьшает выборку входного изображения, чтобы уловить семантический контекст и уменьшить пространственные размеры.
• Декодер: Образцы закодированных характеристик возвращаются к исходному разрешению изображения для создания карту предсказаний.

Новаторские архитектуры, такие как полностью конволюционные сети (FCN), заложили Заменив полностью связанные слои на конволюционные, они создали основу для вывода пространственных карт. Более специализированные архитектуры, такие как U-Net, используют пропущенные соединения для сохранения что делает их очень эффективными для задач, требующих высокой точности.

Отличие семантической сегментации от смежных задач

Чтобы выбрать подходящий инструмент для проекта, важно отличать семантическую сегментацию от других задач компьютерного зрения:

• Обнаружение объектов: Идентифицирует объекты и локализует их с помощью прямоугольных ограничительными рамками. Он отвечает на вопрос "Где находится объект?", но не учитывает точную форму объекта.
• Сегментация экземпляров: Похожа на семантическую сегментацию, но различает отдельные экземпляры одного класса. Например, если семантическая сегментация маркирует все пиксели "автомобиля" одним и тем же цветом, то сегментация экземпляров присваивает уникальный идентификатор "автомобилю 1", "автомобилю 2" и т. д.
• Классификация изображений: Присваивает единую метку всему изображению (например, "пляжная сцена"), не определяя местоположение конкретных элементов.

Применение в реальном мире

Способность анализировать сцены на уровне пикселей стала движущей силой инноваций во многих отраслях:

• Автономные транспортные средства: Самоуправляемые автомобили используют семантическую сегментацию для идентификации пригодных для движения поверхностей (дорог), дорожных знаков, пешеходов и препятствия. Такие наборы данных, как Cityscapes, широко используются для обучения моделей для безопасной навигации в городской среде.
• Анализ медицинских изображений: В здравоохранении точность жизненно важна. Модели segment органы, поражения и опухоли на снимках, полученных с помощью МРТ или КТ аппаратов. Это помогает радиологам определять объем тканей и планировать операции.
• Анализ спутниковых снимков: Семантическая сегментация помогает в классификации почвенно-растительного покрова, отслеживании вырубки лесов и городском планировании. Организации такие как NASA, используют эти методы для мониторинга изменений окружающей среды в глобальном масштабе. масштабе.
• Точное земледелие: Фермеры используют сегментацию, чтобы отличать культуры от сорняков, что позволяет целенаправленно применять гербициды, сокращая использование химикатов и расходы. использование химикатов и сокращение расходов.

Реализация семантической сегментации

Современные фреймворки, такие как PyTorch и TensorFlow предоставляют инструменты для построения моделей сегментации. Однако, библиотеки высокого уровня значительно упрощают этот процесс. Сайт Ultralytics YOLO11 модели поддерживают Задачи сегментации с самого начала, предлагая баланс скорости и точности, подходящий для для выводов в режиме реального времени.

В следующем примере показано, как загрузить предварительно обученную модель сегментации YOLO11 и выполнить вывод на изображении изображении, используя ultralytics пакет python .

from ultralytics import YOLO

# Load a pre-trained YOLO11 segmentation model
model = YOLO("yolo11n-seg.pt")

# Run inference on an image
results = model("https://ultralytics.com/images/bus.jpg")

# Visualize the segmentation mask results
results[0].show()

Для разработчиков, желающих создать индивидуальные решения, существуют такие инструменты аннотирования, как LabelMe или CVAT. необходимы для подготовки обучающих данных. После обучения эти модели могут быть развернуты на пограничных устройствах с помощью OpenCV или оптимизированный форматы, такие как ONNX , для эффективной работы в производственных средах.