Как использовать Ultralytics YOLO11 для сегментации экземпляров

Компьютерное зрение — область искусственного интеллекта (AI), которая помогает машинам интерпретировать и понимать визуальную информацию и решать такие задачи, как сегментация экземпляров. Сегментация экземпляров позволяет анализировать изображение или видеокадр и отмечать точные границы каждого отдельного объекта, даже если на изображении есть несколько объектов одного типа. Благодаря высокой точности сегментация экземпляров применяется в самых разных сферах: от обнаружения препятствий на дороге беспилотными автомобилями до выявления опухолей на медицинских снимках.

За прошедшие годы сегментация экземпляров значительно развилась. Недавнее достижение было представлено на ежегодном гибридном мероприятии Ultralytics YOLO Vision 2024 (YV24) — это модель Ultralytics YOLO11, которой на смену пришла Ultralytics YOLO26. Новая модель поддерживает те же задачи компьютерного зрения, в том числе сегментацию экземпляров, что и Ultralytics YOLOv8, поэтому пользователи предыдущих версий могут легко перейти на новую модель.

Рис. 1. Пример использования модели Ultralytics YOLO11 для сегментации экземпляров.

В этой статье мы разберем, что такое сегментация экземпляров, чем она отличается от других задач компьютерного зрения, таких как семантическая сегментация, и где применяется. Также покажем, как использовать модель YOLO11 для сегментации экземпляров с помощью пакета Ultralytics для Python и Ultralytics HUB (теперь Ultralytics Platform). Начнем!

Что такое сегментация экземпляров?#

Сегментацию экземпляров можно использовать для обнаружения объектов на изображении и выделения их границ на уровне пикселей. Обычно процесс начинается с обнаружения объектов и нанесения вокруг них ограничивающих рамок. Затем алгоритм сегментации классифицирует каждый пиксель внутри ограничивающей рамки и создает точную маску для каждого объекта.

Сегментация экземпляров отличается и от таких задач, как семантическая и паноптическая сегментация. Семантическая сегментация присваивает каждому пикселю метку общей категории объекта, не различая отдельные экземпляры. Паноптическая сегментация, напротив, сочетает сегментацию экземпляров и семантическую сегментацию: каждому пикселю присваиваются и класс, и идентификатор экземпляра, что позволяет различать отдельные объекты в каждой категории.

Рис. 2. Обнаружение и сегментация человека и собаки с помощью YOLO11.

Сегментацию экземпляров можно применять в самых разных сценариях, для которых могут понадобиться разные модели. Например, для обработки в реальном времени в мобильных приложениях может подойти легковесная модель, а более сложная модель может использоваться для задач, требующих высокой точности, например контроля качества на производстве.

Как и предыдущие модели, модель YOLO11 для сегментации экземпляров выпускается в нескольких вариантах, чтобы ты мог выбрать подходящий. Это YOLO11n-seg (Nano), YOLO11s-seg (Small), YOLO11m-seg (Medium), YOLO11l-seg (Large) и YOLO11x-seg (Extra Large). Модели различаются размером, скоростью обработки, точностью и необходимыми вычислительными ресурсами. Выбери модель, которая лучше всего подходит для твоего приложения.

Применение сегментации экземпляров YOLO11#

Расширенные возможности YOLO11 по сегментации экземпляров открывают широкий спектр вариантов применения в разных отраслях. Давай подробнее рассмотрим некоторые из них.

Сегментация YOLO11 в нефтегазовой отрасли#

При добыче нефти и газа приходится управлять чрезвычайно сильными колебаниями давления. Такие методы, как сжигание попутного газа на факеле, позволяют утилизировать природный газ, образующийся при добыче нефти. Это необходимо для обеспечения безопасности. Например, при добыче сырой нефти резкий или значительный скачок давления может привести к взрыву. Хотя промышленные аварии в нефтегазовой отрасли происходят нечасто, они могут вызывать сильные пожары, которые трудно локализовать и контролировать. Сжигание газа на факеле позволяет операторам безопасно сбрасывать давление в оборудовании и управлять непредсказуемыми сильными колебаниями давления, сжигая избыток газа.

Системы ИИ могут улучшить процесс мониторинга, а риск аварий можно снизить с помощью системы мониторинга факельного сжигания на основе сегментации экземпляров. Контроль факельного сжигания важен и по экологическим причинам: чрезмерное сжигание может негативно влиять на окружающую среду.

Модели Ultralytics YOLO11 для сегментации экземпляров можно использовать для мониторинга объема огня и дыма при сжигании газа на факеле. Можно рассчитать площадь пикселей обнаруженного и сегментированного факела и дыма. Эти данные позволяют операторам получать информацию о факеле и дыме в реальном времени и предотвращать аварии и негативное воздействие на окружающую среду.

Рис. 3. Пример мониторинга факельного сжигания с помощью YOLO11 в нефтегазовом производстве.

Сегментация экземпляров с YOLO11 для управления пластиковыми отходами#

Сотрудники предприятий по управлению отходами и переработке вторсырья могут использовать системы на основе сегментации экземпляров YOLO11 для обнаружения пластиковых отходов. YOLO11 можно интегрировать с роботизированными сортировочными системами, чтобы точно распознавать разные отходы, например картон и пластик, и сортировать их по отдельности. Это особенно важно, учитывая, что из 7 миллиардов метрических тонн пластиковых отходов, образующихся в мире, перерабатывается лишь около 10%.

Автоматизация обнаружения и сортировки пластиковых отходов значительно сокращает время по сравнению с традиционными методами, при которых сотрудники сортируют предметы вручную. Модели компьютерного зрения могут сегментировать даже мягкий пластик, например обертки и пакеты, который особенно сложно сортировать из-за того, что он часто запутывается. Модели YOLO11 также можно дообучить для сегментации разных видов пластика. В следующих разделах мы расскажем, как обучить собственную модель YOLO11.

Рис. 4. Распознавание пластиковых отходов с помощью Ultralytics YOLO11.

Сегментация YOLO11 в автономных автомобилях#

Еще один интересный сценарий применения сегментации экземпляров — беспилотные автомобили. YOLO11 помогает беспилотным автомобилям повышать безопасность пассажиров и других участников дорожного движения, точно распознавая объекты на уровне пикселей. Бортовая камера автомобиля снимает окружающую обстановку, а YOLO11 анализирует изображения с помощью сегментации экземпляров. Каждый объект на изображении — пешеходы, светофоры, другие автомобили и т. д. — сегментируется и получает метку. Такая точность позволяет беспилотным автомобилям распознавать каждый объект вокруг них.

Рис. 5. Использование YOLO11 и сегментации экземпляров для распознавания автомобилей и пешеходов на дороге.

Пробуем сегментацию экземпляров с моделью YOLO11#

Теперь, когда мы рассмотрели сегментацию экземпляров и некоторые варианты её применения, давай посмотрим, как попробовать её с помощью модели Ultralytics YOLO11.

Есть два способа: использовать пакет Ultralytics для Python или Ultralytics HUB. Мы рассмотрим оба варианта, начав с пакета для Python.

Запуск инференса с YOLO11#

При инференсе модель анализирует новые данные, которых раньше не встречала. Чтобы запустить инференс с помощью модели YOLO11 для сегментации экземпляров через код, сначала установи пакет Ultralytics для Python с помощью pip, conda или Docker. Если при установке возникнут проблемы, обратись к нашему руководству по распространенным проблемам — оно поможет устранить неполадки. После установки пакета выполни приведенный ниже код, чтобы загрузить модель YOLO11n-seg для сегментации экземпляров и запустить предсказание на изображении.

Рис. 6. Запуск инференса для изображения с помощью YOLO11n-seg.

Обучение собственной модели YOLO11#

С той же настройкой кода можно также обучить собственную модель YOLO11. Выполнив дообучение модели YOLO11, ты создашь ее вариант, лучше подходящий для требований проекта. Например, розничные магазины могут использовать собственную модель для точной сегментации особенностей внешности покупателя и подбора одежды по размеру. Ниже показан фрагмент кода, который позволяет загрузить и обучить модель YOLO11 для сегментации экземпляров. Можно начать с конфигурации YAML или предварительно обученной модели, перенести веса и обучить модель на датасете, например COCO, чтобы добиться эффективной сегментации.

По завершении можно запускать инференс с помощью собственной модели в своих приложениях. Также можно преобразовать собственную модель в другие форматы для развертывания с помощью режима экспорта.

Сегментация экземпляров YOLO11 в Ultralytics HUB#

Теперь, когда мы рассмотрели запуск инференса и обучение собственной модели YOLO11 для сегментации экземпляров через код, давай посмотрим на вариант без кода — Ultralytics HUB. Ultralytics HUB — интуитивно понятная платформа компьютерного зрения и ИИ, которая упрощает обучение и развертывание моделей YOLO, включая модели YOLO11 для сегментации экземпляров.

Чтобы запустить инференс на изображениях, достаточно создать учетную запись, перейти в раздел «Модели» и выбрать нужный вариант модели YOLO11 для сегментации экземпляров. Загрузи изображение и посмотри результаты предсказания в разделе предпросмотра, как показано ниже.

Рис. 7. Запуск инференса на Ultralytics HUB.

Главные выводы#

YOLO11 обеспечивает надёжную сегментацию экземпляров и открывает множество возможностей в самых разных отраслях. От повышения безопасности автономных автомобилей и мониторинга факельного сжигания в нефтегазовой отрасли до автоматизации сортировки отходов на предприятиях по переработке — точность YOLO11 на уровне пикселей делает эту модель идеальным решением для сложных задач сегментации.

Благодаря возможности обучать собственные модели с помощью пакета Ultralytics для Python и настраивать процесс без кода через Ultralytics HUB пользователи могут встроить YOLO11 в свои рабочие процессы. Для промышленных приложений, здравоохранения, розничной торговли или мониторинга окружающей среды YOLO11 обеспечивает гибкость и точность для самых разных задач сегментации.

Чтобы узнать больше, загляни в наш репозиторий на GitHub и присоединяйся к нашему сообществу. На страницах наших решений изучи применение ИИ в беспилотных автомобилях и сельском хозяйстве.