Как использовать Ultralytics YOLO11 для сегментации экземпляров

Компьютерное зрение — область искусственного интеллекта (AI), которая помогает машинам интерпретировать и понимать визуальную информацию, — позволяет выполнять такие задачи, как сегментация экземпляров. Сегментацию экземпляров можно использовать для анализа изображения или кадра видео и обозначения точных границ каждого отдельного объекта на изображении, даже если присутствует несколько объектов одного типа. Благодаря высокой точности сегментация экземпляров находит широкое применение: от помощи беспилотным автомобилям в обнаружении препятствий на дороге до выявления опухолей на медицинских снимках.

За прошедшие годы сегментация экземпляров значительно развилась. Недавняя разработка была представлена на ежегодном гибридном мероприятии Ultralytics — YOLO Vision 2024 (YV24) — в виде модели Ultralytics YOLO11. Новая модель поддерживает те же задачи компьютерного зрения, включая сегментацию экземпляров, что и модель Ultralytics YOLOv8, поэтому пользователи, знакомые с предыдущими версиями, могут без проблем перейти на новую модель.

Рис. 1. Пример использования модели Ultralytics YOLO11 для сегментации экземпляров.

В этой статье мы рассмотрим сегментацию экземпляров, её отличия от других задач компьютерного зрения, таких как семантическая сегментация, а также некоторые варианты её применения. Мы также пошагово разберём, как использовать модель YOLO11 для сегментации экземпляров с помощью пакета Ultralytics для Python и платформы Ultralytics HUB. Начнём!

Что такое сегментация экземпляров?#

Сегментацию экземпляров можно использовать для обнаружения объектов на изображении и выделения их на уровне пикселей. Обычно процесс начинается с обнаружения объектов и отрисовки вокруг них ограничивающих рамок. Затем алгоритм сегментации классифицирует каждый пиксель внутри ограничивающей рамки, создавая точную маску для каждого объекта.

Сегментация экземпляров также отличается от таких задач, как семантическая и паноптическая сегментация. Семантическая сегментация помечает каждый пиксель на основе общей категории объекта, не различая отдельные экземпляры. Паноптическая сегментация, напротив, объединяет сегментацию экземпляров и семантическую сегментацию: каждый пиксель получает как класс, так и идентификатор экземпляра, что позволяет различать отдельные объекты внутри каждой категории.

Рис. 2. Использование YOLO11 для обнаружения и сегментации человека и собаки.

Возможности сегментации экземпляров можно применять в различных сценариях, для которых могут потребоваться разные модели. Например, облегчённая модель может идеально подойти для обработки в реальном времени в мобильных приложениях, а более сложную модель можно использовать для высокоточных задач, таких как контроль качества на производстве.

Как и предыдущие модели, модель YOLO11 для сегментации экземпляров представлена в нескольких вариантах, соответствующих твоим потребностям. Среди них YOLO11n-seg (Nano), YOLO11s-seg (Small), YOLO11m-seg (Medium), YOLO11l-seg (Large) и YOLO11x-seg (Extra Large). Эти модели различаются размером, скоростью обработки, точностью и объёмом требуемых вычислительных ресурсов. В зависимости от конкретных требований ты можешь выбрать модель, которая лучше всего подходит для твоего приложения.

Применение сегментации экземпляров YOLO11#

Расширенные возможности YOLO11 для сегментации экземпляров открывают широкий спектр применений в различных отраслях. Давай подробнее рассмотрим некоторые из них.

Сегментация YOLO11 в нефтегазовой отрасли#

Добыча нефти и газа связана с регулированием чрезвычайно сильных колебаний давления. Такие методы, как факельное сжигание газа, позволяют сжигать природный газ, образующийся при добыче нефти. Это необходимо по соображениям безопасности. Например, при добыче сырой нефти внезапный или значительный скачок давления может привести к взрыву. Хотя промышленные аварии в нефтегазовой отрасли случаются редко, они могут вызывать сильные пожары, которые трудно локализовать и контролировать. Факельное сжигание помогает операторам безопасно снижать давление в оборудовании и справляться с непредсказуемыми значительными колебаниями давления, сжигая избыточный газ.

Системы AI могут улучшить этот процесс мониторинга, а риск аварий можно снизить с помощью системы мониторинга факельного сжигания на основе сегментации экземпляров. Мониторинг факельного сжигания также важен по экологическим причинам, поскольку чрезмерное сжигание может негативно влиять на окружающую среду.

Модели Ultralytics YOLO11 для сегментации экземпляров можно использовать для мониторинга количества огня и дыма, возникающих при факельном сжигании. Можно вычислить площадь в пикселях обнаруженного и сегментированного факела и дыма. Используя эту информацию, операторы получают данные о факеле и дыме в реальном времени, что помогает предотвращать аварии и негативное воздействие на окружающую среду.

Рис. 3. Пример мониторинга факельного сжигания с помощью YOLO11 в нефтегазовой отрасли.

Сегментация экземпляров с YOLO11 для управления пластиковыми отходами#

Сотрудники предприятий по управлению отходами и переработке могут использовать системы на основе сегментации экземпляров YOLO11 для идентификации пластиковых отходов. YOLO11 можно интегрировать с роботизированными системами сортировки, чтобы точно распознавать разные материалы, например картон и пластик, для их раздельной переработки. Это особенно важно, учитывая, что из 7 миллиардов тонн пластиковых отходов, образующихся во всём мире, перерабатывается лишь около 10%.

Автоматизация идентификации и сортировки пластиковых отходов значительно сокращает время по сравнению с традиционными методами, при которых сотрудники сортируют предметы вручную. Модели компьютерного зрения могут сегментировать даже мягкий пластик, например упаковочную плёнку и пакеты, которые особенно трудно обрабатывать, поскольку они часто запутываются. Модели YOLO11 также можно обучить на пользовательских данных для сегментации разных типов пластика. В следующих разделах мы подробнее рассмотрим, как обучить модель YOLO11 на пользовательских данных.

Рис. 4. Идентификация пластиковых отходов с помощью Ultralytics YOLO11.

Сегментация YOLO11 в автономных транспортных средствах#

Ещё один интересный вариант применения сегментации экземпляров — автономные автомобили. YOLO11 помогает беспилотным автомобилям повысить безопасность пассажиров и других участников дорожного движения, точно распознавая объекты на уровне пикселей. Встроенная система камер автомобиля может получать изображения окружающей обстановки и анализировать их с помощью YOLO11 и сегментации экземпляров. Каждый объект на изображении — пешеход, светофор, другое транспортное средство и т. д. — сегментируется и получает метку. Такая точность позволяет автономным автомобилям идентифицировать каждый объект вокруг них.

Рис. 5. Использование YOLO11 и сегментации экземпляров для идентификации транспортных средств и пешеходов на дороге.

Пробуем сегментацию экземпляров с моделью YOLO11#

Теперь, когда мы рассмотрели сегментацию экземпляров и обсудили некоторые варианты её применения, давай посмотрим, как попробовать её с помощью модели Ultralytics YOLO11.

Есть два способа это сделать: использовать пакет Ultralytics для Python или Ultralytics HUB. Мы рассмотрим оба варианта, начиная с пакета для Python.

Запуск инференса с помощью YOLO11#

Инференс подразумевает использование модели для анализа новых, ранее не встречавшихся данных. Чтобы выполнить инференс с помощью модели YOLO11 для сегментации экземпляров через код, нужно установить пакет Ultralytics для Python с помощью pip, conda или docker. Если во время установки возникнут проблемы, обратись к нашему руководству по распространённым проблемам, чтобы устранить неполадки. После установки пакета можно выполнить приведённый ниже код, чтобы загрузить модель YOLO11 для сегментации экземпляров и запустить предсказания на изображении.

Рис. 6. Запуск инференса на изображении с помощью YOLO11n-seg.

Обучение пользовательской модели YOLO11#

С той же настройкой кода ты также можешь обучить пользовательскую модель YOLO11. Выполнив дообучение модели YOLO11, можно создать её пользовательскую версию, которая лучше соответствует требованиям твоего конкретного проекта. Например, розничные продавцы могут использовать пользовательскую модель для точной сегментации физических особенностей клиента и рекомендации подходящей одежды. В приведённом ниже фрагменте кода показано, как загрузить и обучить модель YOLO11 для сегментации экземпляров. Можно начать с конфигурации YAML или предварительно обученной модели, перенести веса и обучить модель на таком наборе данных, как COCO, чтобы добиться эффективной сегментации.

После завершения обучения ты можешь выполнять инференс с помощью пользовательской модели для своих конкретных приложений. С помощью опции экспорта ты также можешь экспортировать пользовательскую модель в другой формат.

Сегментация экземпляров YOLO11 в Ultralytics HUB#

Теперь, когда мы рассмотрели запуск инференса и обучение пользовательской модели YOLO11 для сегментации экземпляров через код, давай посмотрим на альтернативу без кода: Ultralytics HUB. Ultralytics HUB — это интуитивно понятная платформа vision AI, которая упрощает обучение и развёртывание моделей YOLO, включая модели YOLO11 для сегментации экземпляров.

Чтобы выполнить инференс на изображениях, достаточно создать аккаунт, перейти в раздел «Models» и выбрать нужный вариант модели YOLO11 для сегментации экземпляров. Можно загрузить изображение и просмотреть результаты предсказания в разделе предварительного просмотра, как показано ниже.

Рис. 7. Запуск инференса в Ultralytics HUB.

Основные выводы#

YOLO11 обеспечивает надёжную сегментацию экземпляров, открывая множество возможностей в различных отраслях. От повышения безопасности автономных транспортных средств и мониторинга факельного сжигания в нефтегазовой отрасли до автоматизации сортировки отходов на предприятиях по переработке — точность YOLO11 на уровне пикселей делает эту модель идеальной для сложных задач сегментации.

Благодаря возможности пользовательского обучения через пакет Ultralytics для Python и настройке без кода через Ultralytics HUB пользователи могут легко интегрировать YOLO11 в свои рабочие процессы. Будь то промышленное применение, здравоохранение, розничная торговля или экологический мониторинг, YOLO11 обеспечивает гибкость и точность для самых разных задач сегментации.

Чтобы узнать больше, посети наш репозиторий на GitHub и присоединяйся к нашему сообществу. Изучи применения AI в беспилотных автомобилях и сельском хозяйстве на страницах наших решений. 🚀