Как использовать Ultralytics YOLO11 для сегментации экземпляров

Computer vision, область artificial intelligence (AI), которая помогает машинам интерпретировать и понимать визуальную информацию, позволяет решать такие задачи, как сегментация экземпляров. Instance segmentation можно использовать для анализа изображения или видеокадра с целью определения точных границ каждого отдельного объекта на изображении, даже если присутствует несколько объектов одного типа. Благодаря высокой точности сегментация экземпляров находит широкое применение: от помощи self-driving cars в обнаружении препятствий on the road до identifying tumors на medical scans.

За прошедшие годы instance segmentation значительно эволюционировала. Последняя разработка была представлена на annual hybrid event от Ultralytics — YOLO Vision 2024 (YV24) в виде модели Ultralytics YOLO11. Новая модель поддерживает те же computer vision tasks (включая сегментацию экземпляров), что и модель Ultralytics YOLOv8, поэтому пользователи, знакомые с предыдущими версиями, смогут легко освоить новую модель.

Рис. 1. Пример использования модели Ultralytics YOLO11 для сегментации экземпляров.

В этой статье мы рассмотрим instance segmentation, ее отличия от других задач компьютерного зрения, таких как семантическая сегментация, а также обсудим некоторые варианты ее применения. Мы также покажем, как использовать модель сегментации экземпляров YOLO11 с помощью Ultralytics Python package и платформы Ultralytics HUB. Давайте начнем!

Что такое сегментация экземпляров?#

Instance segmentation можно использовать для распознавания объектов на изображении и их оконтуривания на уровне пикселей. Этот процесс обычно включает в себя сначала detecting objects и отрисовку bounding boxes вокруг них. Затем алгоритм сегментации классифицирует каждый пиксель внутри ограничивающей рамки для создания precise mask для каждого объекта.

Instance segmentation также отличается от таких задач, как семантическая сегментация и паноптическая сегментация. Semantic segmentation классифицирует каждый пиксель на основе общей категории объекта, не разделяя отдельные экземпляры. Panoptic segmentation, с другой стороны, объединяет как сегментацию экземпляров, так и семантическую сегментацию, присваивая каждому пикселю как класс, так и идентификатор экземпляра, что позволяет идентифицировать отдельные объекты в каждой категории.

Рис. 2. Использование YOLO11 для обнаружения и сегментации человека и собаки.

Возможности сегментации экземпляров можно применять в различных сценариях, требующих использования разных моделей. Например, легковесная модель идеально подходит для real-time processing в мобильных приложениях, в то время как более сложная модель может использоваться для задач высокой точности, таких как quality control на производстве.

Как и предыдущие модели, модель сегментации экземпляров YOLO11 выпускается в нескольких вариациях в зависимости от твоих потребностей. Эти варианты включают YOLO11n-seg (Nano), YOLO11s-seg (Small), YOLO11m-seg (Medium), YOLO11l-seg (Large) и YOLO11x-seg (Extra Large). Эти модели различаются по размеру, скорости обработки, точности и объему требуемой computational power. Исходя из своих конкретных требований, ты можешь выбрать модель, которая лучше всего подходит для твоей задачи.

Применение сегментации экземпляров с YOLO11#

Передовые возможности сегментации экземпляров YOLO11 открывают целый ряд применений в различных отраслях. Давай более подробно рассмотрим некоторые из них.

Использование сегментации YOLO11 в нефтегазовой отрасли#

Добыча Oil and gas связана с управлением чрезвычайно сильными колебаниями давления. Такие методы, как факельное сжигание, помогают сжигать попутный газ, образующийся при добыче нефти. Это необходимо по safety reasons. Например, при добыче сырой нефти внезапный или значительный скачок давления может привести к взрыву. Хотя это случается редко, промышленные аварии в нефтегазовом секторе могут вызвать сильные пожары, которые трудно локализовать и контролировать. Факельное сжигание помогает операторам безопасно снижать давление в оборудовании и справляться с непредсказуемыми и крупными перепадами давления путем сжигания избыточного газа.

Системы ИИ могут улучшить этот процесс мониторинга, а риск возникновения аварий может быть снижен за счет использования системы мониторинга факелов на основе сегментации экземпляров. Мониторинг сжигания газа также важен по экологическим причинам, поскольку чрезмерное сжигание может негативно повлиять на окружающую среду.

Модели instance segmentation на базе Ultralytics YOLO11 могут использоваться для мониторинга объема огня и smoke, вызванных факельным сжиганием. Можно рассчитать площадь в пикселях обнаруженных и сегментированных факела и smoke. Используя эту информацию, операторы получают данные о факеле и дыме в реальном времени, что помогает предотвращать аварии и негативное воздействие на окружающую среду.

Рис. 3. Пример мониторинга факелов с помощью YOLO11 в нефтегазовой промышленности.

Сегментация экземпляров с YOLO11 для управления пластиковыми отходами#

Работники на предприятиях waste management и recycling могут использовать системы на базе сегментации экземпляров YOLO11 для идентификации пластиковых отходов. YOLO11 можно интегрировать с роботизированными системами сортировки для точного определения различных материалов, таких как картон и пластик (для раздельной переработки). Это особенно важно, учитывая, что из 7 миллиардов тонн plastic waste, производимых по всему миру, перерабатывается только около 10%.

Автоматизация идентификации и sorting of plastic waste значительно сокращает время по сравнению с традиционными методами, когда работники сортируют предметы вручную. Computer vision models могут даже сегментировать мягкий пластик, такой как пленка и пакеты, что представляет особую сложность из-за их склонности спутываться. YOLO11 models также можно custom-train для сегментации различных типов пластика. Мы подробнее узнаем о том, как custom-train модель YOLO11 в следующих разделах.

Рис. 4. Идентификация пластиковых отходов с помощью Ultralytics YOLO11.

Сегментация YOLO11 в автономных транспортных средствах#

Еще один интересный вариант использования сегментации экземпляров — autonomous cars. YOLO11 позволяет self-driving cars повысить безопасность пассажиров и других участников дорожного движения за счет точного распознавания объектов на уровне пикселей. Бортовая camera system автомобиля может делать снимки окружения и анализировать их с помощью YOLO11 и сегментации экземпляров. Каждый объект (пешеходы, светофоры, другие транспортные средства и т. д.) на изображении сегментируется и получает метку. Такой уровень точности дает беспилотным автомобилям возможность распознавать каждый объект вокруг себя.

Fig 5. Использование YOLO11 и сегментации экземпляров для распознавания транспортных средств и пешеходов на дороге.

Пробуем сегментацию экземпляров с моделью YOLO11#

Теперь, когда мы изучили сегментацию экземпляров и обсудили некоторые её применения, давай посмотрим, как ты можешь попробовать её в деле с моделью Ultralytics YOLO11.

Есть два способа сделать это: использовать Python-пакет Ultralytics или Ultralytics HUB. Мы рассмотрим оба варианта, начиная с Python-пакета.

Запуск инференса с помощью YOLO11#

Запуск inference предполагает использование модели для анализа новых, ранее не встречавшихся данных. Чтобы запустить инференс с помощью модели сегментации экземпляров YOLO11 через код, нам нужно установить Ultralytics Python package с помощью pip, conda или docker. Если у тебя возникнут какие-либо проблемы во время установки, ты можешь обратиться за помощью к нашему Common Issues Guide. После установки пакета ты можешь запустить приведенный ниже код, чтобы загрузить модель сегментации экземпляров YOLO11 и выполнить предсказания для изображения.

Рис. 6. Запуск инференса на изображении с использованием YOLO11n-seg.

Обучение пользовательской модели YOLO11#

Используя ту же настройку кода, ты также можешь train пользовательскую модель YOLO11. Путем fine-tuning модели YOLO11 ты можешь создать ее кастомную версию, которая лучше отвечает требованиям твоего specific project. Например, retailers могут использовать кастомную модель для точной сегментации физических параметров клиента с целью recommend clothes правильного размера. Нижеприведенный фрагмент кода показывает, как загрузить и обучить модель YOLO11 для сегментации экземпляров. Ты можешь начать с YAML configuration или предварительно обученной модели, перенести веса и провести обучение на dataset like COCO для достижения эффективной сегментации.

После завершения ты сможешь выполнять инференс с использованием кастомной модели для твоих specific applications. С помощью export option ты также можешь export свою пользовательскую модель в другой формат.

Сегментация экземпляров YOLO11 в Ultralytics HUB#

Теперь, когда мы рассмотрели запуск инференса и кастомное обучение модели сегментации экземпляров YOLO11 через код, давай взглянем на альтернативу без кода: Ultralytics HUB. Ultralytics HUB — это интуитивно понятная платформа искусственного интеллекта для компьютерного зрения, которая упрощает процесс обучения и развертывания моделей YOLO, включая модели сегментации экземпляров YOLO11.

Чтобы запустить инференс на изображениях, все, что тебе нужно сделать, это создать учетную запись, перейти в раздел «Models» и выбрать нужный вариант модели сегментации экземпляров YOLO11. Ты можешь загрузить изображение и просмотреть результаты предсказания в разделе предварительного просмотра, как показано ниже.

Рис. 7. Запуск инференса на Ultralytics HUB.

Основные выводы#

YOLO11 предлагает надежные возможности сегментации экземпляров, которые открывают целый мир возможностей в различных отраслях. От повышения безопасности в автономных транспортных средствах и мониторинга факельного сжигания газа в нефтегазовом секторе до автоматизации сортировки отходов на предприятиях по переработке — точность YOLO11 на уровне пикселей делает её идеальной для сложных задач сегментации.

Благодаря возможностям обучения через Python-пакет Ultralytics и настройке без кода через Ultralytics HUB, пользователи могут легко интегрировать YOLO11 в свои рабочие процессы. Будь то промышленное применение, здравоохранение, ритейл или экологический мониторинг, YOLO11 обеспечивает гибкость и точность для удовлетворения разнообразных потребностей в сегментации.

Чтобы узнать больше, посети наш GitHub repository и присоединяйся к нашему community. Исследуй возможности применения ИИ в self-driving cars и agriculture на наших страницах решений. 🚀