Как использовать Ultralytics YOLO11 для сегментации экземпляров

Компьютерное зрение, область искусственного интеллекта (ИИ), которая помогает машинам интерпретировать и понимать визуальную информацию, открывает возможности для таких задач, как сегментация экземпляров. Сегментация экземпляров используется для анализа изображения или кадра видео с целью точного выделения границ каждого отдельного объекта, даже если на изображении присутствует несколько объектов одного типа. Благодаря высокому уровню точности сегментация экземпляров находит широкое применение: от помощи беспилотным автомобилям в обнаружении препятствий на дороге до выявления опухолей на медицинских снимках.

За эти годы сегментация экземпляров значительно эволюционировала. Недавнее достижение было представлено во время ежегодного гибридного мероприятия Ultralytics, YOLO Vision 2024 (YV24), в виде модели Ultralytics YOLO11. Новая модель поддерживает те же задачи компьютерного зрения (включая сегментацию экземпляров), что и Ultralytics YOLOv8, поэтому пользователи, знакомые с предыдущими версиями, смогут легко перейти на новую модель.

Рис. 1. Пример использования модели Ultralytics YOLO11 для сегментации экземпляров.

В этой статье мы рассмотрим сегментацию экземпляров и ее отличия от других задач компьютерного зрения, таких как семантическая сегментация, а также обсудим некоторые варианты её применения. Мы также разберем, как использовать модель сегментации экземпляров YOLO11 с помощью Python-пакета Ultralytics и платформы Ultralytics HUB. Давай начнем!

Link to this sectionЧто такое сегментация экземпляров?#

Сегментация экземпляров используется для идентификации объектов на изображении и их контурирования на уровне пикселей. Процесс обычно включает в себя сначала обнаружение объектов и отрисовку ограничивающих рамок (bounding boxes) вокруг них. Затем алгоритм сегментации классифицирует каждый пиксель внутри ограничивающей рамки, создавая точную маску для каждого объекта.

Сегментация экземпляров отличается от таких задач, как семантическая и паноптическая сегментация. Семантическая сегментация присваивает метку каждому пикселю на основе общей категории объекта, не различая отдельные экземпляры. Паноптическая сегментация, напротив, объединяет сегментацию экземпляров и семантическую сегментацию, помечая каждый пиксель как классом, так и ID экземпляра, идентифицируя отдельные объекты внутри каждой категории.

Рис. 2. Использование YOLO11 для обнаружения и сегментации человека и собаки.

Возможности сегментации экземпляров могут быть применены в различных сценариях, требующих разных моделей. Например, легковесная модель может быть идеальной для обработки в реальном времени в мобильных приложениях, в то время как более сложная модель может использоваться для задач высокой точности, таких как контроль качества на производстве.

Как и предыдущие модели, модель сегментации экземпляров YOLO11 поставляется в нескольких вариантах в зависимости от твоих нужд. Эти варианты включают YOLO11n-seg (Nano), YOLO11s-seg (Small), YOLO11m-seg (Medium), YOLO11l-seg (Large) и YOLO11x-seg (Extra Large). Эти модели различаются размером, скоростью обработки, точностью и количеством вычислительной мощности, необходимой для их работы. Исходя из своих конкретных требований, ты можешь выбрать модель, которая лучше всего подходит для твоей задачи.

Link to this sectionПрименение сегментации экземпляров с YOLO11#

Передовые возможности сегментации экземпляров YOLO11 открывают целый ряд применений в различных отраслях. Давай более подробно рассмотрим некоторые из них.

Link to this sectionИспользование сегментации YOLO11 в нефтегазовой отрасли#

Добыча нефти и газа сопряжена с управлением экстремальными перепадами давления. Такие методы, как факельное сжигание газа, помогают утилизировать природный газ, который выделяется при добыче нефти. Это необходимо по соображениям безопасности. Например, при добыче сырой нефти внезапный или значительный скачок давления может привести к взрыву. Хотя это случается редко, промышленные аварии в нефтегазовом секторе могут привести к сильным пожарам, которые трудно локализовать и контролировать. Факельное сжигание помогает операторам безопасно сбрасывать давление в оборудовании и управлять непредсказуемыми крупными скачками давления путем сжигания излишков газа.

Системы ИИ могут улучшить этот процесс мониторинга, а риск возникновения аварий может быть снижен за счет использования системы мониторинга факелов на основе сегментации экземпляров. Мониторинг сжигания газа также важен по экологическим причинам, поскольку чрезмерное сжигание может негативно повлиять на окружающую среду.

Модели сегментации экземпляров Ultralytics YOLO11 могут использоваться для мониторинга объема огня и дыма, возникающих при факельном сжигании. Можно рассчитать площадь пикселей обнаруженного и сегментированного факела и дыма. Используя эту информацию, операторы получают аналитические данные о факеле и дыме в режиме реального времени, что помогает им предотвращать аварии и негативное воздействие на окружающую среду.

Рис. 3. Пример мониторинга факелов с помощью YOLO11 в нефтегазовой промышленности.

Link to this sectionСегментация экземпляров с YOLO11 для управления пластиковыми отходами#

Работники на объектах управления отходами и переработки могут использовать системы на базе сегментации экземпляров YOLO11 для идентификации пластиковых отходов. YOLO11 можно интегрировать с роботизированными сортировочными системами для точной идентификации различных отходов, таких как картон и пластик (для их раздельной переработки). Это особенно важно, если учесть, что из 7 миллиардов тонн пластиковых отходов, производимых во всем мире, перерабатывается только около 10%.

Автоматизация идентификации и сортировки пластиковых отходов значительно сокращает время по сравнению с традиционными методами, когда работники сортируют предметы вручную. Модели компьютерного зрения могут даже сегментировать мягкий пластик, такой как пленки и пакеты, что особенно сложно, так как они часто спутываются. Модели YOLO11 также могут быть обучены под конкретную задачу (custom-trained) для сегментации различных типов пластика. Мы узнаем больше о том, как обучить собственную модель (custom-train) YOLO11, в следующих разделах.

Рис. 4. Идентификация пластиковых отходов с помощью Ultralytics YOLO11.

Link to this sectionСегментация YOLO11 в автономных транспортных средствах#

Еще один интересный сценарий использования сегментации экземпляров — это автономные автомобили. YOLO11 позволяет самоуправляемым автомобилям повысить безопасность пассажиров и других участников дорожного движения за счет точного распознавания объектов на уровне пикселей. Бортовая система камер автомобиля может захватывать изображения окружающей обстановки и анализировать их с помощью YOLO11 и сегментации экземпляров. Каждый объект (пешеходы, светофоры, другие транспортные средства и т.д.) на изображении сегментируется, и ему присваивается метка. Такой уровень точности дает автономным автомобилям способность идентифицировать каждый объект вокруг себя.

Рис. 5. Использование YOLO11 и сегментации экземпляров для идентификации транспортных средств и пешеходов на дороге.

Link to this sectionПробуем сегментацию экземпляров с моделью YOLO11#

Теперь, когда мы изучили сегментацию экземпляров и обсудили некоторые её применения, давай посмотрим, как ты можешь попробовать её в деле с моделью Ultralytics YOLO11.

Есть два способа сделать это: использовать Python-пакет Ultralytics или Ultralytics HUB. Мы рассмотрим оба варианта, начиная с Python-пакета.

Link to this sectionЗапуск инференса с помощью YOLO11#

Запуск инференса (inference) включает использование модели для анализа новых, ранее не виденных данных. Чтобы запустить инференс с помощью модели сегментации экземпляров YOLO11 через код, нам нужно установить Python-пакет Ultralytics с помощью pip, conda или docker. Если при установке возникнут какие-либо проблемы, ты можешь обратиться к нашему Руководству по распространенным проблемам для устранения неполадок. После установки пакета ты можешь запустить приведенный ниже код, чтобы загрузить модель сегментации экземпляров YOLO11 и выполнить предсказания на изображении.

Рис. 6. Запуск инференса на изображении с использованием YOLO11n-seg.

Link to this sectionОбучение пользовательской модели YOLO11#

С той же настройкой кода ты также можешь обучить (train) пользовательскую модель YOLO11. С помощью тонкой настройки (fine-tuning) модели YOLO11 ты можешь создать пользовательскую версию модели, которая лучше соответствует требованиям твоего конкретного проекта. Например, ритейлеры могут использовать пользовательскую модель для точной сегментации физических параметров клиента, чтобы рекомендовать одежду, которая подходит по размеру. Приведенный ниже фрагмент кода показывает, как загрузить и обучить модель YOLO11 для сегментации экземпляров. Ты можешь начать с YAML-конфигурации или предобученной модели, перенести веса и обучить на датасете, таком как COCO, для достижения эффективной сегментации.

После завершения ты сможешь выполнять инференс с помощью пользовательской модели для своих конкретных задач. Используя опцию экспорта, ты также можешь экспортировать свою пользовательскую модель в другой формат.

Link to this sectionСегментация экземпляров YOLO11 в Ultralytics HUB#

Теперь, когда мы изучили запуск инференса и обучение пользовательской модели сегментации экземпляров YOLO11 через код, давай посмотрим на альтернативу без написания кода (no-code): Ultralytics HUB. Ultralytics HUB — это интуитивно понятная платформа компьютерного зрения, которая упрощает процесс обучения и развертывания моделей YOLO, включая модели сегментации экземпляров YOLO11.

Чтобы запустить инференс на изображениях, все, что тебе нужно сделать, это создать учетную запись, перейти в раздел «Models» и выбрать нужный вариант модели сегментации экземпляров YOLO11. Ты можешь загрузить изображение и просмотреть результаты предсказания в разделе предварительного просмотра, как показано ниже.

Рис. 7. Запуск инференса на Ultralytics HUB.

Link to this sectionОсновные выводы#

YOLO11 предлагает надежные возможности сегментации экземпляров, которые открывают целый мир возможностей в различных отраслях. От повышения безопасности в автономных транспортных средствах и мониторинга факельного сжигания газа в нефтегазовом секторе до автоматизации сортировки отходов на предприятиях по переработке — точность YOLO11 на уровне пикселей делает её идеальной для сложных задач сегментации.

Благодаря возможностям обучения через Python-пакет Ultralytics и настройке без кода через Ultralytics HUB, пользователи могут легко интегрировать YOLO11 в свои рабочие процессы. Будь то промышленное применение, здравоохранение, ритейл или экологический мониторинг, YOLO11 обеспечивает гибкость и точность для удовлетворения разнообразных потребностей в сегментации.

Чтобы узнать больше, посети наш репозиторий на GitHub и присоединяйся к нашему сообществу. Изучай применение ИИ в беспилотных автомобилях и сельском хозяйстве на наших страницах с решениями. 🚀