Присоединяйтесь к нам, и мы подробно рассмотрим, что такое сегментация экземпляров, как она работает, ее применение в различных приложениях компьютерного зрения и какое влияние она может оказать.
Приложения компьютерного зрения становятся все более распространенными в нашей повседневной жизни, от дорожных камер, контролирующих состояние дорог, до систем самообслуживания в магазинах. Предоставляя машинам возможность понимать визуальные данные аналогично людям, Vision AI оказывает влияние на целый ряд отраслей.
Многие из этих приложений основаны на детекции объектов, задаче компьютерного зрения, которая размещает ограничивающие рамки вокруг ключевых объектов на изображениях. Хотя этот подход часто хорошо работает, некоторым решениям для анализа изображений требуется еще большая точность.
Например, медицинская визуализация требует большего, чем просто обнаружение опухоли — крайне важно очертить ее точную форму. Аналогично, в робототехнике машинам необходимо распознавать точные контуры объекта, чтобы правильно его захватить. Для решения этих задач сегментация экземпляров предлагает более точное решение.
Сегментация экземпляров — это задача компьютерного зрения, предназначенная для поддержки вариантов использования, когда обнаружения объектов недостаточно — она обеспечивает точность на уровне пикселей. Модели компьютерного зрения, такие как Ultralytics YOLO11, можно легко использовать для применения сегментации экземпляров к изображениям и видео.
В этом руководстве мы разберем, как работает сегментация экземпляров, ее применение и как Ultralytics YOLO11 можно настраивать для конкретных задач сегментации.
Предположим, есть групповая фотография людей, стоящих близко друг к другу. Детекция объектов может помочь нарисовать рамки вокруг каждого человека, но это не покажет их точную форму.
Сегментация экземпляров, с другой стороны, похожа на тщательную обрисовку каждого человека, чтобы можно было увидеть его полный контур, даже если они перекрываются. Вместо того чтобы просто отмечать местоположение объекта рамкой, она определяет точную форму каждого объекта на уровне пикселей, что облегчает понимание сложных изображений.
В результате получается детальная маска, которая заполняет форму объекта, точно определяя, какие пиксели к нему относятся. Этот уровень точности полезен во многих реальных приложениях, где важно понимать точную форму и границы объектов.
При изучении сегментации экземпляров вы можете столкнуться с концепцией семантической сегментации.
Обе техники помогают компьютерам понимать изображения на уровне пикселей, но служат разным целям. Семантическая сегментация маркирует каждый пиксель на основе его категории, группируя все объекты одного типа вместе. Например, на изображении с несколькими автомобилями семантическая сегментация отметит их все как «автомобиль», не делая различий между отдельными транспортными средствами.
Сегментация экземпляров, с другой стороны, идет дальше, идентифицируя каждый объект отдельно. Она присваивает уникальные метки отдельным экземплярам и создает точные маски вокруг их форм. Таким образом, на том же изображении сегментация экземпляров не просто пометит все как «автомобиль», а распознает и обведет каждый автомобиль индивидуально.
Основное различие между ними заключается в том, что семантическая сегментация группирует объекты по категориям, в то время как сегментация экземпляров различает каждый объект как уникальную сущность с четкими границами. Выбор задачи зависит от конкретного приложения — достаточно ли знать, что находится на изображении, или важно различать отдельные объекты.
В настоящее время сообществу Vision AI доступно множество моделей сегментации экземпляров. Некоторые из них быстрее, некоторые — точнее, а некоторые — проще в использовании.
Эти варианты, хотя и полезны, могут привести к вопросу, какой из них лучше всего использовать для конкретной задачи? Среди вариантов модели Ultralytics YOLO довольно популярны, потому что они ориентированы на скорость и точность.
Кроме того, эти модели значительно эволюционировали с годами. Например, Ultralytics YOLOv5 упростила развертывание с использованием таких фреймворков, как PyTorch, сделав передовые технологии Vision AI доступными для более широкой аудитории, не требуя глубоких технических знаний.
Опираясь на этот успех, Ultralytics YOLOv8 представила расширенную поддержку задач компьютерного зрения, таких как сегментация экземпляров, оценка позы и классификация изображений.
Теперь YOLO11 выводит производительность на новый уровень. Она достигает более высокой средней точности (mAP) на наборе данных COCO с на 22% меньшим количеством параметров, чем YOLOv8m, что означает, что она может распознавать объекты более точно, используя при этом меньше ресурсов.
Проще говоря, YOLO11 обеспечивает современную точность без ущерба для эффективности, что делает ее революционным решением в этой области.
Далее давайте рассмотрим, как обычно работает сегментация экземпляров. Более старые модели компьютерного зрения используют двухэтапный подход.
Сначала они обнаруживают объекты, рисуя вокруг них ограничивающие рамки. Затем они генерируют маску на уровне пикселей, чтобы очертить точную форму каждого объекта. Хорошо известным примером является Mask R-CNN, которая строится на моделях обнаружения объектов, добавляя шаг предсказания маски. Хотя этот метод эффективен, он может быть медленным, поскольку обрабатывает изображение в несколько этапов, что затрудняет применение в реальном времени.
Между тем, такие модели, как YOLO11, обрабатывают изображения за один проход, одновременно предсказывая ограничивающие рамки объектов и маски сегментации экземпляров. Этот оптимизированный подход делает его намного быстрее, сохраняя при этом высокую точность. В результате он особенно полезен для приложений реального времени, таких как автономное вождение, анализ видео и робототехника, где важны как скорость, так и точность.
YOLO11 поставляется как предварительно обученная модель. Она была обучена на наборе данных COCO-Seg, который охватывает повседневные объекты для сегментации экземпляров. Однако пакет Ultralytics Python поддерживает пользовательское обучение, которое необходимо для специализированных приложений, где требуется сегментировать уникальные объекты.
Почему важно пользовательское обучение или тонкая настройка модели? Пользовательское обучение использует трансферное обучение, опираясь на знания, уже встроенные в предварительно обученные модели. Вместо того чтобы начинать с нуля, оно адаптирует существующую модель к новым задачам, используя меньшие наборы данных и меньшее количество вычислительных ресурсов, сохраняя при этом высокую точность.
Вот более подробный обзор шагов, связанных с точной настройкой YOLO11 для instance segmentation:
Instance segmentation может использоваться для решения реальных задач, помогая машинам видеть и понимать объекты более точно. От улучшения автоматизации до защиты окружающей среды, она играет ключевую роль во многих областях. Давайте рассмотрим несколько примеров того, где она оказывает влияние.
Instance segmentation может быть критически важной частью обеспечения безопасности и эффективности на строительных площадках. Например, ее можно использовать для мониторинга тяжелой техники.
YOLO11 можно точно настроить для точной сегментации и идентификации различных типов оборудования, таких как краны, экскаваторы и бульдозеры, а также для отслеживания их местоположения в режиме реального времени. Это позволяет руководителям площадки убедиться, что техника работает строго в пределах отведенных зон и не заходит в зоны, где присутствуют рабочие или существуют опасности.
Кроме того, интеграция таких решений с системами оповещения в режиме реального времени позволяет оперативно принимать корректирующие меры. Помимо этого, собранные данные могут помочь оптимизировать планировку площадки и рабочий процесс, что еще больше снижает риски и повышает производительность.
Мониторинг поведения животных помогает исследователям, фермерам и экологам лучше заботиться о животных в различных средах. Instance segmentation играет полезную роль в этих системах, идентифицируя и сегментируя отдельных животных на фермах, в зоопарках и в естественной среде обитания. В отличие от традиционного object detection, который использует ограничивающие рамки, instance segmentation обеспечивает разграничение каждого животного на уровне пикселей, что особенно полезно, когда животные находятся в непосредственной близости друг от друга.
Детальная сегментация облегчает более точное отслеживание движений и поведения. Перекрывающиеся или тесно сгруппированные животные могут быть четко распознаны, что обеспечивает более точный анализ взаимодействий, оценки состояния здоровья и моделей активности. В целом, более глубокое понимание поведения животных улучшает практику ухода за животными и управления ими.
Точное отслеживание игроков и событий является огромной частью спортивного анализа. Традиционные методы отслеживания основаны на ручной разметке, которая может не фиксировать детальные взаимодействия. Computer vision можно использовать для сегментирования деталей, таких как каждый игрок, мяч и ключевое событие, на уровне пикселей, чтобы получить подробные сведения.
Например, instance segmentation может помочь обнаружить такие события, как фолы или инциденты вне игры, четко разделяя каждого игрока и объект. Этот детальный мониторинг, обеспечиваемый такими моделями, как YOLO11, предлагает аналитикам более четкую информацию для изучения моделей движения, пространственного позиционирования и взаимодействий с высокой точностью. Ключевым преимуществом этих данных является то, что они помогают командам совершенствовать свои стратегии и повышать общую производительность.
Вот некоторые из ключевых преимуществ, которые instance segmentation может принести различным отраслям:
Хотя эти преимущества подчеркивают, как instance segmentation влияет на различные варианты использования, также важно учитывать проблемы, связанные с ее внедрением.
Вот некоторые из ключевых ограничений сегментации экземпляров:
Сегментация экземпляров позволяет различать отдельные объекты с высокой точностью, даже когда они перекрываются. Захватывая границы объектов на уровне пикселей, она обеспечивает более глубокое понимание визуальных данных по сравнению с традиционными задачами компьютерного зрения, такими как обнаружение объектов.
Недавние достижения в области компьютерного зрения сделали сегментацию экземпляров быстрее и проще в использовании. В частности, модели компьютерного зрения, такие как Ultralytics YOLO11, упрощают этот процесс, обеспечивая сегментацию в реальном времени с минимальной настройкой, что делает ее более доступной для различных отраслей и приложений.
Интересуетесь искусственным интеллектом? Посетите наш репозиторий на GitHub и присоединяйтесь к нашему сообществу, чтобы продолжить изучение. Узнайте об инновациях, таких как искусственный интеллект в самоуправляемых автомобилях и Vision AI в сельском хозяйстве, на страницах наших решений. Ознакомьтесь с нашими вариантами лицензирования и начните свой проект в области компьютерного зрения!
