Руководство по отслеживанию движущихся объектов на видео с моделями Ultralytics YOLO

Роботы, которые могут собирать электрические детали, системы, ловящие превышающие скорость автомобили, и умные решения для ритейла, отслеживающие покупки клиентов — все эти инновации опираются на computer vision. Это ветвь искусственного интеллекта (AI), которая помогает машинам анализировать и понимать изображения и видео.

Например, роботу нужно распознавать и сопровождать различные детали, чтобы правильно их собрать. Точно так же система дорожного движения может использовать компьютерное зрение для обнаружения автомобилей, считывания номерных знаков и определения случаев превышения скорости. В то же время в магазинах ИИ-зрение помогает отслеживать, на что смотрят покупатели или что они берут, и даже контролировать наличие товаров на полках.

Такие приложения работают на базе моделей компьютерного зрения, таких как Ultralytics YOLO11, поддерживающих широкий спектр визуальных задач. Многие из этих задач сосредоточены на сборе информации с одного изображения, но одна особо интересная задача, object tracking, может использоваться для отслеживания движения объектов по серии изображений или кадрам видео.

Fig 1. Пример обнаружения и отслеживания автомобилей.

В этом руководстве мы подробнее разберем, как работает отслеживание объектов, и рассмотрим примеры его использования в реальных задачах. Мы также обсудим, как ИИ-модели, такие как Ultralytics YOLO11, поддерживают отслеживание объектов. Приступим!

Более пристальный взгляд на системы отслеживания на базе компьютерного зрения#

Трекинг объектов — это computer vision task, используемая для следования за движением объектов по кадрам видео, помогая системам отслеживать и понимать, как все меняется со временем. Это очень похоже на то, как люди могут естественным образом следить глазами за движущимся человеком или предметом, например, когда ты смотришь теннисный матч, и твои глаза следят за мячом, летящим туда-сюда по корту.

Точно так же отслеживание объектов предполагает использование камер и ИИ для слежения за движением мяча в реальном времени. Эта технология дает зрителям лучшее понимание хода игры, особенно благодаря аналитике, такой как скорость, траектория и позиционирование игроков.

Хотя такое визуальное отслеживание кажется простым для человека, в машинном зрении оно включает ряд шагов, выполняемых ИИ-моделями. Вот краткое описание того, как работает отслеживание объектов:

• Захват видео: Камеры записывают видео, фиксируя движение объектов в сцене с течением времени.
• Обнаружение объектов: Модели computer vision models на базе AI, такие как YOLO11, могут анализировать каждый кадр, чтобы идентифицировать и находить конкретные объекты, такие как люди, транспортные средства или продукты.
• Присвоение идентификатора: После обнаружения объекта алгоритмы отслеживания присваивают ему уникальный ID для сопровождения через несколько кадров, гарантируя, что система понимает: это один и тот же объект, даже когда он движется.
• Мониторинг движения: Система отслеживает движение во времени, и эти данные используются для сбора информации, такой как скорость, направление и взаимодействия с другими объектами.
• Генерация данных: Эта информация может использоваться в реальном времени для аналитики, поддержки принятия решений или создания визуальных наложений — в зависимости от конкретного сценария.

Сравнение обнаружения и отслеживания объектов с помощью YOLO#

Ещё одна задача компьютерного зрения, поддерживаемая в YOLO11 от Ultralytics и тесно связанная с трекингом объектов, — это детектирование объектов. Давай разберем разницу между этими двумя задачами.

Обнаружение объектов включает идентификацию и локализацию целевых объектов в одном изображении или кадре видео. Например, беспилотный автомобиль использует обнаружение объектов, чтобы распознать знак «Стоп» или пешехода на одном кадре, полученном с камер. Оно отвечает на вопрос: «Что изображено на этом снимке и где оно находится?». Однако оно не дает информации о том, куда объект переместится дальше.

Отслеживание объектов дополняет обнаружение пониманием движения во времени. Ключевое различие между ними заключается в том, как они работают со временем и движением. Обнаружение объектов рассматривает каждый кадр как независимый снимок, тогда как отслеживание объектов соединяет данные между кадрами, используя историю для прогнозирования будущего положения объекта.

Комбинируя обе задачи, мы можем создавать мощные системы визуального AI, способные выполнять трекинг в реальном времени в динамических средах. Например, автоматическая система безопасности может обнаруживать людей, входящих в помещение, и непрерывно track their movement по кадру.

Отслеживание в реальном времени с использованием моделей Ultralytics YOLO#

Теперь, когда мы разобрались в различиях между обнаружением и отслеживанием, давай посмотрим, как модели Ultralytics YOLO, например YOLO11, поддерживают отслеживание объектов в реальном времени.

Хотя модели YOLO сами по себе не являются алгоритмами отслеживания, они играют важнейшую роль в обнаружении объектов на каждом кадре. После того как объекты обнаружены, требуются алгоритмы отслеживания для присвоения им уникальных ID, что позволяет системе сопровождать их движение от кадра к кадру.

Для решения этой задачи Ultralytics Python package плавно интегрирует обнаружение объектов с популярными алгоритмами трекинга, такими как BoT-SORT и ByteTrack. Эта интеграция позволяет пользователям запускать обнаружение и трекинг вместе с минимальной настройкой.

Используя модели YOLO для отслеживания, ты можешь выбрать алгоритм в зависимости от требований твоего приложения. Например, BoT-SORT — хороший вариант для объектов с непредсказуемым движением благодаря использованию прогнозирования движения и глубокого обучения. ByteTrack, в свою очередь, особенно эффективен в плотных сценах, сохраняя надежное отслеживание, даже если объекты размыты или частично скрыты.

Fig 2. Пакет Ultralytics Python плавно интегрирует BoT-SORT и ByteTrack.

Как обучение пользовательских моделей YOLO связано с отслеживанием объектов?#

Кастомное обучение — это процесс дообучения предобученной модели детекции объектов, такой как Ultralytics YOLO11, на определенном наборе данных, чтобы она могла распознавать объекты, не входящие в стандартные датасеты. Это особенно важно, когда твоей системе трекинга нужно отслеживать кастомные или редкие объекты.

Системы отслеживания полагаются на модель обнаружения, которая сначала должна распознать объект. Если модель YOLO не может обнаружить конкретный предмет, например, определенный тип оборудования или вид животных, алгоритм отслеживания не сможет его сопровождать.

Именно поэтому пользовательское обучение необходимо: оно гарантирует, что модель обнаружения будет точно идентифицировать объекты, которые ты хочешь отслеживать.

Также важно помнить, что в этом процессе дообучается только модель обнаружения. Алгоритмы отслеживания, такие как BoT-SORT или ByteTrack, не обучаются специально — они просто используют вывод модели YOLO для сопровождения обнаруженных объектов на кадрах.

Применение отслеживания объектов с Ultralytics YOLO#

Теперь, когда у нас есть лучшее понимание того, что такое отслеживание объектов и как оно работает, давай исследуем некоторые реальные приложения, где эта технология приносит пользу.

Отслеживание в реальном времени с использованием Ultralytics YOLO для оценки скорости#

Speed estimation системы на базе компьютерного зрения зависят от таких задач, как обнаружение и трекинг объектов. Эти системы созданы для расчета скорости движения объекта — будь то автомобиль, велосипедист или даже человек. Эта информация критически важна для множества приложений: от управления дорожным движением до мониторинга безопасности и промышленной автоматизации.

Используя модель вроде Ultralytics YOLO11, объекты могут быть обнаружены и отслежены по видеокадрам. Анализируя, как далеко объект перемещается за определенный промежуток времени, система может оценить его скорость.

Fig 3. Использование поддержки трекинга объектов в YOLO11 для оценки скорости.

Изучение отслеживания объектов в производстве#

Производственные процессы могут быть динамичными и крайне сложными, из-за чего вручную следить за каждым производимым товаром бывает трудно. Отслеживание объектов предлагает отличное решение для автоматизации контроля продукции на каждом этапе производства. Оно помогает фабрикам поддерживать высокие уровни точности и эффективности, не замедляя темп работы.

От подсчета товаров на конвейере до обнаружения дефектов или проверки правильности сборки — трекинг объектов привносит видимость и контроль в задачи, которые иначе отнимали бы много времени или были подвержены ошибкам. Эта технология особенно эффективна в высоконагруженных индустриях, таких как food processing, электроника и упаковка, где скорость и точность имеют решающее значение.

Рис. 4. Пример трекинга и подсчета пищевых продуктов на конвейере с помощью YOLO11 от Ultralytics.

Обзор отслеживания объектов в розничной аналитике#

Бесчисленное количество покупателей заходит в retail stores и выходит из них каждый день, и понимание их поведения — ключ к улучшению как клиентского опыта, так и бизнес-показателей. Трекинг объектов позволяет ретейлерам мониторить пешеходный трафик, измерять время пребывания и анализировать паттерны движения — и все это без необходимости использования инвазивных или ручных методов.

Отслеживая людей, когда они входят, выходят и перемещаются по магазину, компании могут получить данные о часах пик, популярных зонах и даже длине очередей. Эти инсайты могут помочь в решениях относительно штатного расписания, планировки магазина и расстановки товаров, что в итоге ведет к более эффективным операциям и росту продаж.

Рис. 5. Использование возможностей трекинга объектов в YOLO11 от Ultralytics для мониторинга людей, входящих в магазин и выходящих из него.

Плюсы и минусы отслеживания объектов#

От розничных магазинов до цехов заводов — отслеживание объектов используется во множестве отраслей для повышения эффективности, безопасности и общего качества обслуживания. Вот некоторые ключевые преимущества, которые отслеживание объектов приносит различным индустриям:

• Обеспечивает оповещения в реальном времени: Системы с интеграцией отслеживания объектов могут быть настроены на автоматическую отправку уведомлений при обнаружении чего-то необычного, например, если человек заходит в ограниченную зону или доставка оставлена на месте на слишком долгое время.
• Интеграция с другими системами: Данные трекинга объектов могут быть объединены с другими технологиями, такими как facial recognition, тепловизионные камеры или системы инвентаризации, для получения еще более мощных инсайтов.
• Экономически выгодно в долгосрочной перспективе: Хотя первоначальная настройка может потребовать инвестиций, автоматизированное отслеживание снижает потребность в ручном труде, уменьшает вероятность ошибок и сокращает операционные расходы с течением времени.

Хотя эти преимущества подчеркивают положительное влияние отслеживания объектов на разные сценарии, важно также учитывать сложности при его внедрении. Давай подробнее рассмотрим некоторые ограничения:

• Сложности в crowded environments: В оживленных местах, таких как концерты, торговые центры или городские улицы, системы трекинга могут испытывать трудности с разведением людей или объектов, находящихся близко друг к другу, что приводит к путанице или неточным результатам.

• Чувствительность к условиям окружающей среды: Плохое освещение, туман, быстрое движение или тряска камеры могут повлиять на способность системы точно отслеживать объекты, особенно в условиях улицы или неконтролируемой среды.

• Вопросы приватности и законодательства: Ненадлежащее обращение с персональными данными, отсутствие согласия пользователя или наблюдение в общественных местах могут вызвать этические проблемы и привести к нарушению законов о конфиденциальности.

Основные выводы#

Отслеживание объектов — это задача компьютерного зрения, позволяющая машинам следить за движением объектов во времени. Она используется в широком спектре реальных сценариев — от оценки скорости транспорта и подсчета товаров на сборочной линии до анализа движений игроков в спорте.

С моделями Vision AI, такими как Ultralytics YOLO11, и алгоритмами трекинга вроде BoT-SORT и ByteTrack, трекинг объектов стал быстрее, умнее и доступнее в различных отраслях. По мере эволюции технологии трекинга объектов она помогает системам становиться умнее, эффективнее и оперативнее — кадр за кадром.

Хочешь узнать больше о компьютерном зрении и ИИ? Изучи наш репозиторий на GitHub, присоединяйся к нашему сообществу и ознакомься с нашими вариантами лицензирования, чтобы дать старт своему проекту в области компьютерного зрения. Если ты изучаешь такие инновации, как ИИ в производстве и компьютерное зрение в автомобильной промышленности, посети страницы наших решений, чтобы узнать больше.