Слежение за несколькими объектами (MOT)

Отслеживание нескольких объектов (MOT) является ключевой задачей в компьютерного зрения, которая включает в себя обнаружение нескольких различных объектов в видеопотоке и сохранение их уникальной идентичности в последовательных кадрах. В то время как стандартное обнаружение объектов идентифицирует то, что присутствует на одном статичном изображении, MOT вводит временное измерение, отвечая на вопрос, где конкретные объекты перемещаются во времени. объекты перемещаются с течением времени. Присваивая каждому обнаруженному объекту постоянный идентификационный номер (ID), MOT позволяет системам анализировать траектории движения, понимать взаимодействие и подсчитывать уникальные объекты, что делает его фундаментальным компонентом современных приложений для понимания видео. фундаментальным компонентом современных приложений для понимания видео.

Механика систем слежения

Большинство современных систем MOT, включая те, которые работают от YOLO11работают по принципу "слежения за обнаружением". парадигма. В этом случае процесс разделяется на отдельные этапы, которые повторяются для каждого кадра видео, что обеспечивает высокую точность и непрерывность.

1. Обнаружение: Сначала система использует высокопроизводительную модель для обнаружения интересующих объектов, генерируя ограничительные рамки и баллы доверия.
2. Предсказание движения: Чтобы связать обнаружения в разных кадрах, алгоритмы, такие как фильтр Калмана, оценивают будущее положение объекта на основе его прошлой скорости и местоположения. Это создает оценка состояния, которая сужает область поиска для следующего кадра.
3. Объединение данных: Система сопоставляет новые обнаружения с существующими треками. Методы оптимизации такие как венгерский алгоритм, решают эту проблему присвоения путем минимизации стоимости сопоставления, часто вычисляя Пересечение над объединением (IoU) между прогнозируемым track и новым обнаружением.
4. Повторная идентификация (Re-Identification, ReID): В сценариях, где объекты пересекаются или временно скрыты - явление, известное как окклюзия. явление, известное как окклюзия - передовые трекеры используют визуальные вкрапления для распознавания объекта при его повторном появлении, предотвращая смену идентификатора.

MOT в сравнении со смежными терминами компьютерного зрения

Важно отличать MOT от схожих концепций, чтобы выбрать подходящую технологию для конкретного случая использования.

• По сравнению с обнаружением объектов: Обнаружение рассматривает каждый кадр как независимое событие. Если автомобиль появляется в в двух последовательных кадрах, детектор видит два отдельных экземпляра "автомобиля". В отличие от этого, отслеживание объектов связывает эти экземпляры, распознавая их как один и тот же автомобиль, движущийся во времени.
• В сравнении с отслеживанием одного объекта (SOT): SOT фокусируется на слежении за одной конкретной целью, инициализированной пользователем. пользователя, часто игнорируя все остальные действия. MOT является более сложной системой, поскольку она должна автономно detect, track и управлять неизвестным и колеблющимся количеством объектов, входящих и выходящих из сцены, что требует надежной логики управления памятью. логики управления памятью.

Применение в реальном мире

Возможность одновременного track нескольких объектов способствует инновациям в различных отраслях, преобразуя необработанные видеоданные в действенные. данные в действенные в полезные данные для предиктивного моделирования.

• Интеллектуальный транспорт: В области ИИ в автомобилестроении, MOT имеет решающее значение для автономного вождения и мониторинга дорожного движения. Он позволяет системам выполнять оценивать скорость, вычисляя расстояние, пройденное и предсказывать возможные столкновения, отслеживая траектории движения пешеходов и велосипедистов. велосипедистов.
• Аналитика розничной торговли: Кирпичные и обычные магазины используют ИИ в розничной торговле для понимания поведения покупателей. На сайте применения MOT для точного подсчета объектов, ритейлеры могут измерять пешеходный трафик, анализировать время пребывания в определенных проходах и оптимизировать управление очередями для улучшения качества покупок опыт покупок.
• Спортивный анализ: Тренеры и аналитики используют MOT для track игроков и мяча во время матчей. Эти Данные позволяют проводить расширенный анализ оценки позы, помогая командам понять командам понять расстановку, усталость игроков и динамику игры в в сценариях вывода данных в реальном времени.

Реализация трекинга с помощью Python

Сайт ultralytics Пакет упрощает работу с MOT, интегрируя такие мощные трекеры, как BoT-SORT и ByteTrack непосредственно в конвейер предсказания конвейер. Эти трекеры можно легко менять местами с помощью аргументов.

В следующем примере показано, как загрузить предварительно обученную модель YOLO11 и применить отслеживание к видеофайлу:

from ultralytics import YOLO

# Load an official YOLO11 model pretrained on COCO
model = YOLO("yolo11n.pt")

# Perform tracking on a video file
# 'persist=True' ensures IDs are maintained between frames
# 'tracker' allows selection of algorithms like 'bytetrack.yaml' or 'botsort.yaml'
results = model.track(source="traffic_analysis.mp4", persist=True, tracker="bytetrack.yaml")

# Visualize the results
for result in results:
    result.show()

Этот код обрабатывает весь конвейер, от обнаружения до присвоения идентификатора, позволяя разработчикам сосредоточиться на высокоуровневой логике высокого уровня, такой как подсчет регионов или поведенческий анализ поведения. Для дальнейшей настройки обратитесь к документацию по режиму отслеживания.