Multi-Object Tracking (MOT)

Многообъектное отслеживание (MOT) — это динамическая задача в области компьютерного зрения (CV), которая включает обнаружение множества отдельных объектов в видеопотоке и сохранение их идентификаторов с течением времени. В отличие от стандартного обнаружения объектов, которое рассматривает каждый кадр как отдельный снимок, MOT привносит временное измерение в искусственный интеллект (AI). Присваивая уникальный идентификационный номер (ID) каждому обнаруженному экземпляру — например, конкретному пешеходу в толпе или транспортному средству на шоссе, — алгоритмы MOT позволяют системам отслеживать траектории, анализировать поведение и понимать взаимодействия. Эта возможность является основополагающей для современного видеоанализа и позволяет машинам воспринимать непрерывность в изменяющейся среде.

Link to this sectionКак работает MOT#

Большинство современных систем отслеживания работают по парадигме «отслеживание через обнаружение». Этот подход разделяет процесс на два основных этапа: определение того, что находится в кадре, и последующее сопоставление этих результатов с известными объектами из прошлого.

1. Обнаружение: В каждом кадре высокопроизводительная модель, такая как YOLO26, сканирует изображение для поиска объектов, создавая ограничивающие рамки и определяя вероятности классов.

2. Прогнозирование движения: Чтобы предвидеть, куда объект переместится дальше, алгоритмы часто используют Фильтр Калмана. Этот математический инструмент оценивает состояние динамической системы — например, скорость и положение, — помогая сузить область поиска в следующем кадре.

3. Ассоциация данных: Система сопоставляет новые обнаружения с существующими треками. Методы оптимизации, такие как венгерский алгоритм, решают эту задачу назначения путем минимизации затрат на сопоставление, часто полагаясь на Intersection over Union (IoU) для измерения пространственного перекрытия.

4. Повторная идентификация (ReID): При возникновении визуальных препятствий, известных как окклюзия, современные трекеры используют визуальные эмбеддинги, чтобы распознать объект, когда он снова появляется. Это помогает предотвратить «переключение ID», гарантируя, что система понимает: автомобиль, выехавший из туннеля, — это тот же самый автомобиль, который в него въехал.

Link to this sectionОтличие MOT от отслеживания одного объекта#

Хотя терминология схожа, Многообъектное отслеживание (MOT) существенно отличается от Отслеживания одного объекта (SOT). SOT фокусируется на следовании за одной конкретной целью, инициализированной в первом кадре, часто игнорируя все остальные объекты. В отличие от этого, MOT должен обрабатывать неизвестное и изменяющееся количество целей, которые могут появляться в кадре или покидать его в любое время. Это делает MOT вычислительно более требовательным, так как требует надежной логики для обработки инициализации трека, его завершения и сложных взаимодействий между несколькими движущимися телами.

Link to this sectionРеальные приложения#

Способность отслеживать несколько сущностей одновременно стимулирует инновации во многих крупных отраслях.

• Автономное вождение: Беспилотные автомобили сильно зависят от MOT для безопасной навигации. Отслеживая пешеходов, велосипедистов и другие транспортные средства, автономные системы могут прогнозировать будущие позиции для предотвращения столкновений. Часто это включает объединение данных с камер и LiDAR сенсоров для максимальной надежности.
• Аналитика в розничной торговле: В физических магазинах ритейлеры используют AI в розничной торговле для составления карты покупательского пути. Алгоритмы MOT создают тепловые карты пешеходного трафика, помогая менеджерам оптимизировать планировку магазинов и улучшить управление очередями в часы пик.
• Спортивная аналитика: Профессиональные команды используют MOT для анализа движений игроков и построений команды. Отслеживая каждого игрока на поле, тренеры могут извлекать подробные метрики скорости, пройденного расстояния и тактического позиционирования, используя методы оценки позы.

Link to this sectionРеализация MOT с помощью Python#

Ultralytics делает реализацию отслеживания с помощью передовых моделей простой задачей. Метод track() органично интегрирует логику обнаружения и отслеживания, поддерживая такие алгоритмы, как ByteTrack и BoT-SORT. В примере ниже показано отслеживание транспортных средств на видео с использованием рекомендованной модели YOLO26.

from ultralytics import YOLO

# Load the official YOLO26 small model
model = YOLO("yolo26s.pt")

# Track objects in a video file (or use '0' for webcam)
# The 'persist=True' argument keeps track IDs consistent between frames
results = model.track(source="traffic_analysis.mp4", show=True, persist=True)

# Print the IDs of objects tracked in the first frame
if results[0].boxes.id is not None:
    print(f"Tracked IDs: {results[0].boxes.id.int().tolist()}")

Link to this sectionПроблемы в многообъектном отслеживании#

Несмотря на достижения, MOT остается сложной областью. Окклюзия — главная трудность; когда объекты пересекаются или скрываются за препятствиями, сохранение идентификации становится сложной задачей. Переполненные сцены, такие как оживленный марафон или стая птиц, проверяют пределы возможностей алгоритмов ассоциации данных. Более того, поддержание скоростей инференса в реальном времени при обработке видеопотоков высокого разрешения требует эффективных архитектур моделей и часто специализированного оборудования, такого как устройства NVIDIA Jetson.

Для решения этих проблем исследователи изучают методы глубокого обучения типа «end-to-end», которые объединяют обнаружение и отслеживание в единую сеть, а также используют платформу Ultralytics для разметки сложных наборов данных и обучения надежных пользовательских моделей.