Multi-Object Tracking (MOT)

Многоцелевое отслеживание (MOT) — это динамическая задача в компьютерном зрении (CV), которая заключается в обнаружении нескольких различных объектов в видеопотоке и сохранении их идентификаторов с течением времени. В отличие от стандартного обнаружения объектов, которое рассматривает каждый кадр как изолированный снимок, MOT привносит временное измерение в искусственный интеллект (AI). Присваивая уникальный идентификационный номер (ID) каждому обнаруженному экземпляру — например, конкретному пешеходу в толпе или автомобилю на шоссе, — алгоритмы MOT позволяют системам отслеживать траектории, анализировать поведение и понимать взаимодействия. Эта способность является основополагающей для современного понимания видео и позволяет машинам воспринимать непрерывность в меняющейся среде.

Как работает MOT#

Большинство современных систем отслеживания работают по парадигме «отслеживание через обнаружение». Этот подход разделяет процесс на два основных этапа: определение того, что находится в кадре, и последующее сопоставление этих результатов с известными объектами из прошлого.

1. Обнаружение: В каждом кадре высокопроизводительная модель, такая как YOLO26, сканирует изображение для поиска объектов, создавая ограничивающие рамки и вероятности классов.

2. Прогнозирование движения: Чтобы предугадать, куда объект переместится дальше, алгоритмы часто используют фильтр Калмана. Этот математический инструмент оценивает состояние динамической системы — например, скорость и положение, — помогая сузить область поиска в следующем кадре.

3. Связывание данных: Система сопоставляет новые обнаружения с существующими треками. Методы оптимизации, такие как венгерский алгоритм, решают эту задачу назначения путем минимизации стоимости сопоставления, часто опираясь на пересечение по объединению (IoU) для измерения пространственного перекрытия.

4. Повторная идентификация (ReID): Когда возникают визуальные препятствия, известные как окклюзия, продвинутые трекеры используют визуальные эмбеддинги, чтобы распознать объект при его повторном появлении. Это помогает предотвратить «подмену ID», гарантируя, что система понимает: выехавший из туннеля автомобиль — это тот же самый автомобиль, который в него въехал.

Отличие MOT от отслеживания одного объекта#

Хотя терминология похожа, многоцелевое отслеживание (MOT) существенно отличается от отслеживания одного объекта (SOT). SOT фокусируется на преследовании одной конкретной цели, инициализированной в первом кадре, часто игнорируя все остальные сущности. В противоположность этому, MOT должна обрабатывать неизвестное и изменяющееся количество целей, которые могут появляться в сцене или покидать ее в любой момент. Это делает MOT более требовательной к вычислительным ресурсам, так как ей необходима надежная логика для управления инициализацией, завершением треков и сложными взаимодействиями между несколькими движущимися телами.

Реальные приложения#

Способность отслеживать несколько сущностей одновременно стимулирует инновации во многих крупных отраслях.

• Автономное вождение: Самоуправляемые автомобили сильно зависят от MOT для безопасной навигации. Отслеживая пешеходов, велосипедистов и другие транспортные средства, автономные системы могут прогнозировать будущие положения для предотвращения столкновений. Для максимальной надежности это часто включает объединение данных с камер и лидарных датчиков.
• Ритейл-аналитика: В физических магазинах ритейлеры используют AI в ритейле для картирования клиентских путей. Алгоритмы MOT генерируют тепловые карты пешеходного трафика, помогая менеджерам оптимизировать планировку магазина и улучшать управление очередями в часы пик.
• Спортивная аналитика: Профессиональные команды используют MOT для анализа движений игроков и командных построений. Отслеживая каждого игрока на поле, тренеры могут извлекать подробные метрики скорости, пройденного расстояния и тактического позиционирования с помощью методов оценки позы.

Реализация MOT с помощью Python#

Ultralytics делает реализацию отслеживания с помощью передовых моделей простой и понятной. Метод track() легко интегрирует логику обнаружения и отслеживания, поддерживая такие алгоритмы, как ByteTrack и BoT-SORT. Пример ниже демонстрирует отслеживание транспортных средств на видео с использованием рекомендуемой модели YOLO26.

from ultralytics import YOLO

# Load the official YOLO26 small model
model = YOLO("yolo26s.pt")

# Track objects in a video file (or use '0' for webcam)
# The 'persist=True' argument keeps track IDs consistent between frames
results = model.track(source="traffic_analysis.mp4", show=True, persist=True)

# Print the IDs of objects tracked in the first frame
if results[0].boxes.id is not None:
    print(f"Tracked IDs: {results[0].boxes.id.int().tolist()}")

Проблемы в многообъектном отслеживании#

Despite advancements, MOT remains a challenging field. Occlusion is a primary difficulty; when objects cross paths or hide behind obstacles, maintaining identity is complex. Crowded scenes, such as a busy marathon or a flock of birds, test the limits of data association algorithms. Furthermore, maintaining real-time inference speeds while processing high-resolution video streams requires efficient model architectures and often specialized hardware like NVIDIA Jetson devices.

Для решения этих задач исследователи изучают подходы сквозного глубокого обучения, которые объединяют обнаружение и отслеживание в единую сеть, а также задействуют платформу Ultralytics для разметки сложных наборов данных и обучения надежных кастомных моделей.