Компьютерное зрение повышает надёжность отслеживания движения

Когда ты смотришь спектакль и твой любимый актёр перемещается по сцене, твои глаза следят за ним почти без сознательных усилий. Для человека такое отслеживание движения кажется естественным. Мозг автоматически связывает то, что ты видишь в один момент, с тем, что видишь в следующий, восполняя пробелы и сохраняя ощущение непрерывности по мере смены сцен.

Для машин эта задача гораздо сложнее. Камера записывает видео как последовательность отдельных кадров, а системе приходится снова и снова пошагово распознавать один и тот же объект, чтобы оценить, куда он переместился, и определить, нужно ли по-прежнему его отслеживать.

Эта задача лежит в основе отслеживания движения. Отслеживание движения подразумевает наблюдение за объектом в видео с течением времени и играет важную роль в таких областях, как спортивная аналитика, робототехника и мобильные приложения.

Традиционные методы отслеживания движения и камеры часто зависят от ручной настройки, опорных точек и ключевых кадров. В простых сценах они могут работать, но при быстром движении или частичном перекрытии быстро становятся медленными и ненадёжными.

Рис. 1. Пример системы отслеживания движения (Источник)

Последние достижения в области компьютерного зрения значительно упрощают эту задачу. Компьютерное зрение — это область AI, которая помогает машинам понимать изображения и видео, делая отслеживание движения более точным и менее зависимым от ручной работы. Распознавая объекты в каждом кадре и сохраняя их идентичность с течением времени, такие системы надёжнее отслеживают движение в реальных условиях.

В этой статье мы рассмотрим, как компьютерное зрение может сделать отслеживание движения более эффективным. Давай начнём!

Традиционные методы захвата и отслеживания движения и их ограничения#

Традиционное отслеживание движения часто требует тщательной ручной настройки, особенно в рабочих процессах видеомонтажа и VFX, где цель заключается в привязке графики, эффектов или наложений к движущимся элементам видеозаписи.

Многие рабочие процессы начинаются с размещения опорных точек на определённых частях кадра, после чего программа отслеживает их по кадрам, чтобы построить траекторию движения. Это распространено в таких инструментах, как After Effects, а похожие процессы встречаются в Premiere Pro в таких функциях, как отслеживание маски, когда монтажёры отслеживают маску или область с течением времени.

Совмещение движения — ещё один распространённый метод. Он помогает согласовать цифровые элементы с реальным движением камеры, чтобы эффекты или графика оставались на месте в живом кадре. Эти подходы хорошо работают в более простых сценах, но часто дают сбои, когда в кадре становится тесно или объекты быстро перемещаются.

Отслеживание также может нарушаться при изменении освещения или частичном перекрытии объектов, что приводит к смещению или внезапным скачкам траектории. Это замедляет рабочий процесс и вынуждает монтажёров заново обрабатывать отдельные фрагменты кадра. При быстрой смене направления движения старым трекерам движения может быть сложно успевать за объектами, из-за чего результаты становятся непоследовательными и менее надёжными.

Как компьютерное зрение преобразует отслеживание движения#

Передовые системы компьютерного зрения используют модели AI для отслеживания движущихся объектов в видео. Вместо постоянных ручных корректировок или хрупкого покадрового отслеживания модель изучает, как выглядит объект и как он обычно перемещается. Благодаря этому отслеживание движения остаётся стабильным даже в насыщенных сценах, при изменении освещения или кратковременном исчезновении объектов.

Например, модели компьютерного зрения, такие как Ultralytics YOLO11 и готовящаяся к выпуску Ultralytics YOLO26, поддерживают отслеживание объектов, распознавая объекты в каждом кадре. Проще говоря, они определяют, что находится в кадре и где именно, выдавая ограничивающие рамки и оценки уверенности для каждого обнаруженного объекта.

Рис. 2. Отслеживание автомобилей в зоне с помощью Ultralytics YOLO11 (Источник)

Интересно, что модели YOLO сами по себе не отслеживают объекты с течением времени. Вместо этого отслеживание обеспечивается через пакет Ultralytics для Python, который связывает результаты обнаружения YOLO с алгоритмами отслеживания нескольких объектов, такими как ByteTrack и BoT-SORT. В этой схеме YOLO обнаруживает объекты кадр за кадром, а трекер связывает эти обнаружения между кадрами, сохраняя постоянный ID каждого объекта по мере его движения.

Практическое применение отслеживания движения на основе AI#

Далее подробнее рассмотрим несколько реальных примеров, в которых отслеживание движения на основе AI уже приносит пользу.

Спортивная аналитика и точное отслеживание игроков#

В футбольном матче игроки постоянно ускоряются, останавливаются и меняют направление, из-за чего трудно точно измерять их перемещение по полю. Ручное отслеживание часто даёт сбой в такие моменты, особенно когда игроки перекрывают друг друга, собираются в группы или перемещаются по заполненным участкам.

Отслеживание движения на основе AI помогает, следя за каждым игроком во время игры и сохраняя чёткие и последовательные траектории их перемещения. Например, в одном недавнем исследовании учёные использовали YOLO11 для обнаружения игроков и мяча с нескольких ракурсов камеры. YOLO11 распознавал каждого игрока в каждом кадре, а система отслеживания связывала эти обнаружения во времени, сохраняя идентичность каждого игрока по мере его перемещения.

Рис. 3. Обнаружение и отслеживание нескольких футбольных игроков (Источник)

Отслеживание движения в дополненной и виртуальной реальности#

Дополненная реальность (AR) позволяет приложениям размещать цифровые объекты в реальном мире — например, этикетку на товаре, персонажа на полу или наложение на твою ногу во время движения. Чтобы такие эффекты выглядели правдоподобно, виртуальный контент должен оставаться привязанным к нужному месту, пока ты ходишь, наклоняешь телефон или сам перемещаешь объект.

Компьютерное зрение играет здесь ключевую роль, помогая мобильному устройству понять, на что оно смотрит и как камера перемещается в сцене. Иными словами, оно обеспечивает 3D-отслеживание, оценивая положение объекта в пространстве и его ориентацию, а затем обновляя это положение по мере движения пользователя.

Рис. 4. Пример 3D-отслеживания в приложении дополненной реальности (Источник)

Виртуальная реальность (VR) использует похожие принципы отслеживания, но цель здесь другая. Вместо привязки цифрового контента к реальному миру VR отслеживает положение твоей головы и рук, чтобы виртуальный мир естественно реагировал на твои движения.

Отслеживание движущегося оборудования и автоматизация процессов#

В промышленных условиях оборудование и продукция часто перемещаются через несколько этапов рабочего процесса. Каждый этап зависит от точного соблюдения времени и координации. Ручное отслеживание может не успевать за процессом, поскольку объекты движутся с разной скоростью, перекрывают друг друга или быстро меняют положение.

Отслеживание движения на основе AI помогает производственным системам лучше видеть каждый объект по мере его перемещения по линии. В одном интересном исследовании сеть подключённых камер отслеживала продукцию на протяжении всего производственного цикла и в реальном времени обновляла цифрового двойника — виртуальную копию реального процесса.

Система идентифицировала каждый продукт, отслеживала его перемещение и поддерживала соответствие цифровой модели происходящему на производственном участке. Такой подход улучшил мониторинг и повысил безопасность работы, предоставляя операторам надёжное представление о каждом этапе. Он также показал, как отслеживание движения может обеспечить более гибкую и масштабируемую автоматизацию при наличии согласованных данных отслеживания.

Преимущества и недостатки отслеживания движения на основе AI#

Вот несколько преимуществ использования отслеживания движения на основе AI:

• Улучшенное восстановление после перекрытия: системы AI для компьютерного зрения часто могут сохранять или восстанавливать траектории, когда объекты перекрывают друг друга или ненадолго исчезают.
• Масштабируемость: После развёртывания трекеры AI могут обрабатывать длинные видеоклипы и потоки с нескольких камер без повторной настройки для каждого кадра.
• Более подробные данные о движении: результаты отслеживания можно использовать для измерения траекторий, подсчёта объектов, времени пребывания и базовой оценки скорости в аналитических задачах.

Отслеживание на основе AI хорошо работает во многих случаях, но не является универсальным решением для любой конфигурации. Вот несколько ограничений, которые следует учитывать:

• Текущее обслуживание: производительность может со временем меняться при изменении ракурсов камер, окружения или рабочих нагрузок, поэтому часто требуются периодические обновления.
• Сложность интеграции: подключение трекеров к существующим видеоредакторам, аналитическим или автоматизированным системам может потребовать адаптеров, калибровки и дополнительного тестирования.
• Проблемные случаи в экстремальных условиях: низкая освещённость, размытие при движении, сильные перекрытия и очень маленькие объекты по-прежнему могут приводить к ошибкам отслеживания.

Основные выводы#

Функции отслеживания движения на основе AI быстро становятся более практичным выбором для реального видео, где движение происходит быстро, сцены насыщены объектами, а ручные исправления плохо масштабируются. Компьютерное зрение быстро развивается, благодаря чему системы отслеживания проще развёртывать, и они становятся надёжнее в сложных условиях. В результате отслеживание движения становится полезнее в робототехнике, мобильных приложениях, аналитике и создании контента.

Присоединяйся к нашему сообществу и следи за последними достижениями в области AI для компьютерного зрения в нашем репозитории GitHub. Посети страницы наших решений, чтобы узнать, как такие приложения, как AI в производстве и компьютерное зрение в здравоохранении, способствуют развитию отраслей, и ознакомься с вариантами лицензирования, чтобы реализовать своё следующее AI-решение.