Компьютерное зрение делает отслеживание движения более надежным

Когда ты смотришь театральную постановку и твой любимый актер перемещается по сцене, твои глаза следят за ним практически без осознанных усилий. Для людей такое отслеживание движения кажется естественным. Твой мозг автоматически связывает то, что ты видишь в один момент, с тем, что видишь в следующий, заполняя пробелы и поддерживая ощущение непрерывности по мере изменения сцены.

В случае с машинами эта задача намного сложнее. Камера записывает видео как последовательность отдельных кадров, и система должна многократно идентифицировать один и тот же объект шаг за шагом, чтобы оценить, куда он переместился, и решить, является ли он по-прежнему тем самым объектом, за которым нужно следить.

Эта задача лежит в основе отслеживания движения. Отслеживание движения включает в себя прослеживание объекта на видео с течением времени, и оно играет важную роль в таких областях, как спортивная аналитика, робототехника и мобильные приложения.

Традиционное отслеживание движения и камеры часто зависит от ручной настройки, контрольных точек и ключевых кадров. Это может работать в простых сценах, но быстро становится медленным и ненадежным, когда движение происходит быстро или объект частично перекрыт.

Рис. 1. Взгляд на систему отслеживания движения (Источник)

Недавние достижения в области компьютерного зрения значительно упрощают этот процесс. Компьютерное зрение — это отрасль ИИ, которая помогает машинам понимать изображения и видео, делая отслеживание движения более точным и менее зависимым от ручного труда. Обнаруживая объекты в каждом кадре и сохраняя их идентификацию с течением времени, эти системы отслеживают движение более надежно в реальных условиях.

В этой статье мы рассмотрим, как компьютерное зрение может сделать отслеживание движения более оптимизированным. Давай начнем!

Link to this sectionТрадиционные методы захвата и отслеживания движения и их ограничения#

Традиционное отслеживание движения часто требует тщательной ручной настройки, особенно в рабочих процессах видеомонтажа и VFX, где целью является привязка графики, эффектов или наложений к движущимся элементам в видеоматериале.

Многие рабочие процессы начинаются с расстановки контрольных точек на определенных частях кадра, а затем программное обеспечение следует за ними по кадрам, чтобы отобразить траекторию движения. Это часто встречается в таких инструментах, как After Effects, а аналогичные рабочие процессы появляются в Premiere Pro благодаря таким функциям, как отслеживание маски, где редакторы отслеживают маску или область с течением времени.

Матч-мувинг — еще один распространенный метод. Он помогает выровнять цифровые элементы с реальным движением камеры, чтобы эффекты или графика оставались на месте в живой съемке. Эти подходы могут хорошо работать для простых сцен, но они часто дают сбои, когда кадр перегружен или когда объекты перемещаются быстро.

Отслеживание также может нарушиться при изменении освещения или когда объекты частично перекрываются, что может вызвать дрейф или внезапные скачки трека. Это замедляет рабочий процесс и заставляет редакторов переделывать части съемки. Когда объекты быстро меняют направление, старые трекеры движения с трудом поспевают за ними, делая результаты непоследовательными и менее надежными.

Link to this sectionКак компьютерное зрение преобразует отслеживание движения#

Передовые системы компьютерного зрения используют модели ИИ для слежения за движущимися объектами на видео. Вместо того чтобы полагаться на постоянные ручные настройки или хрупкое покадровое отслеживание, модель изучает, как выглядит объект и как он обычно движется. Это помогает отслеживанию движения оставаться стабильным, даже когда сцены становятся сложными, освещение меняется или объекты на короткое время исчезают.

Например, модели компьютерного зрения, такие как Ultralytics YOLO11 и готовящаяся к выпуску Ultralytics YOLO26, поддерживают отслеживание объектов путем их обнаружения в каждом кадре. Проще говоря, они определяют, что находится в кадре и где оно находится, выдавая ограничивающие рамки (bbox) и показатели уверенности для каждого обнаруженного объекта.

Рис. 2. Отслеживание транспортных средств с помощью Ultralytics YOLO11 в пределах зоны (Источник)

Интересно, что сами по себе модели YOLO не отслеживают объекты с течением времени. Вместо этого отслеживание обеспечивается через пакет Ultralytics Python, который соединяет обнаружения YOLO с алгоритмами многообъектного отслеживания, такими как ByteTrack и BoT-SORT. В этой конфигурации YOLO обнаруживает объекты кадр за кадром, а трекер связывает эти обнаружения между кадрами, чтобы поддерживать постоянный ID для каждого объекта по мере его движения.

Link to this sectionРеальные применения отслеживания движения на базе ИИ#

Далее давай подробнее рассмотрим несколько реальных примеров, где отслеживание движения на базе ИИ оказывает влияние.

Link to this sectionСпортивная аналитика и точное отслеживание игроков#

В футбольном матче игроки постоянно ускоряются, останавливаются и меняют направление, что затрудняет точное измерение движения по всему полю. Ручное отслеживание часто не справляется в такие моменты, особенно когда игроки перекрывают друг друга, собираются в группы или перемещаются по переполненным зонам.

Отслеживание движения на базе ИИ помогает, сопровождая каждого игрока на протяжении всей игры и сохраняя четкость и последовательность путей их движения. Например, в одном недавнем исследовании ученые использовали YOLO11 для обнаружения игроков и мяча с нескольких ракурсов камер. YOLO11 идентифицировал каждого игрока в каждом кадре, в то время как система отслеживания связывала эти обнаружения с течением времени, чтобы сохранять личность каждого игрока по мере его перемещения.

Рис. 3. Обнаружение и отслеживание нескольких футболистов (Источник)

Link to this sectionОтслеживание движения в дополненной и виртуальной реальности#

Дополненная реальность (AR) позволяет приложениям размещать цифровые объекты в реальном мире, например, этикетку на продукте, персонажа на полу или наложение на твою ногу, когда ты двигаешься. Чтобы эти впечатления казались правдоподобными, виртуальный контент должен оставаться закрепленным в нужном месте, когда ты ходишь, наклоняешь телефон или перемещаешь сам объект.

Компьютерное зрение здесь играет ключевую роль, потому что оно помогает мобильному устройству понимать, на что оно смотрит и как камера перемещается по сцене. Другими словами, оно обеспечивает 3D-отслеживание, оценивая, где объект находится в пространстве и как он ориентирован, а затем обновляя эту позицию по мере того, как пользователь перемещается.

Рис. 4. Пример 3D-отслеживания в AR-приложении (Источник)

Виртуальная реальность (VR) опирается на схожие идеи отслеживания, но цель другая. Вместо закрепления цифрового контента за реальным миром VR фокусируется на отслеживании твоей головы и рук, чтобы виртуальный мир реагировал естественно на твои движения.

Link to this sectionОтслеживание движущегося оборудования и автоматизация процессов#

В промышленных условиях оборудование и продукты часто перемещаются через несколько этапов рабочего процесса. Каждый этап зависит от точности времени и координации. Ручное отслеживание может отставать, поскольку элементы перемещаются с разной скоростью, перекрывают друг друга или быстро меняют положение.

Отслеживание движения на базе ИИ помогает, предоставляя производственным системам более четкое представление о каждом объекте по мере его продвижения по линии. В интересном исследовании сеть подключенных камер отслеживала продукты на протяжении всего производственного цикла и обновляла цифровой двойник — виртуальную копию реального процесса — в режиме реального времени.

Система идентифицировала каждый продукт, отслеживала его движение и поддерживала цифровую модель в соответствии с тем, что происходило на площадке. Этот подход улучшил мониторинг и способствовал более безопасной работе, предоставляя операторам надежный обзор на каждом этапе. Это также показало, как отслеживание движения может обеспечить более гибкую и масштабируемую автоматизацию, когда доступны последовательные данные отслеживания.

Link to this sectionПлюсы и минусы отслеживания движения на базе ИИ#

Вот несколько преимуществ использования отслеживания движения на базе ИИ:

• Улучшенное восстановление при окклюзии: системы ИИ технического зрения часто могут поддерживать или восстанавливать треки, когда объекты перекрываются или на короткое время исчезают.
• Масштабируемость: После развертывания ИИ-трекеры могут обрабатывать длинные видеоклипы и несколько каналов камер без необходимости повторной настройки для каждой съемки.
• Более богатые данные о движении: Результаты отслеживания можно использовать для измерения траекторий, подсчета, времени пребывания и базовых оценок скорости для аналитики.

Отслеживание на базе ИИ хорошо работает во многих случаях, но оно не является решением «подключи и работай» для любой настройки. Вот некоторые ограничения, которые стоит учитывать:

• Постоянное обслуживание: Производительность может меняться со временем при изменении углов обзора камер, условий среды или рабочих нагрузок, поэтому часто требуются периодические обновления.
• Сложность интеграции: Подключение трекеров к существующим видеоредакторам, системам аналитики или автоматизации может потребовать адаптеров, калибровки и дополнительного тестирования.
• Крайние случаи в экстремальных условиях: Низкая освещенность, размытие движения, сильная окклюзия и очень маленькие объекты все еще могут вызывать ошибки отслеживания.

Link to this sectionОсновные выводы#

Функции отслеживания движения на базе ИИ быстро становятся более практичным выбором для видео в реальных условиях, где движение происходит быстро, сцены перегружены, а ручные исправления не масштабируются. Компьютерное зрение быстро совершенствуется, что делает системы отслеживания более простыми в развертывании и более надежными в сложных условиях. В результате отслеживание движения становится все более полезным в робототехнике, мобильных приложениях, аналитике и создании контента.

Присоединяйся к нашему сообществу и узнавай о последних разработках в области компьютерного зрения в нашем репозитории на GitHub. Посети наши страницы решений, чтобы узнать, как такие приложения, как ИИ в производстве и компьютерное зрение в здравоохранении, способствуют развитию, и ознакомься с нашими вариантами лицензирования, чтобы развивать свое следующее ИИ-решение.