Топ-8 инструментов и алгоритмов с открытым исходным кодом для отслеживания объектов

Когда автомобиль проезжает на красный свет и водителю автоматически отправляется штраф, или футболист ведёт мяч по полю, а камера плавно следует за игрой, искусственный интеллект незаметно работает в фоновом режиме. В частности, эти системы используют компьютерное зрение — подраздел искусственного интеллекта, который позволяет машинам видеть, интерпретировать и понимать визуальную информацию из окружающего мира.

В компьютерном зрении одной из ключевых задач, лежащих в основе этих приложений, является отслеживание объектов. Оно используется для идентификации объектов в каждом кадре видео и последующего отслеживания их перемещения, перекрытия другими объектами или изменения направления движения.

Сегодня доступно множество инструментов и алгоритмов для отслеживания объектов, каждый из которых предназначен для разных сценариев использования, требований к производительности и уровней сложности. Одни ориентированы на скорость и способны отслеживать десятки объектов в реальном времени, другие — на точность или стабильность в течение длительного времени в сложных условиях, например при перекрытии объектов, быстром движении или слабом освещении.

В частности, проекты с открытым исходным кодом сыграли важную роль в развитии этой области. Поскольку их код доступен всем, разработчики и исследователи могут изучать принцип их работы, совершенствовать существующие методы и адаптировать их для новых приложений. Такая открытость помогла отслеживанию объектов быстро развиваться и упростила интеграцию этой технологии в реальные системы.

В этой статье мы рассмотрим восемь популярных инструментов и алгоритмов с открытым исходным кодом для отслеживания объектов. Давай начнём!

Что такое отслеживание объектов?#

Представь ситуацию: охранник смотрит запись с камеры видеонаблюдения на парковке. Он решает следить за одной красной машиной. По мере воспроизведения видео он мысленно помечает эту машину и продолжает отслеживать её перемещения, даже когда мимо проезжают другие автомобили или люди проходят перед ней.

Отслеживание объектов с помощью ИИ работает похожим образом, но автоматически и в большом масштабе. Другими словами, отслеживание объектов — это процесс, в котором система следит за объектом по мере его перемещения между кадрами видео и сохраняет его идентичность от кадра к кадру.

Во многих системах этот процесс начинается с обнаружения объектов, которое находит и размечает такие объекты, как люди, транспортные средства или дорожные знаки, в каждом кадре. Затем, когда эти объекты перемещаются, появляются, исчезают или перекрывают друг друга, система отслеживания связывает обнаруженные объекты между кадрами, чтобы определить, какой объект есть какой и куда каждый из них перемещается с течением времени.

Рис. 1. Обзор отслеживания объектов (источник)

Существует два распространённых типа отслеживания: отслеживание одного объекта (SOT), сосредоточенное на одном основном объекте, например только на мяче в спортивном видео, и отслеживание нескольких объектов (MOT), при котором одновременно отслеживается множество объектов и каждому назначается уникальный ID, например все автомобили на оживлённом перекрёстке.

Независимо от типа отслеживания большинство систем опирается на три основных компонента: детектор, который находит объекты в каждом кадре, модель движения, предсказывающую вероятное перемещение объектов, и этап сопоставления, связывающий новые обнаружения с ранее отслеженными объектами. Эти компоненты превращают необработанное видео в содержательную информацию о том, как объекты перемещаются и взаимодействуют с течением времени.

Зачем нужны инструменты для отслеживания объектов с открытым исходным кодом#

Прежде чем перейти к подробностям, ты, возможно, задаёшься вопросом: почему инструменты и алгоритмы с открытым исходным кодом для отслеживания объектов настолько особенные?

Инструменты с открытым исходным кодом сыграли большую роль в том, чтобы сделать отслеживание объектов более доступным и распространённым. Поскольку код открыт, разработчики и исследователи могут точно увидеть, как работает трекер, учиться на его реализации и адаптировать его для собственных проектов, вместо того чтобы воспринимать его как «чёрный ящик».

Они также получают преимущества от сильных сообществ. Многие инструменты с открытым исходным кодом для отслеживания поддерживаются активными участниками, которые добавляют новые функции, повышают скорость и точность, исправляют ошибки и поддерживают соответствие инструментов последним исследованиям. Такое постоянное сотрудничество помогает им оставаться надёжными и полезными в разных приложениях.

Стоимость — ещё одна важная причина их значимости. Поскольку инструменты с открытым исходным кодом бесплатны, студенты, стартапы и небольшие команды могут экспериментировать, создавать прототипы и разрабатывать реальные системы, не беспокоясь о лицензионных или подписочных платежах.

Топ-8 инструментов и алгоритмов с открытым исходным кодом для отслеживания объектов#

Сегодня доступно множество вариантов с открытым исходным кодом для создания систем отслеживания. Некоторые из них — это алгоритмы или модели отслеживания, которые можно напрямую подключить к своему конвейеру, а другие — библиотеки и фреймворки, упрощающие запуск, управление и интеграцию этих моделей. Вместе они охватывают всё: от основной логики отслеживания до вспомогательных инструментов, необходимых в реальном проекте.

Далее рассмотрим восемь популярных инструментов и алгоритмов с открытым исходным кодом для отслеживания объектов.

1. Модели Ultralytics YOLO и пакет Ultralytics для Python#

Один из самых простых и практичных вариантов для отслеживания объектов — использовать модели Ultralytics YOLO вместе с пакетом Ultralytics для Python. Модели Ultralytics YOLO, такие как Ultralytics YOLO11 и будущая Ultralytics YOLO26, — это модели компьютерного зрения, поддерживающие различные задачи, включая обнаружение объектов, сегментацию экземпляров, оценку позы и отслеживание объектов.

Рис. 2. Пример использования YOLO11 для обнаружения и отслеживания объектов. (источник)

Интересно, что сами модели не отслеживают объекты между кадрами. Вместо этого пакет Ultralytics для Python — библиотека, упрощающая запуск и развёртывание моделей Ultralytics YOLO, — делает отслеживание возможным, объединяя обнаружения YOLO для каждого кадра со специализированными алгоритмами отслеживания нескольких объектов, такими как BoT-SORT и ByteTrack.

Благодаря встроенной возможности отслеживания пакет Ultralytics и модели Ultralytics YOLO можно использовать для обнаружения объектов в каждом кадре с последующим назначением согласованных ID, чтобы отслеживать их перемещение, перекрытие, выход из кадра и повторное появление. Такой подход всё чаще применяется в таких сферах, как производство и розничная торговля, обеспечивая такие сценарии, как проверка дефектов, отслеживание движения запасов и отслеживание покупателей в магазинах.

2. Трекеры OpenCV#

OpenCV — это обширная библиотека компьютерного зрения, включающая набор алгоритмов отслеживания объектов. Эта библиотека разрабатывается и поддерживается сообществом OpenCV с 1999 года.

Вместо методов глубокого обучения большинство этих трекеров использует традиционные методы компьютерного зрения, такие как корреляционные фильтры и методы на основе ядер (они отслеживают объект, сопоставляя его визуальные характеристики, например цвет и текстуру, от одного кадра к следующему, а не обучая признаки с помощью нейронных сетей).

При использовании этих алгоритмов обычно сначала выбирают объект, который нужно отслеживать, после чего трекер непрерывно ищет наиболее похожую визуальную область в последующих кадрах по мере перемещения объекта.

Рис. 3. Отслеживание объектов с помощью OpenCV (источник)

Хотя эти методы могут быть менее устойчивыми, чем современные системы отслеживания на основе глубокого обучения, в сложных или перегруженных сценах они по-прежнему широко используются благодаря своей лёгкости, скорости и простоте запуска. Кроме того, поскольку эти трекеры эффективно работают на CPU и обычно не требуют GPU, они хорошо подходят для быстрых экспериментов, обучения в учебных заведениях и любительских проектов.

3. ByteTrack#

ByteTrack — один из самых популярных алгоритмов с открытым исходным кодом для отслеживания нескольких объектов. Вместо сопоставления только тех обнаружений, в которых модель уверена больше всего, он также использует обнаружения с более низкой уверенностью, которые многие системы обычно игнорируют.

Это помогает ему продолжать отслеживать объекты, которые ненадолго становятся плохо видимыми, например частично перекрываются, находятся далеко или быстро перемещаются. Благодаря скорости и надёжности ByteTrack часто используется в таких приложениях, как анализ трафика, отслеживание пешеходов и мониторинг розничных магазинов, где важны производительность в реальном времени и согласованные ID.

Как упоминалось ранее, если ты используешь модели Ultralytics YOLO для обнаружения, ByteTrack легко включить через пакет Ultralytics для Python. Однако его также можно использовать независимо в пользовательских конвейерах, поэтому он подходит для самых разных задач — от исследовательских прототипов до промышленных систем, написанных на C++.

4. DeepSORT#

Ещё один широко используемый алгоритм для отслеживания нескольких объектов — DeepSORT, сокращение от «глубокое простое онлайн-отслеживание в реальном времени». Это усовершенствованная версия SORT, что расшифровывается как «простое онлайн-отслеживание в реальном времени».

Подобно ByteTrack, SORT использует подход отслеживания по обнаружениям. Однако SORT опирается на фильтр Калмана — математическую модель, оценивающую будущее положение объекта на основе его предыдущего движения, — чтобы предсказать, куда каждый объект, вероятно, переместится дальше.

Затем он сопоставляет новые обнаружения с существующими траекториями, в основном на основе положения и перекрытия ограничивающих рамок. Благодаря этому SORT работает быстро и требует мало ресурсов, но может испытывать трудности, когда объекты перекрываются, пересекаются или ненадолго исчезают из поля зрения.

DeepSORT совершенствует SORT, добавляя в процесс отслеживания информацию о внешнем виде. Помимо движения и положения, он использует модель повторной идентификации на основе глубокого обучения, или re-id, которая учится тому, как выглядят объекты. Благодаря этому трекер может распознавать один и тот же объект в разных кадрах, даже когда одного движения недостаточно, чтобы отличить его от других объектов.

Поэтому DeepSORT часто используется в таких приложениях, как видеонаблюдение и мониторинг толпы, где люди регулярно перекрываются или ненадолго скрываются. Однако сегодня он считается классическим базовым методом, и более новые методы отслеживания часто показывают лучшую производительность в более сложных сценах.

5. Norfair#

Norfair — это лёгкая библиотека отслеживания, созданная для гибкости, а не для принудительного использования фиксированного конвейера отслеживания. Она может добавить отслеживание практически к любому детектору, если выходные данные детектора можно представить в виде набора точек, например центров ограничивающих рамок, ключевых точек или пользовательских координатных данных.

Рис. 4. Отслеживание объектов в реальных условиях с помощью Norfair (источник)

Такая гибкость делает библиотеку особенно полезной для проектов с необычными входными данными или динамическими моделями движения, где стандартные инструменты отслеживания нескольких объектов могут оказаться недостаточными. Библиотека также предоставляет встроенные функции расстояния для управления сопоставлением обнаружений между кадрами.

Эти функции расстояния измеряют сходство двух точек или объектов, предоставляя пользователям полный контроль над логикой отслеживания. Norfair часто используется в робототехнике, анализе спортивных движений, навигации дронов и приложениях, в значительной степени опирающихся на отслеживание ориентиров позы или ключевых точек.

6. MMTracking#

MMTracking — это набор инструментов с открытым исходным кодом для отслеживания от команды OpenMMLab, которая также создала широко используемые библиотеки компьютерного зрения, такие как MMDetection. Построенный поверх MMDetection, он предоставляет гибкий фреймворк для разработки и экспериментов с системами отслеживания.

Одно из его главных преимуществ — модульная архитектура. Вместо привязки к одному конвейеру MMTracking позволяет настраивать и заменять различные компоненты, такие как детекторы, модули отслеживания и, в некоторых конфигурациях, модели повторной идентификации. Благодаря этой гибкости он особенно популярен в исследованиях и сложных проектах, где командам нужно сравнивать методы, тестировать новые идеи или настраивать конвейеры отслеживания.

7. FairMOT#

FairMOT — это фреймворк для отслеживания нескольких объектов, предназначенный для одновременного отслеживания множества объектов. В отличие от традиционных конвейеров отслеживания по обнаружениям, в которых сначала выполняется обнаружение, а затем объекты связываются между кадрами на отдельном этапе, FairMOT обучает обнаружение и повторную идентификацию совместно в одной сети.

Рис. 5. Принцип работы фреймворка FairMOT (источник)

Такая совместная архитектура помогает поддерживать более стабильные идентификаторы, особенно в переполненных сценах, где люди часто перекрываются или быстро перемещаются. FairMOT обычно используется для отслеживания пешеходов и мониторинга толпы, а также применяется в таких сферах, как аналитика розничной торговли и мониторинг трафика, где важно отслеживать множество целей в реальном времени.

8. SiamMask#

SiamMask — это метод отслеживания одного объекта, который превосходит многие трекеры, создавая маску сегментации вместе с ограничивающей рамкой. Проще говоря, он не просто рисует прямоугольник вокруг цели, а также очерчивает форму объекта на уровне пикселей. Это может быть полезно, когда цель меняет форму, поворачивается или частично скрывается.

Рис. 6. Отслеживание и сегментация объекта с помощью SiamMask (источник)

Этот подход использует сиамскую архитектуру отслеживания: сначала трекер получает небольшой эталонный фрагмент цели из первого кадра, который часто называют шаблоном. Затем в каждом новом кадре он ищет в большей области участок, наиболее похожий на этот шаблон.

SiamMask развивает эту идею сопоставления. Он также предсказывает маску цели на уровне пикселей, поэтому по мере воспроизведения видео ты получаешь и положение объекта, и более точный контур.

Ключевые факторы при выборе инструмента для отслеживания объектов#

Сегодня в области ИИ доступно множество вариантов инструментов с открытым исходным кодом для отслеживания объектов, но лучший вариант для твоего проекта компьютерного зрения зависит от требований конкретного сценария использования. Вот несколько факторов, которые стоит учитывать:

• Точность: Это особенно важно в переполненных или визуально сложных сценах, где системе компьютерного зрения нужно сохранять стабильные ID даже при перекрытии объектов, частичной видимости или быстром движении.
• Скорость: Для приложений реального времени, таких как робототехника, мониторинг трафика и спортивная аналитика, быстродействие может быть важнее идеальной точности.
• Простота интеграции: Некоторые инструменты для отслеживания объектов легко подключаются и работают всего с несколькими строками кода, тогда как другие требуют дополнительной настройки, конфигурации или разработки пользовательского конвейера.
• Ограничения развёртывания: Целевая среда, например серверы с GPU, периферийные устройства или мобильное оборудование, может определить, какой подход к отслеживанию будет практически применим.
• Масштабируемость: Если твоей системе нужно одновременно отслеживать множество объектов или обрабатывать несколько видеопотоков, трекер должен эффективно масштабироваться без существенного падения производительности.

Каждый инструмент или алгоритм для отслеживания объектов предназначен для своей задачи. В конечном счёте правильный выбор зависит от твоих конкретных требований, ограничений среды выполнения, показателей производительности и необходимого уровня настраиваемости подхода к отслеживанию в проекте.

Основные выводы#

Отслеживание объектов прошло путь от ранних методов с ручным конструированием признаков до современных передовых систем глубокого обучения, которые с впечатляющей точностью интерпретируют движение, идентичность и поведение. Инструменты с открытым исходным кодом стали движущей силой этого прогресса. Они демократизируют доступ к мощным алгоритмам, поощряют эксперименты и позволяют исследователям создавать сложные конвейеры отслеживания без ограничительных лицензий и дорогостоящей инфраструктуры.

Посети наше сообщество и репозиторий на GitHub, чтобы узнать больше об ИИ. Изучи страницы наших решений о ИИ в сельском хозяйстве и компьютерном зрении в производстве. Ознакомься с нашими вариантами лицензирования и начни создавать собственную модель компьютерного зрения.