Улучшение повторной идентификации транспортных средств с помощью моделей Ultralytics YOLO

Когда ты смотришь гонку Formula One, легко заметить машину своей любимой команды. Ярко-красный Ferrari или серебристый Mercedes выделяются круг за кругом.

Попросить машину сделать то же самое, причем не на чистом гоночном треке, а на оживленных городских улицах, полных трафика, гораздо сложнее. Именно поэтому повторная идентификация транспортных средств (vehicle re-ID) в последнее время привлекает внимание в сфере ИИ.

Повторная идентификация транспортных средств дает машинам возможность распознавать один и тот же автомобиль с помощью нескольких или неперекрывающихся камер. Она также направлена на идентификацию транспортных средств после временной окклюзии (когда автомобиль частично скрыт) или при изменении освещения и ракурса.

Ключевой технологией, обеспечивающей vehicle re-ID, является computer vision. Компьютерное зрение — это подполе искусственного интеллекта, которое фокусируется на обучении машин пониманию и интерпретации визуальной информации, такой как изображения и видео. Используя эту технологию, системы ИИ могут анализировать характеристики транспортных средств и надежно отслеживать их по большим сетям камер для таких приложений, как городское наблюдение и мониторинг дорожного движения.

В частности, модели Vision AI, такие как Ultralytics YOLO11 и предстоящая Ultralytics YOLO26, поддерживают такие задачи, как обнаружение и отслеживание объектов. Они могут быстро находить транспортные средства в каждом кадре и следить за их движением по сцене. Когда эти модели сочетаются с сетями повторной идентификации транспортных средств, комбинированная система может распознавать один и тот же автомобиль в разных видеопотоках, даже при изменении ракурса или условий освещения.

Рис. 1. Пример использования YOLO11 для отслеживания транспортных средств и оценки скорости (Source)

В этой статье мы рассмотрим, как работает повторная идентификация транспортных средств, технологию, которая делает ее возможной, и где она используется в интеллектуальных транспортных системах. Давай начнем!

Link to this sectionЧто такое повторная идентификация транспортных средств?#

Повторная идентификация транспортных средств — это важное application in computer vision. Она фокусируется на распознавании одного и того же транспортного средства по мере его появления на разных, неперекрывающихся камерах, сохраняя его идентичность при движении по городу. Это сложная задача, так как каждая камера может захватывать автомобиль под разным углом, при разном освещении или с частичной окклюзией.

Рассмотри сценарий, в котором синий седан проезжает через перекресток и позже появляется на другой улице под прицелом другой камеры. Угол, освещение и фон изменились, а другие автомобили могут на время перекрывать обзор. Несмотря на это, система vehicle re-ID все равно должна определить, что это тот же самый автомобиль.

Недавние достижения в глубоком обучении, особенно со сверточными нейронными сетями (CNN) и моделями на основе трансформеров, сделали этот процесс намного точнее. Эти модели способны извлекать значимые визуальные паттерны и различать похожие автомобили, при этом идентифицируя правильный.

В интеллектуальных транспортных системах эта возможность поддерживает непрерывный мониторинг, реконструкцию маршрутов и общегородской анализ трафика, давая системам «умного города» более ясную картину того, как движутся автомобили. Они помогают повысить безопасность и эффективность.

Link to this sectionПонимание того, как работает повторная идентификация транспортных средств#

Как правило, видеозаписи с перекрестков, парковок и автомагистралей анализируются с использованием методов повторной идентификации транспортных средств, чтобы определить, появляется ли один и тот же автомобиль на разных камерах. Эта концепция похожа на повторную идентификацию людей, где системы отслеживают отдельных лиц через несколько ракурсов, но здесь фокус на анализе специфических характеристик автомобиля вместо внешности человека.

Процесс этого включает в себя несколько ключевых шагов, каждый из которых разработан, чтобы помочь системе обнаруживать автомобили, извлекать их визуальные признаки и надежно сопоставлять их между разными ракурсами.

На высоком уровне система сначала обнаруживает транспортные средства в каждом кадре, а затем извлекает признаки, такие как цвет, форма и текстура, чтобы создать уникальное цифровое представление, или эмбеддинг, для каждого из них. Эти эмбеддинги сравниваются во времени и между камерами, часто при поддержке отслеживания объектов и пространственно-временных проверок, чтобы решить, принадлежат ли два наблюдения одному и тому же автомобилю.

Рис. 2. Как работает повторная идентификация транспортных средств. (Source)

Вот более детальный взгляд на этот процесс:

• Object detection: Система сначала идентифицирует и находит автомобили в каждом видеокадре, чтобы точно знать, какие области обрабатывать. Этот шаг обычно выполняется моделями обнаружения объектов.
• Feature extraction (Извлечение признаков): После обнаружения выделенная сеть Re-ID или сеть извлечения признаков анализирует каждый кроп автомобиля и создает карты признаков или представления, которые фиксируют визуальные детали, такие как цвет, форма, текстура и отличительные части.
• Embedding generation (Генерация эмбеддингов): Эти извлеченные признаки превращаются в числовое представление, называемое эмбеддингом признаков. Этот эмбеддинг действует как цифровой отпечаток, который фиксирует, как автомобиль выглядит под разными углами. Перед сопоставлением эти эмбеддинги обычно нормализуются, чтобы различия, вызванные освещением, контрастом или настройками камеры, не мешали сравнению идентичности. Нормализация гарантирует, что система фокусируется на значимых, связанных с идентичностью признаках, а не на шуме.
• Object tracking (Отслеживание объектов): В рамках одного обзора камеры алгоритмы отслеживания соединяют обнаружения между кадрами, помогая поддерживать последовательную идентичность по мере перемещения автомобиля по сцене.
• Cross-camera matching (Межкамерное сопоставление): Чтобы сопоставить один и тот же автомобиль между разными камерами, система сравнивает эмбеддинги (сгенерированные сетью Re-ID) вместе с информацией о времени и местоположении. Этот шаг определяет, принадлежат ли два наблюдения одному и тому же автомобилю, даже если камеры не перекрываются.

Link to this sectionКак модели Ultralytics YOLO могут поддерживать повторную идентификацию транспортных средств#

Модели Ultralytics YOLO играют важную вспомогательную роль в конвейерах повторной идентификации транспортных средств. Хотя они не выполняют Re-ID самостоятельно, они предоставляют другие важные возможности, такие как быстрое обнаружение и стабильное отслеживание, от которых зависят сети Re-ID для точного межкамерного сопоставления.

Далее давай более подробно рассмотрим, как модели Ultralytics YOLO, такие как YOLO11, могут улучшить системы повторной идентификации транспортных средств.

Link to this sectionТочный модуль обнаружения транспортных средств: первая часть систем Re-ID#

Основой любой системы повторной идентификации транспортных средств является точное обнаружение объектов. Модели Ultralytics YOLO, такие как YOLO11, являются отличным вариантом для этого, так как они могут быстро обнаруживать транспортные средства в каждом кадре, даже в оживленных сценах с частичными окклюзиями, интенсивным движением или меняющимися условиями освещения.

Их также можно обучать на пользовательских данных, что означает, что ты можешь дообучить модель на своем собственном датасете, чтобы она научилась распознавать специфические типы автомобилей, такие как такси, фургоны доставки или корпоративный транспорт. Это особенно полезно, когда решение требует более специализированного обнаружения. Предоставляя чистые и точные ограничивающие рамки (bounding boxes), модели Ultralytics YOLO дают сетям Re-ID качественные входные данные, что ведет к более надежному сопоставлению между камерами.

Link to this sectionПоддержка надежного отслеживания с одной камеры#

Как только автомобили обнаружены, модели, такие как YOLO11, могут также поддерживать стабильное отслеживание объектов в пределах одного обзора камеры. Отслеживание объектов — это процесс слежения за обнаруженным автомобилем между последовательными кадрами и присвоения ему последовательного ID по мере движения.

Благодаря встроенной поддержке алгоритмов отслеживания, таких как ByteTrack и BoT-SORT в Ultralytics Python package, YOLO11 может поддерживать последовательные ID по мере перемещения автомобилей по сцене. Это стабильное отслеживание уменьшает количество переключений идентичности до того, как в дело вступит система Re-ID, что в конечном итоге повышает точность межкамерного сопоставления.

Link to this sectionОпциональная повторная идентификация на уровне трекера для улучшенной стабильности идентичности#

В дополнение к стандартному отслеживанию на основе движения, пакет Ultralytics Python включает опциональные Re-ID capabilities на основе внешнего вида в составе трекера BoT-SORT. Это означает, что трекер может использовать признаки визуального внешнего вида, а не только паттерны движения или перекрытие bounding-box, чтобы определить, принадлежат ли два обнаружения одному и тому же автомобилю.

При включении BoT-SORT извлекает легкие эмбеддинги внешнего вида из детектора или из модели классификации YOLO11 и использует их для проверки идентичности между кадрами. Этот дополнительный признак внешнего вида помогает трекеру поддерживать более стабильные ID в сложных ситуациях, таких как кратковременные окклюзии, близкий проезд автомобилей или небольшие смещения, вызванные движением камеры.

Хотя этот встроенный Re-ID не предназначен для замены полноценной межкамерной повторной идентификации транспортных средств, он улучшает последовательность идентичности внутри одного обзора камеры и создает более чистые треки, на которые могут положиться последующие модули Re-ID. Чтобы использовать эти функции отслеживания на основе внешнего вида, просто включи Re-ID в файле конфигурации трекера BoT-SORT, установив «with_reid» на «True» и выбрав, какая модель будет предоставлять признаки внешнего вида.

Для получения более подробной информации ты можешь ознакомиться с documentation page on object tracking от Ultralytics, где объясняются доступные опции Re-ID и способы их настройки.

Link to this sectionПредоставление качественных входных данных для сетей Re-ID#

Помимо улучшения стабильности идентичности во время отслеживания, модели YOLO также играют важную роль в подготовке чистых визуальных данных для самой сети Re-ID.

После того как автомобиль обнаружен, его bounding box обычно обрезается и отправляется в сеть повторной идентификации, которая извлекает визуальные признаки, необходимые для сопоставления. Поскольку модели Re-ID сильно зависят от этих обрезанных изображений, некачественные входные данные, такие как размытые, невыровненные или неполные кропы, могут привести к более слабым эмбеддингам и менее надежному межкамерному сопоставлению.

Модели Ultralytics YOLO помогают уменьшить эти проблемы, постоянно создавая чистые, хорошо выровненные ограничивающие рамки, которые полностью захватывают интересующий автомобиль. С более четкими и точными кропами сеть Re-ID может сосредоточиться на значимых деталях, таких как цвет, форма, текстура и другие отличительные признаки. Качественные входные данные ведут к более надежной и точной производительности Re-ID между обзорами камер.

Link to this sectionВключение межкамерного сопоставления в сочетании с моделью Re-ID#

Хотя модели Ultralytics YOLO не выполняют повторную идентификацию самостоятельно, они предоставляют критически важную информацию, необходимую сети Re-ID для сравнения транспортных средств между разными обзорами камер. Модели, такие как YOLO11, могут взять на себя задачу локализации и отслеживания транспортных средств в каждой камере, в то время как модель Re-ID определяет, принадлежат ли два кропа автомобиля из разных мест одной и той же идентичности.

Когда эти компоненты работают вместе — YOLO для обнаружения и отслеживания, а специализированная модель эмбеддингов для извлечения признаков — они формируют полный конвейер сопоставления транспортных средств между несколькими камерами. Это делает возможным ассоциировать один и тот же автомобиль по мере его движения через более крупную сеть камер.

Например, в недавнем исследовании ученые использовали легкую модель YOLO11 в качестве vehicle detector в онлайн-системе отслеживания через несколько камер. Исследование показало, что использование YOLO11 помогло сократить время обнаружения без ущерба для точности, что улучшило общую производительность последующего отслеживания и межкамерного сопоставления.

Рис. 3. Отслеживание и повторная идентификация нескольких транспортных средств на основе YOLO11 через несколько камер. (Source)

Link to this sectionАрхитектуры на основе глубокого обучения для vehicle Re-ID#

Теперь, когда у нас есть лучшее понимание того, как модели Ultralytics YOLO могут поддерживать повторную идентификацию транспортных средств, давай подробнее рассмотрим модели глубокого обучения, которые управляют этапами извлечения признаков и сопоставления. Эти модели отвечают за изучение того, как выглядят транспортные средства, создание надежных эмбеддингов и различение визуально похожих автомобилей между разными обзорами камер.

Вот несколько примеров основных компонентов глубокого обучения, используемых в системах повторной идентификации объектов:

• Feature extraction с использованием CNN: Сверточные нейронные сети, такие как ResNet50 или ResNet101, изучают глубокие признаки с помощью распознавания паттернов, идентифицируя элементы, такие как цвет, форма и текстура, которые отличают один автомобиль от другого. Эти изученные паттерны затем преобразуются в эмбеддинги, которые действуют как уникальное цифровое представление автомобиля.

• Attention mechanisms и трансформеры: Сети внимания и слои, включая пространственное внимание, могут помочь выделить важные области автомобиля, такие как фары, окна или области номерных знаков. Пространственное внимание фокусирует модель на том, где расположены наиболее информативные визуальные сигналы, в то время как модели на основе трансформеров, такие как Vision Transformers (ViT), улавливают глобальные связи по всему изображению. Вместе они улучшают точность детализации, когда транспортные средства выглядят очень похоже.

• Частично-ориентированные и многоветвевые сети: Некоторые модели Re-ID анализируют специфические регионы автомобиля отдельно, такие как крыша, задние фонари или боковые панели, а затем комбинируют результаты. Это означает, что система остается надежной, даже если автомобили частично скрыты или видны под сложными углами.

В дополнение к этим архитектурным компонентам метрическое обучение играет ключевую роль в обучении моделей vehicle Re-ID. Функции потерь, такие как triplet loss, contrastive loss и cross-entropy loss, помогают системе изучать сильные, дискриминативные эмбеддинги, сближая изображения одного и того же автомобиля и отдаляя изображения разных.

Link to this sectionПопулярные датасеты и бенчмарки для повторной идентификации транспортных средств#

В исследованиях компьютерного зрения качество датасета оказывает огромное влияние на то, насколько хорошо модель работает после развертывания. Датасет предоставляет размеченные изображения или видео, на которых учится модель.

Для повторной идентификации транспортных средств эти передовые датасеты должны охватывать разнообразные условия, такие как освещение, изменения ракурса и погодные вариации. Это разнообразие помогает моделям справляться со сложностью реальных транспортных сред.

Вот краткий обзор популярных датасетов, которые поддерживают обучение, оптимизацию и оценку моделей повторной идентификации транспортных средств:

• VeRi-776 dataset: Это коллекция из более чем 50 000 аннотированных изображений транспортных средств, снятых с 20 городских камер. Аннотации включают ID автомобиля, цвет, модель и области номерных знаков, что позволяет детально изучать признаки.
• VehicleID dataset: Этот крупномасштабный датасет содержит более 200 000 изображений, представляющих более 26 000 транспортных средств. Его часто выбирают для изучения масштабируемости и проведения базовых сравнений между различными методами.
• VeRi-Wild dataset: Он разработан для отражения изменчивости реального мира, включая различия в ракурсе, погоде и частичной окклюзии. Он обычно используется для оценки надежности и обобщающей способности модели.

Рис. 4. Пример транспортных средств в датасете VeRi-776. (Source)

Производительность модели на этих датасетах обычно оценивается с использованием метрик, таких как mean average precision (mAP) и точность Rank-1 или Rank-5. mAP измеряет, насколько точно модель извлекает все релевантные совпадения для данного автомобиля, в то время как оценки Rank-1 и Rank-5 указывают, появляется ли правильное совпадение вверху списка результатов или в числе первых предсказаний.

Вместе эти бенчмарки дают исследователям последовательный способ сравнения различных подходов и играют важную роль в руководстве разработкой более точных и надежных систем повторной идентификации транспортных средств для реального использования.

Link to this sectionПриложения повторной идентификации транспортных средств#

Теперь, когда мы разобрали основы, давай пройдемся по некоторым реальным случаям использования, где повторная идентификация транспортных средств поддерживает практические транспортные, мобильные и наблюдательные рабочие процессы.

Link to this sectionГородское наблюдение и мониторинг трафика#

Оживленные городские дороги постоянно заполнены движением, и камеры трафика часто с трудом отслеживают один и тот же автомобиль по мере его перемещения между разными зонами. Изменения в освещении, переполненные сцены и автомобили, которые выглядят почти идентично, могут привести к потере идентичности между камерами.

Повторная идентификация транспортных средств решает эту проблему за счет четкого обнаружения автомобилей, извлечения отличительных признаков и поддержания последовательных ID даже при низком разрешении или интенсивном движении. Результатом является более плавное, непрерывное отслеживание по сети, дающее транспортным командам более ясную картину того, как автомобили движутся по городу, и обеспечивающее более быстрые, информированные ответы на заторы и инциденты.

Link to this sectionСистемы «умной» парковки#

Системы «умной» парковки полагаются на последовательную идентификацию транспортных средств для управления въездом, выездом, контролем доступа и распределением мест. Однако камеры в этих средах часто захватывают автомобили под необычными углами и при сложном освещении, например, в подземных гаражах, затененных зонах или на открытых площадках в сумерках.

Эти условия затрудняют подтверждение того, виден ли один и тот же автомобиль в разных зонах. Когда идентичность непоследовательна, записи парковки могут прерываться, контроль доступа становится менее надежным, а водители могут испытывать задержки. Именно поэтому многие системы парковки включают модели повторной идентификации транспортных средств для поддержания стабильной идентичности каждого автомобиля по мере его передвижения по объекту.

Рис. 5. Пример повторной идентификации транспортного средства, показывающий выбранное изображение автомобиля слева и соответствующие результаты поиска справа. (Source)

Link to this sectionПравоохранительные органы и криминалистика#

Опираясь на мониторинг дорожного движения, повторная идентификация транспортных средств также играет важную роль в правоохранительной деятельности и криминалистических расследованиях. Во многих случаях офицерам необходимо проследить автомобиль через несколько камер, но номерные знаки могут быть нечитаемыми, отсутствовать или быть намеренно скрыты.

Оживленные сцены, плохая видимость и частичная окклюзия могут сделать разные автомобили обманчиво похожими, что делает ручную идентификацию медленной и ненадежной. Повторная идентификация транспортных средств может использоваться для отслеживания движения автомобиля через неперекрывающиеся сети камер путем анализа его визуальных признаков, а не полагаясь исключительно на номерные знаки.

Это означает, что следователи могут легче отслеживать движения автомобиля, понимать, когда он появлялся в разных местах, и подтверждать его путь до и после инцидента. Vehicle re-ID на базе ИИ также поддерживает такие задачи, как отслеживание подозрительных автомобилей, просмотр видеозаписей инцидентов или определение того, в каком направлении двигался автомобиль до или после события.

Рис. 6. Транспортные средства, сопоставленные между разными камерами с различными перспективами. (Source)

Link to this sectionОтслеживание автопарка и логистика#

Операции автопарков и логистики часто полагаются на GPS, RFID-метки и ручные журналы для отслеживания движения транспортных средств, но эти инструменты оставляют пробелы в зонах, охваченных камерами безопасности или складскими камерами, таких как погрузочные площадки, складские дворы и внутренние дорожные сети.

Автомобили часто перемещаются между камерами, которые не перекрываются, исчезают за конструкциями или выглядят почти идентично другим в автопарке, что затрудняет подтверждение того, был ли замечен один и тот же автомобиль в разных местах. Системы повторной идентификации транспортных средств могут помочь закрыть эти пробелы путем анализа визуальных деталей и информации о времени, чтобы поддерживать последовательную идентичность для каждого автомобиля по мере его движения по объекту.

Это дает менеджерам автопарков более полное представление об активности внутри их хабов, поддерживая такие задачи, как проверка маршрутов доставки, выявление необычных движений и обеспечение того, чтобы автомобили следовали ожидаемым маршрутам.

Link to this sectionПлюсы и минусы задач vehicle re-id#

Вот некоторые из ключевых преимуществ использования повторной идентификации транспортных средств на базе ИИ:

• Снижение ручной нагрузки: Vehicle re-ID автоматизирует задачи сопоставления идентичности, которые в противном случае требовали бы обширного ручного просмотра, значительно сокращая время и усилия, необходимые для анализа видеозаписей.
• Автоматизация и аналитика в реальном времени: Сочетая обнаружение, отслеживание и сопоставление признаков, vehicle re-ID поддерживает непрерывный автоматизированный мониторинг и может предоставлять оповещения в реальном времени для более быстрого реагирования на инциденты.
• Масштабируемость и адаптируемость: Модели Re-ID могут адаптироваться к новым условиям, условиям освещения или ракурсам камер благодаря надежному обучению признаков, многомасштабному извлечению признаков и инвариантным представлениям, которые остаются стабильными при визуальных изменениях. Эти возможности делают их подходящими как для крупных городских сетей, так и для небольших развертываний.

Хотя повторная идентификация транспортных средств предлагает много преимуществ, есть также некоторые ограничения, которые следует учитывать. Вот несколько факторов, которые влияют на ее надежность в реальных условиях:

• Высокая вычислительная потребность: Извлечение признаков, генерация эмбеддингов и межкамерное сопоставление требуют значительной вычислительной мощности, особенно при мониторинге больших сетей камер.
• Экологическая изменчивость: Факторы, такие как ночное освещение, изменения погоды, тени и окклюзии, могут снизить способность модели поддерживать последовательную идентичность между сценами.
• Ограничения датасета и домена: Модели, обученные на ограниченных или идеализированных датасетах, могут плохо обобщаться на реальные условия без дальнейшего дообучения или адаптации к домену.

Link to this sectionПуть вперед для методов повторной идентификации транспортных средств#

Повторная идентификация транспортных средств продолжает развиваться по мере прогресса технологий. Недавние публикации от IEEE, CVPR и arXiv, наряду с презентациями на международных конференциях, подчеркивают явный сдвиг в сторону более богатых моделей, которые объединяют несколько источников данных и более продвинутые рассуждения о признаках. Будущая работа в этой области, вероятно, будет сосредоточена на создании систем, которые являются более надежными, эффективными и способными справляться с реальной изменчивостью в масштабе.

Например, одним из многообещающих направлений является использование transformer-based models и сетей агрегации графов. Трансформеры могут анализировать все изображение и понимать, как все визуальные детали сочетаются друг с другом, что помогает системе распознавать один и тот же автомобиль даже при изменении ракурса или освещения.

Графовые модели делают еще один шаг вперед, рассматривая различные части транспортного средства или ракурсы камеры как взаимосвязанные точки в сети. Это позволяет системе понимать корреляцию между этими ключевыми точками и принимать более верные решения об идентификаторах транспортных средств и их отличительных признаках.

Еще одним важным достижением является мультимодальное слияние данных и слияние признаков. Вместо того чтобы полагаться только на изображения, новые системы объединяют визуальную информацию с другими мультимедийными сигналами, такими как данные GPS или модели движения от датчиков. Этот дополнительный контекст помогает системе сохранять точность, когда транспортные средства частично перекрыты, при плохом освещении или внезапном изменении ракурса камеры.

Link to this sectionОсновные выводы#

Реидентификация транспортных средств становится ключевой методологией в интеллектуальных транспортных системах, помогая городам более надежно отслеживать транспортные средства с помощью различных камер. Благодаря достижениям в области глубокого обучения и более качественной валидации с использованием более богатых и разнообразных наборов данных, эти системы становятся все более точными и практичными в реальных условиях.

По мере развития технологии важно соблюдать баланс между инновациями и ответственными методами обеспечения конфиденциальности, безопасности и этики. В целом, эти достижения прокладывают путь к созданию более интеллектуальных, безопасных и эффективных транспортных сетей.

Узнай больше об ИИ, посетив наш репозиторий GitHub и присоединившись к нашему сообществу. Изучи наши страницы решений, чтобы узнать об ИИ в робототехнике и компьютерном зрении в производстве. Открой для себя наши варианты лицензирования, чтобы начать работу с Vision AI уже сегодня!