Улучшение повторной идентификации транспортных средств с помощью моделей Ultralytics YOLO

Когда ты смотришь гонку Formula One, легко заметить машину твоей любимой команды. Ярко-красный цвет Ferrari или серебристый цвет Mercedes выделяются круг за кругом.

Попросить машину сделать то же самое, причем не на чистом гоночном треке, а на оживленных городских улицах, полных трафика, гораздо сложнее. Именно поэтому повторная идентификация транспортных средств (vehicle re-ID) в последнее время привлекает внимание в сфере ИИ.

Повторная идентификация транспортных средств дает машинам возможность распознавать один и тот же автомобиль с помощью нескольких или неперекрывающихся камер. Она также направлена на идентификацию транспортных средств после временной окклюзии (когда автомобиль частично скрыт) или при изменении освещения и ракурса.

Основной технологией, лежащей в основе повторной идентификации транспортных средств (re-ID), является computer vision. Computer vision — это подраздел искусственного интеллекта, который специализируется на обучении машин пониманию и интерпретации визуальной информации, такой как изображения и видео. Используя эту технологию, системы ИИ могут анализировать характеристики транспортных средств и надежно отслеживать их в крупных сетях камер для таких приложений, как городское видеонаблюдение и мониторинг дорожного движения.

В частности, модели Vision AI, такие как Ultralytics YOLO11 и готовящаяся к выходу Ultralytics YOLO26, поддерживают такие задачи, как обнаружение объектов и трекинг. Они могут быстро находить транспортные средства в каждом кадре и отслеживать их перемещение по сцене. Когда эти модели объединяются с сетями повторной идентификации транспортных средств, объединенная система может распознавать одно и то же транспортное средство с разных потоков камер, даже при изменении ракурсов или условий освещения.

Рис. 1. Пример использования YOLO11 для отслеживания транспортных средств и оценки скорости (Источник)

В этой статье мы рассмотрим, как работает повторная идентификация транспортных средств, технологию, которая делает ее возможной, и где она используется в интеллектуальных транспортных системах. Давай начнем!

Что такое повторная идентификация транспортных средств?#

Повторная идентификация транспортных средств — это важное application in computer vision. Она специализируется на распознавании одного и того же транспортного средства по мере его появления на разных несоприкасающихся камерах, сохраняя его идентичность неизменной при перемещении по городу. Это сложная задача, так как каждая камера может захватывать транспортное средство под другим углом, при другом освещении или с частичным перекрытием.

Рассмотри сценарий, в котором синий седан проезжает через перекресток и позже появляется на другой улице под прицелом другой камеры. Угол, освещение и фон изменились, а другие автомобили могут на время перекрывать обзор. Несмотря на это, система vehicle re-ID все равно должна определить, что это тот же самый автомобиль.

Недавние достижения в глубоком обучении, особенно со сверточными нейронными сетями (CNN) и моделями на основе трансформеров, сделали этот процесс намного точнее. Эти модели способны извлекать значимые визуальные паттерны и различать похожие автомобили, при этом идентифицируя правильный.

В интеллектуальных транспортных системах эта возможность поддерживает непрерывный мониторинг, реконструкцию маршрутов и общегородской анализ трафика, давая системам «умного города» более ясную картину того, как движутся автомобили. Они помогают повысить безопасность и эффективность.

Понимание того, как работает повторная идентификация транспортных средств#

Как правило, видеозаписи с перекрестков, парковок и автомагистралей анализируются с использованием методов повторной идентификации транспортных средств, чтобы определить, появляется ли один и тот же автомобиль на разных камерах. Эта концепция похожа на повторную идентификацию людей, где системы отслеживают отдельных лиц через несколько ракурсов, но здесь фокус на анализе специфических характеристик автомобиля вместо внешности человека.

Процесс этого включает в себя несколько ключевых шагов, каждый из которых разработан, чтобы помочь системе обнаруживать автомобили, извлекать их визуальные признаки и надежно сопоставлять их между разными ракурсами.

На высоком уровне система сначала обнаруживает транспортные средства в каждом кадре, а затем извлекает признаки, такие как цвет, форма и текстура, чтобы создать уникальное цифровое представление, или эмбеддинг, для каждого из них. Эти эмбеддинги сравниваются во времени и между камерами, часто при поддержке отслеживания объектов и пространственно-временных проверок, чтобы решить, принадлежат ли два наблюдения одному и тому же автомобилю.

Рис. 2. Как работает повторная идентификация транспортных средств. (Источник)

Вот более детальный взгляд на этот процесс:

• Object detection: Сначала система определяет и находит транспортные средства в каждом видеокадре, чтобы точно знать, какие области нужно обрабатывать. Этот шаг обычно выполняется моделями обнаружения объектов.
• Feature extraction (Извлечение признаков): После обнаружения выделенная сеть Re-ID или сеть извлечения признаков анализирует каждый кроп автомобиля и создает карты признаков или представления, которые фиксируют визуальные детали, такие как цвет, форма, текстура и отличительные части.
• Embedding generation (Генерация эмбеддингов): Эти извлеченные признаки превращаются в числовое представление, называемое эмбеддингом признаков. Этот эмбеддинг действует как цифровой отпечаток, который фиксирует, как автомобиль выглядит под разными углами. Перед сопоставлением эти эмбеддинги обычно нормализуются, чтобы различия, вызванные освещением, контрастом или настройками камеры, не мешали сравнению идентичности. Нормализация гарантирует, что система фокусируется на значимых, связанных с идентичностью признаках, а не на шуме.
• Object tracking (Отслеживание объектов): В рамках одного обзора камеры алгоритмы отслеживания соединяют обнаружения между кадрами, помогая поддерживать последовательную идентичность по мере перемещения автомобиля по сцене.
• Cross-camera matching (Межкамерное сопоставление): Чтобы сопоставить один и тот же автомобиль между разными камерами, система сравнивает эмбеддинги (сгенерированные сетью Re-ID) вместе с информацией о времени и местоположении. Этот шаг определяет, принадлежат ли два наблюдения одному и тому же автомобилю, даже если камеры не перекрываются.

Как модели Ultralytics YOLO могут поддерживать повторную идентификацию транспортных средств#

Модели Ultralytics YOLO играют важную вспомогательную роль в конвейерах повторной идентификации транспортных средств. Хотя они не выполняют Re-ID самостоятельно, они предоставляют другие важные возможности, такие как быстрое обнаружение и стабильное отслеживание, от которых зависят сети Re-ID для точного межкамерного сопоставления.

Далее давай более подробно рассмотрим, как модели Ultralytics YOLO, такие как YOLO11, могут улучшить системы повторной идентификации транспортных средств.

Точный модуль обнаружения транспортных средств: первая часть систем Re-ID#

Основой любой системы повторной идентификации транспортных средств является точное обнаружение объектов. Модели Ultralytics YOLO, такие как YOLO11, являются отличным вариантом для этого, так как они могут быстро обнаруживать транспортные средства в каждом кадре, даже в оживленных сценах с частичными окклюзиями, интенсивным движением или меняющимися условиями освещения.

Их также можно обучать на пользовательских данных, что означает, что ты можешь дообучить модель на своем собственном датасете, чтобы она научилась распознавать специфические типы автомобилей, такие как такси, фургоны доставки или корпоративный транспорт. Это особенно полезно, когда решение требует более специализированного обнаружения. Предоставляя чистые и точные ограничивающие рамки (bounding boxes), модели Ultralytics YOLO дают сетям Re-ID качественные входные данные, что ведет к более надежному сопоставлению между камерами.

Поддержка надежного отслеживания с одной камеры#

После обнаружения транспортных средств такие модели, как Ultralytics YOLO11, также могут обеспечивать стабильное отслеживание объектов в поле зрения одной камеры. Отслеживание объектов — это процесс сопровождения обнаруженного транспортного средства в последовательных кадрах и присвоения ему постоянного ID по мере его движения.

Благодаря встроенной поддержке алгоритмов трекинга, таких как ByteTrack и BoT-SORT в Ultralytics Python package, YOLO11 может поддерживать стабильные ID по мере перемещения транспортных средств по сцене. Такой стабильный трекинг сокращает количество переключений идентификаторов до того, как система Re-ID возьмет управление на себя, что в конечном итоге повышает точность сопоставления между камерами.

Опциональная повторная идентификация на уровне трекера для улучшенной стабильности идентичности#

В дополнение к стандартному трекингу на основе движения, пакет Ultralytics Python package включает в себя дополнительные Re-ID capabilities на основе внешнего вида в своем трекере BoT-SORT. Это означает, что трекер может использовать признаки визуального внешнего вида, а не только шаблоны движения или пересечение ограничивающих рамок (bounding boxes), чтобы определить, принадлежат ли два обнаружения одному и тому же транспортному средству.

При включении BoT-SORT извлекает легковесные эмбеддинги внешнего вида из детектора или из классификационной модели Ultralytics YOLO11 и использует их для проверки соответствия личности между кадрами. Этот дополнительный признак внешнего вида помогает трекеру поддерживать более стабильные ID в сложных ситуациях, таких как кратковременные перекрытия, проезд автомобилей близко друг к другу или небольшие сдвиги, вызванные движением камеры.

Хотя этот встроенный Re-ID не предназначен для замены полноценной межкамерной повторной идентификации транспортных средств, он улучшает последовательность идентичности внутри одного обзора камеры и создает более чистые треки, на которые могут положиться последующие модули Re-ID. Чтобы использовать эти функции отслеживания на основе внешнего вида, просто включи Re-ID в файле конфигурации трекера BoT-SORT, установив «with_reid» на «True» и выбрав, какая модель будет предоставлять признаки внешнего вида.

Более подробную информацию ты можешь найти на странице Ultralytics documentation page on object tracking, где объясняются доступные параметры Re-ID и способы их настройки.

Предоставление качественных входных данных для сетей Re-ID#

Помимо улучшения стабильности идентичности во время отслеживания, модели YOLO также играют важную роль в подготовке чистых визуальных данных для самой сети Re-ID.

После того как автомобиль обнаружен, его bounding box обычно обрезается и отправляется в сеть повторной идентификации, которая извлекает визуальные признаки, необходимые для сопоставления. Поскольку модели Re-ID сильно зависят от этих обрезанных изображений, некачественные входные данные, такие как размытые, невыровненные или неполные кропы, могут привести к более слабым эмбеддингам и менее надежному межкамерному сопоставлению.

Модели Ultralytics YOLO помогают уменьшить эти проблемы, постоянно создавая чистые, хорошо выровненные ограничивающие рамки, которые полностью захватывают интересующий автомобиль. С более четкими и точными кропами сеть Re-ID может сосредоточиться на значимых деталях, таких как цвет, форма, текстура и другие отличительные признаки. Качественные входные данные ведут к более надежной и точной производительности Re-ID между обзорами камер.

Включение межкамерного сопоставления в сочетании с моделью Re-ID#

Хотя модели Ultralytics YOLO не выполняют повторную идентификацию самостоятельно, они предоставляют критически важную информацию, необходимую сети Re-ID для сравнения транспортных средств между разными обзорами камер. Модели, такие как YOLO11, могут взять на себя задачу локализации и отслеживания транспортных средств в каждой камере, в то время как модель Re-ID определяет, принадлежат ли два кропа автомобиля из разных мест одной и той же идентичности.

Когда эти компоненты работают вместе — YOLO для обнаружения и отслеживания, а специализированная модель эмбеддингов для извлечения признаков — они формируют полный конвейер сопоставления транспортных средств между несколькими камерами. Это делает возможным ассоциировать один и тот же автомобиль по мере его движения через более крупную сеть камер.

Например, в недавнем исследовании ученые использовали легкую модель Ultralytics YOLO11 как vehicle detector в системе онлайн-трекинга с несколькими камерами. В исследовании выяснилось, что применение YOLO11 помогло сократить время обнаружения без потери точности, что повысило общую производительность последующего трекинга и сопоставления между камерами.

Рис. 3. Многоцелевое отслеживание и повторная идентификация транспортных средств на базе Ultralytics YOLO11 с использованием нескольких камер. (Source)

Архитектуры на основе глубокого обучения для vehicle Re-ID#

Теперь, когда у нас есть лучшее понимание того, как модели Ultralytics YOLO могут поддерживать повторную идентификацию транспортных средств, давай подробнее рассмотрим модели глубокого обучения, которые управляют этапами извлечения признаков и сопоставления. Эти модели отвечают за изучение того, как выглядят транспортные средства, создание надежных эмбеддингов и различение визуально похожих автомобилей между разными обзорами камер.

Вот несколько примеров основных компонентов глубокого обучения, используемых в системах повторной идентификации объектов:

• Feature extraction с использованием сверточных нейросетей (CNN): Сверточные нейронные сети, такие как ResNet50 или ResNet101, изучают глубокие признаки с помощью распознавания образов, выявляя такие элементы, как цвет, форма и текстура, которые отличают одно транспортное средство от другого. Эти изученные шаблоны затем преобразуются в эмбеддинги, которые служат уникальным цифровым представлением транспортного средства.

• Attention mechanisms и трансформеры: Сети и слои внимания, включая пространственное внимание, могут помочь выделить важные области транспортного средства, такие как фары, окна или зоны номерных знаков. Пространственное внимание фокусирует модель на расположении наиболее информативных визуальных подсказок, в то время как модели на базе трансформеров, такие как Vision Transformers (ViT), улавливают глобальные взаимосвязи по всему изображению. Вместе они повышают точность с мерой детализации, когда транспортные средства выглядят очень похожими.

• Частично-ориентированные и многоветвевые сети: Некоторые модели Re-ID анализируют специфические регионы автомобиля отдельно, такие как крыша, задние фонари или боковые панели, а затем комбинируют результаты. Это означает, что система остается надежной, даже если автомобили частично скрыты или видны под сложными углами.

В дополнение к этим архитектурным компонентам метрическое обучение играет ключевую роль в обучении моделей vehicle Re-ID. Функции потерь, такие как triplet loss, contrastive loss и cross-entropy loss, помогают системе изучать сильные, дискриминативные эмбеддинги, сближая изображения одного и того же автомобиля и отдаляя изображения разных.

Популярные датасеты и бенчмарки для повторной идентификации транспортных средств#

В исследованиях компьютерного зрения качество датасета оказывает огромное влияние на то, насколько хорошо модель работает после развертывания. Датасет предоставляет размеченные изображения или видео, на которых учится модель.

Для повторной идентификации транспортных средств эти передовые датасеты должны охватывать разнообразные условия, такие как освещение, изменения ракурса и погодные вариации. Это разнообразие помогает моделям справляться со сложностью реальных транспортных сред.

Вот краткий обзор популярных датасетов, которые поддерживают обучение, оптимизацию и оценку моделей повторной идентификации транспортных средств:

• VeRi-776 dataset: Это коллекция из более чем 50 000 аннотированных изображений транспортных средств, полученных с 20 городских камер. Аннотации включают ID транспортного средства, цвет, модель и области номерных знаков, что позволяет проводить детальное обучение признакам.
• VehicleID dataset: Этот крупномасштабный датасет содержит более 200 000 изображений, представляющих более 26 000 транспортных средств. Его часто выбирают для изучения масштабируемости и проведения базовых сравнений между различными методами.
• VeRi-Wild dataset: Он разработан для отражения изменчивости реального мира, включая различия в ракурсе, погоде и частичной окклюзии. Он обычно используется для оценки надежности и обобщающей способности модели.

Рис. 4. Пример транспортных средств в наборе данных VeRi-776. (Источник)

Производительность модели на этих датасетах обычно оценивается с использованием метрик, таких как mean average precision (mAP) и точность Rank-1 или Rank-5. mAP измеряет, насколько точно модель извлекает все релевантные совпадения для данного автомобиля, в то время как оценки Rank-1 и Rank-5 указывают, появляется ли правильное совпадение вверху списка результатов или в числе первых предсказаний.

Вместе эти бенчмарки дают исследователям последовательный способ сравнения различных подходов и играют важную роль в руководстве разработкой более точных и надежных систем повторной идентификации транспортных средств для реального использования.

Приложения повторной идентификации транспортных средств#

Теперь, когда мы разобрали основы, давай пройдемся по некоторым реальным случаям использования, где повторная идентификация транспортных средств поддерживает практические транспортные, мобильные и наблюдательные рабочие процессы.

Городское наблюдение и мониторинг трафика#

Оживленные городские дороги постоянно заполнены движением, и камеры трафика часто с трудом отслеживают один и тот же автомобиль по мере его перемещения между разными зонами. Изменения в освещении, переполненные сцены и автомобили, которые выглядят почти идентично, могут привести к потере идентичности между камерами.

Повторная идентификация транспортных средств решает эту проблему за счет четкого обнаружения автомобилей, извлечения отличительных признаков и поддержания последовательных ID даже при низком разрешении или интенсивном движении. Результатом является более плавное, непрерывное отслеживание по сети, дающее транспортным командам более ясную картину того, как автомобили движутся по городу, и обеспечивающее более быстрые, информированные ответы на заторы и инциденты.

Системы «умной» парковки#

Системы «умной» парковки полагаются на последовательную идентификацию транспортных средств для управления въездом, выездом, контролем доступа и распределением мест. Однако камеры в этих средах часто захватывают автомобили под необычными углами и при сложном освещении, например, в подземных гаражах, затененных зонах или на открытых площадках в сумерках.

Эти условия затрудняют подтверждение того, виден ли один и тот же автомобиль в разных зонах. Когда идентичность непоследовательна, записи парковки могут прерываться, контроль доступа становится менее надежным, а водители могут испытывать задержки. Именно поэтому многие системы парковки включают модели повторной идентификации транспортных средств для поддержания стабильной идентичности каждого автомобиля по мере его передвижения по объекту.

Рис. 5. Пример повторной идентификации транспортного средства, показывающий выбранное изображение транспортного средства слева и совпадающие результаты поиска справа. (Источник)

Правоохранительные органы и криминалистика#

Опираясь на мониторинг дорожного движения, повторная идентификация транспортных средств также играет важную роль в правоохранительной деятельности и криминалистических расследованиях. Во многих случаях офицерам необходимо проследить автомобиль через несколько камер, но номерные знаки могут быть нечитаемыми, отсутствовать или быть намеренно скрыты.

Оживленные сцены, плохая видимость и частичная окклюзия могут сделать разные автомобили обманчиво похожими, что делает ручную идентификацию медленной и ненадежной. Повторная идентификация транспортных средств может использоваться для отслеживания движения автомобиля через неперекрывающиеся сети камер путем анализа его визуальных признаков, а не полагаясь исключительно на номерные знаки.

Это означает, что следователи могут легче отслеживать движения автомобиля, понимать, когда он появлялся в разных местах, и подтверждать его путь до и после инцидента. Vehicle re-ID на базе ИИ также поддерживает такие задачи, как отслеживание подозрительных автомобилей, просмотр видеозаписей инцидентов или определение того, в каком направлении двигался автомобиль до или после события.

Рис. 6. Транспортные средства, сопоставленные с разных камер с различными ракурсами. (Источник)

Отслеживание автопарка и логистика#

Операции автопарков и логистики часто полагаются на GPS, RFID-метки и ручные журналы для отслеживания движения транспортных средств, но эти инструменты оставляют пробелы в зонах, охваченных камерами безопасности или складскими камерами, таких как погрузочные площадки, складские дворы и внутренние дорожные сети.

Автомобили часто перемещаются между камерами, которые не перекрываются, исчезают за конструкциями или выглядят почти идентично другим в автопарке, что затрудняет подтверждение того, был ли замечен один и тот же автомобиль в разных местах. Системы повторной идентификации транспортных средств могут помочь закрыть эти пробелы путем анализа визуальных деталей и информации о времени, чтобы поддерживать последовательную идентичность для каждого автомобиля по мере его движения по объекту.

Это дает менеджерам автопарков более полное представление об активности внутри их хабов, поддерживая такие задачи, как проверка маршрутов доставки, выявление необычных движений и обеспечение того, чтобы автомобили следовали ожидаемым маршрутам.

Плюсы и минусы задач vehicle re-id#

Вот некоторые из ключевых преимуществ использования повторной идентификации транспортных средств на базе ИИ:

• Снижение ручной нагрузки: Vehicle re-ID автоматизирует задачи сопоставления идентичности, которые в противном случае требовали бы обширного ручного просмотра, значительно сокращая время и усилия, необходимые для анализа видеозаписей.
• Автоматизация и аналитика в реальном времени: Сочетая обнаружение, отслеживание и сопоставление признаков, vehicle re-ID поддерживает непрерывный автоматизированный мониторинг и может предоставлять оповещения в реальном времени для более быстрого реагирования на инциденты.
• Масштабируемость и адаптируемость: Модели Re-ID могут адаптироваться к новым условиям, условиям освещения или ракурсам камер благодаря надежному обучению признаков, многомасштабному извлечению признаков и инвариантным представлениям, которые остаются стабильными при визуальных изменениях. Эти возможности делают их подходящими как для крупных городских сетей, так и для небольших развертываний.

Хотя повторная идентификация транспортных средств предлагает много преимуществ, есть также некоторые ограничения, которые следует учитывать. Вот несколько факторов, которые влияют на ее надежность в реальных условиях:

• Высокая вычислительная потребность: Извлечение признаков, генерация эмбеддингов и межкамерное сопоставление требуют значительной вычислительной мощности, особенно при мониторинге больших сетей камер.
• Экологическая изменчивость: Факторы, такие как ночное освещение, изменения погоды, тени и окклюзии, могут снизить способность модели поддерживать последовательную идентичность между сценами.
• Ограничения датасета и домена: Модели, обученные на ограниченных или идеализированных датасетах, могут плохо обобщаться на реальные условия без дальнейшего дообучения или адаптации к домену.

Путь вперед для методов повторной идентификации транспортных средств#

Повторная идентификация транспортных средств продолжает развиваться по мере прогресса технологий. Недавние публикации от IEEE, CVPR и arXiv, наряду с презентациями на международных конференциях, подчеркивают явный сдвиг в сторону более богатых моделей, которые объединяют несколько источников данных и более продвинутые рассуждения о признаках. Будущая работа в этой области, вероятно, будет сосредоточена на создании систем, которые являются более надежными, эффективными и способными справляться с реальной изменчивостью в масштабе.

Например, одним из перспективных направлений является использование transformer-based models и графовых сетей агрегации. Трансформеры могут анализировать все изображение и понимать, как все визуальные детали сочетаются друг с другом, что помогает системе распознавать одно и то же транспортное средство даже при изменении угла или освещения.

Графовые модели делают еще один шаг вперед, рассматривая различные части транспортного средства или ракурсы камеры как взаимосвязанные точки в сети. Это позволяет системе понимать корреляцию между этими ключевыми точками и принимать более верные решения об идентификаторах транспортных средств и их отличительных признаках.

Еще одним ключевым достижением является multi-modal data fusion и слияние признаков. Вместо того чтобы полагаться только на изображения, новые системы объединяют визуальную информацию с другими мультимедийными сигналами, такими как данные GPS или шаблоны движения с датчиков. Этот дополнительный контекст позволяет системе легче сохранять точность, когда транспортные средства частично заблокированы, при плохом освещении или при внезапном изменении углов обзора камеры.

Основные выводы#

Реидентификация транспортных средств становится ключевой методологией в интеллектуальных транспортных системах, помогая городам более надежно отслеживать транспортные средства с помощью различных камер. Благодаря достижениям в области глубокого обучения и более качественной валидации с использованием более богатых и разнообразных наборов данных, эти системы становятся все более точными и практичными в реальных условиях.

По мере развития технологии важно соблюдать баланс между инновациями и ответственными методами обеспечения конфиденциальности, безопасности и этики. В целом, эти достижения прокладывают путь к созданию более интеллектуальных, безопасных и эффективных транспортных сетей.

Узнай больше об ИИ, посетив наш репозиторий GitHub и присоединившись к нашему сообществу. Ознакомься со страницами наших решений, чтобы узнать про ИИ в робототехнике и компьютерное зрение в производстве. Узнай наши варианты лицензирования, чтобы начать работу с визуальным ИИ уже сегодня!