Повышение эффективности повторной идентификации транспортных средств с помощью моделей Ultralytics YOLO

Когда ты смотришь гонку Formula One, легко заметить автомобиль любимой команды. Ярко-красный Ferrari или серебристый Mercedes выделяется круг за кругом.

Научить машину делать то же самое не на чистой гоночной трассе, а на заполненных транспортом городских улицах гораздо сложнее. Поэтому в последнее время повторная идентификация транспортных средств (vehicle re-ID) привлекает всё больше внимания в сфере ИИ.

Повторная идентификация транспортных средств позволяет машинам распознавать один и тот же автомобиль на изображениях с нескольких камер, включая камеры с неперекрывающимися зонами обзора. Она также предназначена для идентификации автомобилей после временной окклюзии (когда автомобиль частично скрыт) или при изменении освещения и ракурса.

Ключевая технология, лежащая в основе vehicle re-ID, — это компьютерное зрение. Компьютерное зрение — это раздел искусственного интеллекта, посвящённый обучению машин пониманию и интерпретации визуальной информации, например изображений и видео. С помощью этой технологии системы ИИ могут анализировать признаки автомобилей и надёжно отслеживать их в крупных сетях камер для таких задач, как городской видеомониторинг и контроль дорожного движения.

В частности, модели Vision AI, такие как Ultralytics YOLO11 и будущая Ultralytics YOLO26, поддерживают такие задачи, как обнаружение и отслеживание объектов. Они могут быстро находить автомобили в каждом кадре и отслеживать их перемещение по сцене. При объединении этих моделей с сетями повторной идентификации транспортных средств комплексная система может распознавать один и тот же автомобиль в разных видеопотоках, даже если ракурсы или условия освещения меняются.

Рис. 1. Пример использования YOLO11 для отслеживания автомобилей и оценки скорости (источник)

В этой статье мы рассмотрим, как работает повторная идентификация транспортных средств, какие технологии делают её возможной и где она применяется в интеллектуальных транспортных системах. Давай начнём!

Что такое повторная идентификация транспортных средств?#

Повторная идентификация транспортных средств — важное применение компьютерного зрения. Она сосредоточена на распознавании одного и того же автомобиля на изображениях с разных камер с неперекрывающимися зонами обзора, сохраняя его идентичность по мере перемещения по городу. Это сложно, поскольку каждая камера может снимать автомобиль под другим углом, при другом освещении или с частичной окклюзией.

Представь ситуацию: синий седан проезжает перекрёсток, а позже появляется на другой улице, где его снимает другая камера. Ракурс, освещение и фон изменились, а другие автомобили могут ненадолго закрыть обзор. Несмотря на это, система vehicle re-ID должна определить, что это тот же автомобиль.

Последние достижения в глубоком обучении, особенно в области свёрточных нейронных сетей (CNN) и моделей на основе Transformer, сделали этот процесс гораздо точнее. Эти модели могут извлекать значимые визуальные признаки и различать похожие автомобили, продолжая при этом идентифицировать нужный автомобиль.

В интеллектуальных транспортных системах эта возможность поддерживает непрерывный мониторинг, восстановление маршрутов и анализ дорожного движения по всему городу, помогая системам умного города лучше понимать перемещение автомобилей. Это способствует повышению безопасности и эффективности.

Как работает повторная идентификация транспортных средств#

Обычно видеозаписи с перекрёстков, парковок и автомагистралей анализируются с помощью методов повторной идентификации транспортных средств, чтобы определить, появляется ли один и тот же автомобиль на разных камерах. Эта концепция похожа на повторную идентификацию людей, при которой системы отслеживают людей на нескольких ракурсах, но здесь внимание сосредоточено на анализе специфических признаков автомобиля, а не внешности человека.

Этот процесс включает несколько ключевых этапов, каждый из которых помогает системе обнаруживать автомобили, извлекать их визуальные признаки и надёжно сопоставлять их на разных ракурсах.

В общих чертах система сначала обнаруживает автомобили в каждом кадре, а затем извлекает такие признаки, как цвет, форма и текстура, чтобы создать для каждого автомобиля уникальное цифровое представление, или эмбеддинг. Эти эмбеддинги сравниваются во времени и между камерами, часто с поддержкой отслеживания объектов и пространственно-временных проверок, чтобы определить, относятся ли два наблюдения к одному автомобилю.

Рис. 2. Как работает повторная идентификация транспортных средств. (Источник)

Рассмотрим этот процесс подробнее:

• Обнаружение объектов: Система сначала идентифицирует автомобили и определяет их расположение в каждом видеокадре, чтобы точно знать, какие области нужно обработать. Обычно этот этап выполняют модели обнаружения объектов.
• Извлечение признаков: После обнаружения специализированная сеть Re-ID или сеть извлечения признаков анализирует обрезанное изображение каждого автомобиля и создаёт карты признаков или представления признаков, отражающие такие визуальные детали, как цвет, форма, текстура и отличительные элементы.
• Генерация эмбеддингов: Извлечённые признаки преобразуются в числовое представление, называемое эмбеддингом признаков. Этот эмбеддинг действует как цифровой отпечаток, отражающий внешний вид автомобиля с разных ракурсов. Перед сопоставлением эмбеддинги обычно нормализуются, чтобы различия, вызванные освещением, контрастностью или настройками камеры, не мешали сравнению идентичности. Нормализация помогает системе сосредоточиться на значимых признаках, связанных с идентичностью, а не на шуме.
• Отслеживание объектов: В пределах одного ракурса камеры алгоритмы отслеживания связывают обнаружения между кадрами, помогая сохранять постоянную идентичность автомобиля по мере его перемещения по сцене.
• Сопоставление между камерами: Чтобы сопоставить один и тот же автомобиль на разных камерах, система сравнивает эмбеддинги (сгенерированные сетью Re-ID), а также данные о времени и местоположении. Этот этап определяет, относятся ли два наблюдения к одному автомобилю, даже если зоны обзора камер не перекрываются.

Как модели Ultralytics YOLO могут поддерживать повторную идентификацию транспортных средств#

Модели Ultralytics YOLO играют важную вспомогательную роль в конвейерах повторной идентификации транспортных средств. Хотя сами по себе они не выполняют Re-ID, они предоставляют другие необходимые возможности, например быстрое обнаружение и стабильное отслеживание, от которых сети Re-ID зависят при точном сопоставлении между камерами.

Теперь подробнее рассмотрим, как модели Ultralytics YOLO, такие как YOLO11, могут улучшить системы повторной идентификации транспортных средств.

Точный модуль обнаружения транспортных средств: основа систем Re-ID#

Основа любой системы повторной идентификации транспортных средств — точное обнаружение объектов. Модели Ultralytics YOLO, такие как YOLO11, отлично подходят для этой задачи, поскольку могут быстро обнаруживать автомобили в каждом кадре, даже в насыщенных сценах с частичными окклюзиями, плотным трафиком или меняющимся освещением.

Их также можно обучать на пользовательских данных: ты можешь дообучить модель на собственном датасете, чтобы она научилась распознавать определённые типы транспортных средств, например такси, фургоны доставки или автомобили автопарка. Это особенно полезно, когда решению требуется более специализированное обнаружение. Предоставляя чистые и точные ограничивающие рамки, модели Ultralytics YOLO обеспечивают сети Re-ID качественными входными данными, что повышает надёжность сопоставления между камерами.

Поддержка надёжного отслеживания одной камерой#

После обнаружения автомобилей модели, такие как Ultralytics YOLO11, также могут поддерживать стабильное отслеживание объектов в пределах одного ракурса камеры. Отслеживание объектов — это процесс сопровождения обнаруженного автомобиля в последовательных кадрах и присвоения ему постоянного ID по мере перемещения.

Благодаря встроенной поддержке алгоритмов отслеживания, таких как ByteTrack и BoT-SORT, в пакете Ultralytics для Python YOLO11 может сохранять постоянные ID по мере движения автомобилей по сцене. Такое стабильное отслеживание сокращает число смен идентичности до передачи данных системе Re-ID и в конечном итоге повышает точность сопоставления между камерами.

Необязательный Re-ID на уровне трекера для повышения стабильности идентичности#

Помимо стандартного отслеживания на основе движения, пакет Ultralytics для Python включает необязательные возможности Re-ID на основе внешнего вида в трекере BoT-SORT. Это означает, что трекер может использовать визуальные признаки внешнего вида, а не только закономерности движения или перекрытие ограничивающих рамок, чтобы определить, относятся ли два обнаружения к одному автомобилю.

Если эта функция включена, BoT-SORT извлекает облегчённые эмбеддинги внешнего вида из детектора или из классификационной модели Ultralytics YOLO11 и использует их для проверки идентичности между кадрами. Этот дополнительный признак внешнего вида помогает трекеру сохранять более стабильные ID в сложных ситуациях, например при кратковременных окклюзиях, близком движении автомобилей или небольших смещениях, вызванных движением камеры.

Хотя встроенный Re-ID не предназначен для замены полноценной повторной идентификации автомобилей между камерами, он повышает согласованность идентичности в пределах одного ракурса камеры и создаёт более чистые треки, на которые могут опираться последующие модули Re-ID. Чтобы использовать эти возможности отслеживания на основе внешнего вида, достаточно включить Re-ID в файле конфигурации трекера BoT-SORT, установив параметр “with_reid” в значение “True” и выбрав модель, которая будет предоставлять признаки внешнего вида.

Подробнее см. на странице документации Ultralytics об отслеживании объектов, где объясняются доступные параметры Re-ID и способы их настройки.

Предоставление сетям Re-ID качественных входных данных#

Помимо повышения стабильности идентичности при отслеживании, модели YOLO также играют важную роль в подготовке чистых визуальных входных данных непосредственно для сети Re-ID.

После обнаружения автомобиля его ограничивающая рамка обычно обрезается, и полученный фрагмент передаётся в сеть повторной идентификации, которая извлекает визуальные признаки, необходимые для сопоставления. Поскольку модели Re-ID сильно зависят от этих обрезанных изображений, плохие входные данные, например размытые, смещённые или неполные фрагменты, могут привести к менее качественным эмбеддингам и менее надёжному сопоставлению между камерами.

Модели Ultralytics YOLO помогают уменьшить эти проблемы, стабильно создавая чистые и хорошо выровненные ограничивающие рамки, полностью охватывающие нужный автомобиль. Благодаря более чётким и точным фрагментам сеть Re-ID может сосредоточиться на значимых деталях, таких как цвет, форма, текстура и другие отличительные признаки. Качественные входные данные обеспечивают более надёжную и точную работу Re-ID на изображениях с разных камер.

Сопоставление между камерами при объединении с моделью Re-ID#

Хотя модели Ultralytics YOLO не выполняют повторную идентификацию самостоятельно, они предоставляют критически важную информацию, необходимую сети re-ID для сравнения автомобилей на изображениях с разных камер. Модели, такие как YOLO11, могут отвечать за обнаружение и отслеживание автомобилей в каждой камере, а модель Re-ID — определять, относятся ли два фрагмента автомобилей из разных мест к одной идентичности.

Когда эти компоненты работают вместе — YOLO для обнаружения и отслеживания и специализированная модель эмбеддингов для извлечения признаков, — они образуют полноценный конвейер сопоставления автомобилей между несколькими камерами. Это позволяет связать один и тот же автомобиль по мере его перемещения через более крупную сеть камер.

Например, в недавнем исследовании учёные использовали облегчённую модель Ultralytics YOLO11 в качестве детектора транспортных средств в системе онлайн-отслеживания с несколькими камерами. Исследование показало, что YOLO11 помогла сократить время обнаружения без потери точности, что повысило общую эффективность последующего отслеживания и сопоставления между камерами.

Рис. 3. Отслеживание и повторная идентификация нескольких автомобилей между камерами на основе Ultralytics YOLO11. (Источник)

Архитектуры глубокого обучения для vehicle Re-ID#

Теперь, когда мы лучше понимаем, как модели Ultralytics YOLO могут поддерживать повторную идентификацию транспортных средств, рассмотрим подробнее модели глубокого обучения, отвечающие за извлечение признаков и сопоставление. Эти модели учатся распознавать внешний вид автомобилей, создавать устойчивые эмбеддинги и различать визуально похожие автомобили на изображениях с разных камер.

Вот несколько примеров ключевых компонентов глубокого обучения, используемых в системах повторной идентификации объектов:

• Извлечение признаков с помощью CNN: Свёрточные нейронные сети, такие как ResNet50 или ResNet101, изучают глубокие признаки посредством распознавания закономерностей, выделяя такие элементы, как цвет, форма и текстура, которые отличают один автомобиль от другого. Затем эти изученные закономерности преобразуются в эмбеддинги, выступающие уникальным цифровым представлением автомобиля.

• Механизмы внимания и Transformer: Сети и слои внимания, включая пространственное внимание, помогают выделять важные области автомобиля, например фары, окна или зоны номерного знака. Пространственное внимание фокусирует модель на расположении наиболее информативных визуальных признаков, а модели на основе Transformer, такие как Vision Transformers (ViT), улавливают глобальные взаимосвязи по всему изображению. Вместе они повышают точность при различении очень похожих автомобилей.

• Сети на основе частей и многоветвевые сети: Некоторые модели Re-ID отдельно анализируют конкретные области автомобиля, например крышу, задние фонари или боковые панели, а затем объединяют результаты. Благодаря этому система остаётся устойчивой даже при частичной окклюзии автомобилей или сложных ракурсах.

Помимо этих архитектурных компонентов, ключевую роль в обучении моделей vehicle Re-ID играет метрическое обучение. Функции потерь, такие как triplet loss, contrastive loss и cross-entropy loss, помогают системе изучать сильные, дискриминативные эмбеддинги: изображения одного автомобиля сближаются, а изображения разных автомобилей отдаляются.

Популярные датасеты и бенчмарки для повторной идентификации транспортных средств#

В исследованиях компьютерного зрения качество датасета сильно влияет на то, насколько хорошо модель работает после внедрения. Датасет предоставляет размеченные изображения или видео, на которых обучается модель.

Для повторной идентификации транспортных средств эти передовые датасеты должны отражать разнообразные условия, такие как различия в освещении, изменение ракурса и погодные условия. Такое разнообразие помогает моделям справляться со сложностью реальных транспортных сред.

Вот краткий обзор популярных датасетов, поддерживающих обучение, оптимизацию и оценку моделей повторной идентификации транспортных средств:

• Датасет VeRi-776: Это коллекция из более чем 50 000 аннотированных изображений автомобилей, снятых 20 городскими камерами. Аннотации включают ID автомобиля, цвет, модель и области номерных знаков, что позволяет подробно изучать признаки.
• Датасет VehicleID: Этот крупномасштабный датасет содержит более 200 000 изображений, представляющих свыше 26 000 автомобилей. Его часто выбирают для изучения масштабируемости и базового сравнения различных методов.
• Датасет VeRi-Wild: Он предназначен для отражения вариативности реального мира, включая различия в ракурсе, погоде и частичной окклюзии. Его обычно используют для оценки устойчивости и способности моделей к обобщению.

Рис. 4. Пример автомобилей в датасете VeRi-776. (Источник)

Производительность модели на этих датасетах обычно оценивают с помощью таких метрик, как средняя точность (mAP) и точность Rank-1 или Rank-5. mAP измеряет, насколько точно модель извлекает все релевантные совпадения для данного автомобиля, а показатели Rank-1 и Rank-5 показывают, находится ли правильное совпадение на первом месте в списке результатов или среди первых нескольких предсказаний.

В совокупности эти бенчмарки дают исследователям единый способ сравнивать разные подходы и играют важную роль в разработке более точных и надёжных систем повторной идентификации транспортных средств для реального применения.

Применение повторной идентификации транспортных средств#

Теперь, когда мы рассмотрели основы, давай разберём несколько реальных сценариев использования, в которых повторная идентификация транспортных средств поддерживает практические процессы в сфере транспорта, мобильности и видеомониторинга.

Городской мониторинг и контроль дорожного движения#

На оживлённых городских дорогах постоянно кипит движение, и дорожным камерам часто трудно отслеживать один и тот же автомобиль при его перемещении между разными районами. Изменения освещения, crowded сцены и почти одинаковые автомобили могут привести к потере идентичности между камерами.

Повторная идентификация транспортных средств решает эту проблему, чётко обнаруживая автомобили, извлекая отличительные признаки и сохраняя постоянные ID даже на видео низкого разрешения или в насыщенных сценах. В результате отслеживание по сети становится более плавным и непрерывным, а службы дорожного движения получают более ясное представление о перемещении автомобилей по городу и могут быстрее и эффективнее реагировать на пробки и происшествия.

Системы умной парковки#

Умные парковки полагаются на стабильную идентификацию автомобилей для управления въездом, выездом, контролем доступа и распределением парковочных мест. Однако камеры в таких условиях часто снимают автомобили под необычными углами и при сложном освещении, например в подземных гаражах, затенённых зонах или на открытых парковках в сумерках.

Такие условия усложняют подтверждение того, что на разных участках наблюдается один и тот же автомобиль. При непоследовательной идентификации записи о парковке могут прерываться, контроль доступа становится менее надёжным, а водители могут сталкиваться с задержками. Поэтому многие системы умной парковки используют модели повторной идентификации транспортных средств, чтобы сохранять стабильную идентичность каждого автомобиля при его перемещении по объекту.

Рис. 5. Пример повторной идентификации транспортных средств: выбранное изображение автомобиля слева и соответствующие результаты поиска справа. (Источник)

Правоохранительная деятельность и криминалистика#

Развивая возможности мониторинга дорожного движения, повторная идентификация транспортных средств также играет важную роль в правоохранительной деятельности и криминалистических расследованиях. Во многих случаях сотрудникам нужно проследить автомобиль через несколько камер, но номерные знаки могут быть нечитаемыми, отсутствовать или быть намеренно скрыты.

Переполненные сцены, плохая видимость и частичная окклюзия могут сделать разные автомобили обманчиво похожими, из-за чего ручная идентификация становится медленной и ненадёжной. Повторную идентификацию транспортных средств можно использовать для отслеживания перемещения автомобиля через сети неперекрывающихся камер, анализируя его визуальные признаки, а не полагаясь исключительно на номерные знаки.

Это позволяет следователям проще отслеживать перемещения автомобиля, понимать, когда он появлялся в разных местах, и подтверждать его маршрут до и после происшествия. Vehicle re-ID на основе ИИ также поддерживает такие задачи, как отслеживание автомобилей подозреваемых, просмотр записи происшествия или определение направления движения автомобиля до или после события.

Рис. 6. Автомобили, сопоставленные между разными камерами с различными ракурсами. (Источник)

Отслеживание автопарка и логистики#

Операции с автопарком и логистикой часто используют GPS, RFID-метки и журналы, заполняемые вручную, для отслеживания перемещения автомобилей, однако эти инструменты не охватывают зоны, контролируемые камерами безопасности или камерами на территории объекта, например погрузочные площадки, складские дворы и внутренние дороги.

Автомобили часто перемещаются между камерами с неперекрывающимися зонами обзора, исчезают за сооружениями или выглядят почти так же, как другие автомобили автопарка, из-за чего трудно подтвердить, что один и тот же автомобиль был замечен в разных местах. Системы повторной идентификации транспортных средств помогают восполнить эти пробелы, анализируя визуальные детали и временную информацию для сохранения постоянной идентичности каждого автомобиля при его перемещении по объекту.

Это даёт менеджерам автопарка более полное представление об активности внутри их логистических центров и поддерживает такие задачи, как проверка маршрутов доставки, выявление необычных перемещений и контроль соблюдения автомобилями ожидаемых маршрутов.

Плюсы и минусы задач vehicle re-ID#

Вот несколько ключевых преимуществ использования повторной идентификации транспортных средств с поддержкой ИИ:

• Снижение объёма ручной работы: Vehicle re-ID автоматизирует задачи сопоставления идентичности, которые в противном случае потребовали бы масштабной ручной проверки, существенно сокращая время и усилия, необходимые для анализа видеозаписей.
• Автоматизация и аналитика в реальном времени: Объединяя обнаружение, отслеживание и сопоставление признаков, vehicle re-ID поддерживает непрерывный автоматизированный мониторинг и может предоставлять оповещения в реальном времени для более быстрой реакции на происшествия.
• Масштабируемость и адаптивность: Благодаря устойчивому обучению признаков, многоуровневому извлечению признаков и инвариантным представлениям, сохраняющим стабильность при визуальных изменениях, модели Re-ID могут адаптироваться к новым средам, условиям освещения или ракурсам камер. Поэтому они подходят как для крупных городских сетей, так и для небольших развёртываний.

Несмотря на многочисленные преимущества, повторная идентификация транспортных средств имеет и ограничения, которые нужно учитывать. Вот несколько факторов, влияющих на её надёжность в реальных условиях:

• Высокие вычислительные требования: Извлечение признаков, генерация эмбеддингов и сопоставление между камерами требуют значительных вычислительных ресурсов, особенно при мониторинге крупных сетей камер.
• Изменчивость окружающей среды: Такие факторы, как ночное освещение, изменения погоды, тени и окклюзии, могут ухудшить способность модели сохранять постоянную идентичность объектов в разных сценах.
• Ограничения датасетов и предметной области: Модели, обученные на ограниченных или идеализированных датасетах, могут плохо обобщаться на реальные условия без дополнительной тонкой настройки или адаптации к предметной области.

Перспективы методов повторной идентификации транспортных средств#

Повторная идентификация транспортных средств продолжает развиваться вместе с технологиями. Недавние публикации IEEE, CVPR и arXiv, а также доклады на международных конференциях показывают явный переход к более продвинутым моделям, объединяющим несколько источников данных и использующим усовершенствованный анализ признаков. В дальнейших исследованиях, вероятно, основное внимание будет уделяться созданию более устойчивых и эффективных систем, способных масштабно работать с вариативностью реального мира.

Например, одним из перспективных направлений является использование моделей на основе Transformer и сетей агрегации графов. Transformer могут анализировать всё изображение и понимать, как связаны между собой все визуальные детали, помогая системе распознавать один и тот же автомобиль даже при изменении ракурса или освещения.

Модели на основе графов развивают этот подход, представляя различные части транспортного средства или ракурсы с камер как связанные точки в сети. Это позволяет системе понимать взаимосвязи между этими ключевыми точками и принимать более обоснованные решения об идентичности транспортных средств и отличительных признаках.

Ещё одним важным достижением стали мультимодальное объединение данных и объединение признаков. Вместо того чтобы полагаться только на изображения, современные системы объединяют визуальную информацию с другими мультимедийными сигналами, такими как данные GPS или схемы движения, полученные от датчиков. Этот дополнительный контекст помогает системе сохранять точность, когда транспортные средства частично закрыты, освещение плохое или ракурсы камер внезапно меняются.

Основные выводы#

Реидентификация транспортных средств становится важной методологией в интеллектуальных транспортных системах, помогая городам надёжнее отслеживать транспортные средства с разных камер. Благодаря достижениям в глубоком обучении и более качественной валидации с использованием обогащённых и разнообразных наборов данных такие системы становятся точнее и практичнее в реальных условиях.

По мере развития технологий важно сочетать инновации с ответственным подходом к вопросам конфиденциальности, безопасности и этики. В целом эти достижения прокладывают путь к более интеллектуальным, безопасным и эффективным транспортным сетям.

Узнай больше об AI, посетив наш репозиторий GitHub и присоединившись к нашему сообществу. Посети страницы наших решений, чтобы узнать об AI в робототехнике и компьютерном зрении в производстве. Ознакомься с вариантами лицензирования, чтобы начать использовать Vision AI уже сегодня!