Улучшение повторной идентификации транспортных средств с помощью моделей Ultralytics YOLO

Когда вы смотрите гонки Формулы-1, вы легко узнаете машину своей любимой команды. Ярко-красный Ferrari или серебристый Mercedes выделяются круг за кругом. 

Попросить машину сделать то же самое не на чистом гоночном треке, а на переполненных транспортом городских улицах гораздо сложнее. Именно поэтому повторная идентификация транспортных средств (vehicle re-ID) в последнее время привлекает все больше внимания в сфере ИИ. 

Повторная идентификация транспортных средств позволяет машинам распознавать один и тот же автомобиль с нескольких или не перекрывающихся камер. Она также направлена на идентификацию автомобилей после временной окклюзии (когда автомобиль частично скрыт) или смены освещения и точки зрения. 

Основной технологией, обеспечивающей повторную идентификацию автомобилей, является компьютерное зрение. Компьютерное зрение - это область искусственного интеллекта, которая занимается обучением машин пониманию и интерпретации визуальной информации, такой как изображения и видео. Используя эту технологию, системы искусственного интеллекта могут анализировать особенности транспортных средств и надежно track их по большим сетям камер для таких приложений, как городское видеонаблюдение и мониторинг дорожного движения.

В частности, модели искусственного интеллекта Vision, такие как Ultralytics YOLO11 и готовящаяся к выпуску Ultralytics YOLO26, поддерживают такие задачи, как обнаружение и отслеживание объектов. Они могут быстро находить автомобили в каждом кадре и следить за их перемещением по сцене. Если объединить эти модели с сетями повторной идентификации транспортных средств, то комбинированная система сможет распознать один и тот же автомобиль на разных кадрах, даже при изменении ракурса или условий освещения.

‍

В этой статье мы рассмотрим, как работает повторная идентификация транспортных средств, какие технологии позволяют это сделать и где они используются в интеллектуальных транспортных системах. Давайте начнем!

Что такое повторная идентификация автомобиля?

Повторная идентификация автомобиля - важное приложение в компьютерном зрении. Она направлена на распознавание одного и того же автомобиля с разных, не пересекающихся камер, сохраняя его идентичность по мере перемещения по городу. Это непростая задача, поскольку каждая камера может снимать автомобиль под разным углом, при разном освещении или с частичной окклюзией.

Рассмотрим сценарий, в котором синий седан проезжает через перекресток, а затем появляется на другой улице, за которой наблюдает другая камера. Ракурс, освещение и фон изменились, а другие автомобили могут ненадолго перекрыть обзор. Несмотря на это, система повторной идентификации автомобиля должна определить, что это тот же самый автомобиль.

Последние достижения в области глубокого обучения, особенно с помощью сверточных нейронных сетей (CNN) и моделей на основе трансформаторов, сделали этот процесс гораздо более точным. Эти модели могут извлекать значимые визуальные паттерны и различать похожие автомобили, но при этом определять правильный. 

В интеллектуальных транспортных системах эти возможности позволяют осуществлять непрерывный мониторинг, реконструкцию маршрутов и анализ трафика в масштабах города, давая системам "умного города" более четкое представление о движении транспортных средств. Это помогает повысить безопасность и эффективность.

Понимание того, как происходит повторная идентификация автомобиля 

Как правило, видеозаписи с перекрестков, парковок и автомагистралей анализируются с помощью методов повторной идентификации транспортных средств, чтобы определить, появляется ли один и тот же автомобиль на разных камерах. Эта концепция похожа на повторную идентификацию человека, когда системы track его по нескольким изображениям, но здесь основное внимание уделяется анализу специфических особенностей автомобиля, а не внешности человека. 

Процесс включает в себя несколько ключевых этапов, каждый из которых призван помочь системе detect транспортные средства, извлечь их визуальные характеристики и надежно сопоставить их с разных точек обзора.

На высоком уровне система сначала обнаруживает автомобили в каждом кадре, а затем извлекает такие характеристики, как цвет, форма и текстура, чтобы создать уникальное цифровое представление, или вкрапление, для каждого из них. Эти вкрапления сравниваются по времени и по камерам, часто с помощью отслеживания объектов и пространственно-временных проверок, чтобы решить, принадлежат ли два обнаруженных автомобиля одному и тому же.

‍

Вот более подробный взгляд на этот процесс:

• Обнаружение объекта: Сначала система идентифицирует и определяет местоположение автомобилей в каждом видеокадре, чтобы точно знать, какие регионы нужно обрабатывать. Этот шаг обычно выполняется моделями обнаружения объектов.
  
  
• Извлечение признаков: После обнаружения специальная сеть Re-ID или сеть извлечения признаков анализирует изображение каждого автомобиля и создает карты признаков или представления признаков, которые отражают визуальные детали, такие как цвет, форма, текстура и отличительные части.
  
  
• Генерация вкраплений: Эти извлеченные признаки превращаются в числовое представление, называемое вкраплением признаков. Это вложение действует как цифровой отпечаток пальца, который фиксирует, как автомобиль выглядит с разных сторон. Перед сопоставлением эти вкрапления обычно нормализуются, чтобы различия, вызванные освещением, контрастом или настройками камеры, не мешали сопоставлению. Нормализация позволяет системе сосредоточиться на значимых, связанных с идентификацией признаках, а не на шуме.
  
  
• Отслеживание объектов: В рамках одного обзора камеры алгоритмы отслеживания связывают обнаруженные объекты в разных кадрах, помогая сохранить их идентичность по мере перемещения автомобиля по сцене.
  
  
• Сопоставление между камерами: чтобы сопоставить один и тот же автомобиль с разных камер, система сравнивает вкрапления (генерируемые сетью Re-ID), а также информацию о времени и местоположении. Этот шаг позволяет определить, принадлежат ли два наблюдения одному и тому же автомобилю, даже если камеры не пересекаются.

Как модели Ultralytics YOLO могут помочь в повторной идентификации автомобилей

Модели Ultralytics YOLO играют важную вспомогательную роль в системах повторной идентификации автомобилей. Хотя сами по себе они не выполняют повторную идентификацию, они обеспечивают другие важные возможности, такие как быстрое обнаружение и стабильное отслеживание, от которых зависят сети повторной идентификации для точного сопоставления между камерами. 

Далее рассмотрим, как модели Ultralytics YOLO , такие как YOLO11 , могут улучшить системы повторной идентификации автомобилей.

Модуль точного обнаружения транспортных средств: Первая часть систем Re-ID

Основой любой системы повторной идентификации транспортных средств является точное обнаружение объектов. Модели Ultralytics YOLO , такие как YOLO11 , отлично подходят для этой цели, поскольку они могут быстро detect автомобили в каждом кадре, даже в напряженных сценах с частичной окклюзией, интенсивным движением или меняющимися условиями освещения. 

Кроме того, их можно настраивать по своему усмотрению, то есть настраивать модель на собственном наборе данных, чтобы она научилась распознавать определенные типы транспортных средств, например такси, фургоны для доставки или автомобили автопарка. Это особенно полезно, когда решение требует более специализированного обнаружения. Предоставляя чистые и точные ограничительные рамки, модели Ultralytics YOLO дают сетям Re-ID высококачественные исходные данные для работы, что приводит к более надежному сопоставлению между камерами.

Поддержка надежного слежения за одной камерой

После обнаружения транспортных средств такие модели, как YOLO11 , могут также поддерживать стабильное отслеживание объектов в пределах обзора одной камеры. Отслеживание объекта - это процесс следования за обнаруженным транспортным средством в последовательных кадрах и присвоение ему последовательного идентификатора по мере его движения.

Благодаря встроенной поддержке таких алгоритмов отслеживания, как ByteTrack и BoT-SORT в пакетеUltralytics Python , YOLO11 может поддерживать последовательность идентификаторов при перемещении автомобилей по сцене. Такое стабильное отслеживание уменьшает количество переключений идентификаторов до того, как за дело возьмется система Re-ID, что в конечном итоге повышает точность кросс-камерного сопоставления.

Дополнительный повторный идентификатор на уровне трекера для повышения стабильности идентификации

В дополнение к стандартному отслеживанию по движению, пакет Ultralytics Python включает в себя дополнительные возможности повторной идентификации по внешнему виду в трекере BoT-SORT. Это означает, что трекер может использовать визуальные характеристики внешнего вида, а не только шаблоны движения или перекрытие границ, чтобы определить, принадлежат ли два обнаружения одному и тому же транспортному средству. 

Когда эта функция включена, BoT-SORT извлекает легкие вкрапления внешнего вида из детектора или из модели классификации YOLO11 и использует их для проверки идентичности между кадрами. Эта дополнительная подсказка по внешнему виду помогает трекеру поддерживать более стабильные идентификаторы в сложных ситуациях, таких как кратковременные окклюзии, близко проезжающие автомобили или небольшие смещения, вызванные движением камеры. 

Хотя этот встроенный Re-ID не предназначен для замены полной кросс-камерной повторной идентификации транспортного средства, он улучшает согласованность идентификации в пределах обзора одной камеры и создает более чистые треклеты, на которые могут полагаться последующие модули Re-ID. Чтобы использовать эти функции отслеживания по внешнему виду, достаточно включить Re-ID в файле конфигурации трекера BoT-SORT, установив значение "with_reid" в "True" и выбрав модель, которая будет обеспечивать функции внешнего вида.

Более подробную информацию вы можете найти настранице документации Ultralytics по отслеживанию объектов, где описаны доступные опции Re-ID и способы их настройки.

Предоставление высококачественных материалов для сетей Re-ID

Помимо повышения стабильности идентификации во время отслеживания, модели YOLO также играют важную роль в подготовке чистых визуальных данных для самой сети Re-ID.

После обнаружения транспортного средства его границы обычно обрезаются и отправляются в сеть повторной идентификации, которая извлекает визуальные признаки, необходимые для сопоставления. Поскольку модели повторной идентификации в значительной степени опираются на эти обрезанные изображения, плохие исходные данные, такие как размытые, неправильно расположенные или неполные изображения, могут привести к ослаблению вкраплений и менее надежному сопоставлению между камерами.

Модели Ultralytics YOLO помогают решить эти проблемы, постоянно создавая чистые, хорошо выровненные ограничительные рамки, которые полностью захватывают интересующий автомобиль. Благодаря более четким и точным изображениям сеть Re-ID может сосредоточиться на значимых деталях, таких как цвет, форма, текстура и другие отличительные особенности. Высококачественные исходные данные обеспечивают более надежную и точную работу системы Re-ID при любом виде камеры.

Возможность сопоставления по перекрестным камерам в сочетании с моделью Re-ID

Хотя модели Ultralytics YOLO сами по себе не выполняют повторную идентификацию, они предоставляют критически важную информацию, необходимую сети повторного опознавания для сравнения автомобилей с разных камер. Такие модели, как YOLO11 , могут позаботиться о поиске и отслеживании транспортных средств в пределах каждой камеры, в то время как модель Re-ID определяет, принадлежат ли два изображения транспортных средств из разных мест одной и той же личности.

Когда эти компоненты работают вместе, YOLO для обнаружения и отслеживания, а также специальная модель встраивания для извлечения признаков, они образуют полный конвейер для сопоставления автомобилей с несколькими камерами. Это позволяет ассоциировать одно и то же транспортное средство при его перемещении через большую сеть камер.

Например, в недавнем исследовании ученые использовали легкую модель YOLO11 в качестве детектора транспортных средств в многокамерной онлайн-системе слежения. Исследование показало, что использование YOLO11 позволило сократить время обнаружения без снижения точности, что улучшило общую производительность последующего отслеживания и кросс-камерного сопоставления.

‍

Архитектуры на основе глубокого обучения для повторной идентификации транспортных средств

Теперь, когда мы лучше понимаем, как модели Ultralytics YOLO могут поддерживать повторную идентификацию автомобилей, давайте подробнее рассмотрим модели глубокого обучения, которые выполняют этапы извлечения признаков и сопоставления. Эти модели отвечают за изучение внешнего вида автомобилей, создание надежных вкраплений и различение визуально похожих автомобилей при разных ракурсах. 

Вот несколько примеров основных компонентов глубокого обучения, используемых в системах повторной идентификации объектов:

• Извлечение признаков С помощью CNN: Конволюционные нейронные сети, такие как ResNet50 или ResNet101, изучают глубокие характеристики путем распознавания образов, определяя такие элементы, как цвет, форма и текстура, которые отличают один автомобиль от другого. Эти выученные шаблоны затем преобразуются во вкрапления, которые выступают в качестве уникального цифрового представления автомобиля.
  ‍
• Механизмы внимания и трансформаторы: Сети и слои внимания, включая пространственное внимание, могут помочь выделить важные области автомобиля, такие как фары, окна или области номерных знаков. Пространственное внимание фокусирует модель на том, где расположены наиболее информативные визуальные подсказки, а модели на основе трансформаторов, такие как Vision Transformers (ViT), фиксируют глобальные связи по всему изображению. Вместе они повышают точность распознавания, когда автомобили выглядят очень похожими.

• Сети на основе частей и многозвенные сети: Некоторые модели Re-ID отдельно анализируют определенные области автомобиля, например крышу, задние фонари или боковые панели, а затем объединяют результаты. Это означает, что система остается надежной даже в тех случаях, когда автомобиль частично закрыт или просматривается под сложным углом.

Помимо этих архитектурных компонентов, ключевую роль в обучении моделей Re-ID автомобилей играет метрическое обучение. Такие функции потерь, как триплетные потери, контрастные потери и потери перекрестной энтропии, помогают системе обучиться сильным, дискриминационным вкраплениям, объединяя изображения одного и того же автомобиля и отталкиваясь от разных.

Популярные наборы данных для повторной идентификации автомобилей и эталоны

В исследованиях компьютерного зрения качество набора данных оказывает большое влияние на то, насколько хорошо работает модель после развертывания. В наборе данных содержатся помеченные изображения или видео, на которых учится модель. 

Для повторной идентификации автомобилей эти современные наборы данных должны учитывать различные условия, такие как освещение, изменение точки обзора и погодные условия. Такое разнообразие помогает моделям справиться со сложностью реальной транспортной среды.

Вот краткий обзор популярных наборов данных, поддерживающих обучение, оптимизацию и оценку моделей повторной идентификации автомобилей: 

• Набор данных VeRi-776: Это коллекция из более чем 50 000 аннотированных изображений автомобилей, полученных с 20 городских камер. Аннотации включают идентификатор автомобиля, цвет, модель и номерные знаки, что позволяет детально изучать особенности.
  ‍
• Набор данных VehicleID: Этот масштабный набор данных содержит более 200 000 изображений, представляющих более 26 000 автомобилей. Его часто выбирают для изучения масштабируемости и проведения базовых сравнений между различными методами.
  ‍
• Набор данных VeRi-Wild: Он разработан для отражения изменчивости реального мира, включая различия в точке обзора, погоду и частичную окклюзию. Он обычно используется для оценки надежности и обобщения моделей.

‍

Производительность модели на этих наборах данных обычно оценивается с помощью таких показателей, как средняя точностьmAP) и точность Rank-1 или Rank-5. mAP измеряет, насколько точно модель извлекает все релевантные совпадения для данного автомобиля, а Rank-1 и Rank-5 показывают, появляется ли правильное совпадение в верхней части списка результатов или в первых нескольких предсказаниях. 

В совокупности эти эталоны дают исследователям возможность сравнивать различные подходы и играют важную роль в разработке более точных и надежных систем повторной идентификации автомобилей для использования в реальных условиях.

Применение повторной идентификации транспортных средств

Теперь, когда мы рассмотрели основные принципы, давайте пройдемся по некоторым реальным случаям использования, когда повторная идентификация транспортных средств помогает в практических процессах транспортировки, мобильности и наблюдения.

Наблюдение и мониторинг городского движения

На оживленных городских дорогах постоянно происходит движение, и дорожные камеры часто не могут track за одним и тем же автомобилем, когда он перемещается между разными районами. Изменения в освещении, многолюдные сцены и автомобили, которые выглядят почти одинаково, могут привести к потере идентификации между камерами. 

Повторная идентификация транспортных средств решает эту проблему благодаря четкому обнаружению автомобилей, извлечению отличительных признаков и сохранению последовательных идентификаторов даже на кадрах с низким разрешением или загруженных. В результате обеспечивается более плавное и непрерывное отслеживание по всей сети, что дает дорожным службам более четкое представление о том, как транспортные средства перемещаются по городу, и позволяет быстрее и более обоснованно реагировать на заторы и инциденты.

Интеллектуальные парковочные системы

Для управления въездом, выездом, контролем доступа и распределением мест "умные" парковки полагаются на последовательную идентификацию автомобилей. Однако камеры в таких условиях часто снимают автомобили с необычных ракурсов и при плохом освещении, например в подземных гаражах, затененных местах или на открытых площадках в сумерках. 

В таких условиях сложнее подтвердить, что в разных зонах наблюдается один и тот же автомобиль. Когда идентификационные данные не совпадают, записи о парковке могут нарушаться, контроль доступа становится менее надежным, а водители могут сталкиваться с задержками. Именно поэтому многие интеллектуальные системы парковки включают в себя модели повторной идентификации автомобилей, позволяющие поддерживать стабильную идентификацию каждого транспортного средства по мере его перемещения по территории объекта.

‍

Правоохранительные органы и криминалистика

Помимо мониторинга дорожного движения, повторная идентификация автомобилей также играет важную роль в правоохранительной деятельности и судебно-медицинских расследованиях. Во многих случаях сотрудникам необходимо проследить за автомобилем по нескольким камерам, но номерные знаки могут быть нечитаемыми, отсутствовать или намеренно скрыты. 

Многолюдные сцены, плохая видимость и частичная окклюзия могут сделать разные автомобили обманчиво похожими, что делает ручную идентификацию медленной и ненадежной. Повторная идентификация автомобиля может быть использована для отслеживания его перемещения по непересекающимся сетям камер путем анализа его визуальных особенностей, а не только по номерным знакам.

Это означает, что следователям будет проще проследить за передвижением автомобиля, понять, когда он появлялся в разных местах, и подтвердить его путь до и после инцидента. Идентификация транспортных средств с помощью искусственного интеллекта также позволяет решать такие задачи, как отслеживание подозрительных автомобилей, просмотр видеозаписей происшествий или определение направления движения автомобиля до или после события.

‍

Отслеживание автопарка и логистики

Для track передвижения транспортных средств автопарки и логистические операции часто полагаются на GPS, метки RFID и ручные журналы, но эти инструменты оставляют пробелы в зонах, охватываемых камерами наблюдения или камерами во дворе, например на погрузочных площадках, складских дворах и внутренних дорожных сетях. 

Транспортные средства часто перемещаются между камерами, которые не пересекаются, исчезают за строениями или выглядят практически идентично другим автомобилям в парке, что затрудняет подтверждение того, что один и тот же автомобиль был замечен в разных местах. Системы повторной идентификации транспортных средств могут помочь устранить эти пробелы, анализируя визуальные детали и информацию о времени, чтобы поддерживать последовательную идентификацию каждого транспортного средства по мере его перемещения по объекту. 

Это дает руководителям автопарков более полное представление об активности в их центрах, что позволяет решать такие задачи, как проверка маршрутов доставки, выявление необычных перемещений и обеспечение соблюдения транспортными средствами намеченных маршрутов.

Плюсы и минусы заданий по переидентификации транспортных средств

Вот некоторые из ключевых преимуществ использования повторной идентификации автомобилей с помощью ИИ:

• Сокращение ручной работы: Система Vehicle re-ID автоматизирует задачи по подбору идентификационных данных, которые в противном случае потребовали бы тщательного ручного анализа, что значительно сокращает время и усилия, необходимые для анализа видеозаписей.
  ‍
• Автоматизация и понимание в реальном времени: Благодаря сочетанию функций обнаружения, отслеживания и сопоставления признаков идентификация транспортных средств поддерживает непрерывный автоматизированный мониторинг и позволяет получать предупреждения в режиме реального времени для ускорения реагирования на инциденты.
  ‍
• Масштабируемость и адаптивность: Модели Re-ID могут адаптироваться к новым условиям окружающей среды, освещению или углам обзора камеры благодаря надежному обучению признаков, многомасштабному извлечению признаков и инвариантным представлениям, которые остаются стабильными при визуальных изменениях. Эти возможности делают их пригодными как для крупных городских сетей, так и для небольших развертываний.

Хотя повторная идентификация транспортных средств имеет множество преимуществ, необходимо учитывать и некоторые ограничения. Вот несколько факторов, влияющих на ее надежность в реальных условиях:

• Высокая потребность в вычислениях: Извлечение признаков, создание вкраплений и сопоставление между камерами требуют значительной вычислительной мощности, особенно при мониторинге больших сетей камер.
  ‍
• Изменчивость окружающей среды: Такие факторы, как ночное освещение, погодные изменения, тени и окклюзии, могут ухудшить способность модели поддерживать постоянную идентичность в разных сценах.
  ‍
• Ограничения набора данных и домена: Модели, обученные на ограниченных или идеализированных наборах данных, могут плохо обобщаться на реальные условия без дополнительной настройки или адаптации к области.

Путь вперед для методов повторной идентификации транспортных средств

Повторная идентификация транспортных средств продолжает развиваться по мере развития технологий. Недавние публикации в IEEE, CVPR и arXiv, а также презентации на международных конференциях свидетельствуют о явном сдвиге в сторону более богатых моделей, объединяющих множество источников данных и более продвинутые рассуждения о признаках. Будущая работа в этой области, скорее всего, будет направлена на создание систем, которые будут более надежными, эффективными и способными справляться с изменчивостью реального мира в масштабе.

Например, одним из перспективных направлений является использование моделей на основе трансформаторов и сетей агрегации графов. Трансформаторы могут анализировать все изображение и понимать, как все визуальные детали сочетаются друг с другом, что помогает системе распознавать один и тот же автомобиль даже при изменении ракурса или освещения. 

Модели на основе графиков делают еще один шаг вперед, рассматривая различные части автомобиля или виды камер как связанные точки в сети. Это позволяет системе понять корреляцию между этими ключевыми точками и принять более точные решения об идентификации автомобиля и дискриминационных признаках.

Еще одно ключевое достижение - мультимодальное объединение данных и объединение признаков. Вместо того чтобы полагаться только на изображения, новые системы объединяют визуальную информацию с другими мультимедийными сигналами, такими как данные GPS или схемы движения от датчиков. Этот дополнительный контекст позволяет системе сохранять точность при частичной блокировке транспортных средств, плохом освещении или внезапном изменении угла обзора. 

Основные выводы

Повторная идентификация транспортных средств становится ключевой методикой в интеллектуальных транспортных системах, помогая городам более надежно track автомобили по различным камерам. Благодаря достижениям в области глубокого обучения и улучшению проверки с использованием более богатых и разнообразных наборов данных, эти системы становятся все более точными и практичными в реальных условиях. 

По мере развития технологий важно соблюдать баланс между инновациями и ответственным отношением к конфиденциальности, безопасности и этике. В целом, эти достижения прокладывают путь к созданию более умных, безопасных и эффективных транспортных сетей.

Узнайте больше об искусственном интеллекте, посетив наш репозиторий GitHub и присоединившись к нашему сообществу. Ознакомьтесь с нашими страницами решений, чтобы узнать об ИИ в робототехнике и компьютерном зрении в производстве. Ознакомьтесь с нашими вариантами лицензирования, чтобы начать работу с Vision A уже сегодня!