Улучшение повторной идентификации транспортных средств с моделями Ultralytics YOLO

Когда смотришь гонку Формулы-1, легко узнать машину любимой команды. Ярко-красная Ferrari или серебристая Mercedes выделяется круг за кругом.

Попросить машину сделать то же самое не на чистой гоночной трассе, а на оживленных городских улицах с плотным движением гораздо сложнее. Поэтому в последнее время в сфере AI все больше внимания уделяют повторной идентификации транспортных средств (vehicle re-ID).

Повторная идентификация транспортных средств позволяет машинам распознавать одно и то же транспортное средство на разных камерах или на камерах, поля обзора которых не пересекаются. Она также помогает идентифицировать транспортные средства после временного перекрытия (когда транспортное средство частично скрыто) или при изменении освещения и ракурса.

Ключевая технология, лежащая в основе повторной идентификации транспортных средств, — это компьютерное зрение. Компьютерное зрение — область искусственного интеллекта, которая учит машины понимать и интерпретировать визуальную информацию, такую как изображения и видео. С помощью этой технологии системы ИИ анализируют признаки транспортных средств и надёжно отслеживают их в крупных сетях камер для таких задач, как городское наблюдение и мониторинг дорожного движения.

В частности, модели vision AI, такие как Ultralytics YOLO11 и уже выпущенная Ultralytics YOLO26, поддерживают такие задачи, как обнаружение объектов и отслеживание. Они могут быстро находить транспортные средства в каждом кадре и отслеживать их перемещение в сцене. В сочетании с сетями повторной идентификации транспортных средств эти модели позволяют распознавать одно и то же транспортное средство на разных камерах, даже если меняются ракурс или условия освещения.

Рис. 1. Пример отслеживания транспортных средств и оценки скорости с помощью YOLO11 (Источник)

В этой статье мы рассмотрим, как работает повторная идентификация транспортных средств, какие технологии делают ее возможной и где она применяется в интеллектуальных транспортных системах.

Что такое повторная идентификация транспортных средств?#

Повторная идентификация транспортных средств — важное применение компьютерного зрения. Она позволяет распознавать одно и то же транспортное средство на разных камерах, поля обзора которых не пересекаются, и сохранять его идентификатор по мере движения по городу. Это непростая задача, поскольку каждая камера может снимать транспортное средство под другим углом, при другом освещении или с частичным перекрытием.

Представь, что синий седан проезжает перекрёсток, а позднее появляется на другой улице, где за ним наблюдает другая камера. Ракурс, освещение и фон изменились, а обзор могут ненадолго перекрыть другие автомобили. Несмотря на это, система повторной идентификации должна определить, что перед ней то же самое транспортное средство.

Последние достижения в глубоком обучении, особенно в области свёрточных нейронных сетей (CNNs) и моделей на основе Transformer, значительно повысили точность этого процесса. Эти модели извлекают значимые визуальные закономерности, отличают похожие друг на друга транспортные средства и при этом распознают нужное.

В интеллектуальных транспортных системах эта возможность обеспечивает непрерывный мониторинг, реконструкцию маршрутов и анализ дорожного движения на уровне города, помогая системам умного города лучше понимать перемещение транспортных средств. Это повышает безопасность и эффективность.

Как работает повторная идентификация транспортных средств#

Обычно видеозаписи с перекрёстков, парковок и автомагистралей анализируют методами повторной идентификации, чтобы определить, появляется ли одно и то же транспортное средство на разных камерах. Эта концепция похожа на повторную идентификацию людей, при которой системы отслеживают людей с разных ракурсов, но здесь внимание сосредоточено на признаках транспортных средств, а не на внешности людей.

Этот процесс состоит из нескольких ключевых этапов, каждый из которых помогает системе обнаруживать транспортные средства, извлекать их визуальные признаки и надёжно сопоставлять их при съёмке с разных ракурсов.

В общих чертах система сначала обнаруживает транспортные средства в каждом кадре, а затем извлекает такие признаки, как цвет, форма и текстура, чтобы создать для каждого уникальное цифровое представление, или эмбеддинг. Эти эмбеддинги сравниваются во времени и между камерами, зачастую с помощью отслеживания объектов и пространственно-временных проверок, чтобы определить, относятся ли два обнаружения к одному и тому же транспортному средству.

Рис. 2. Как работает повторная идентификация транспортных средств. (Источник)

Рассмотрим этот процесс подробнее:

• Обнаружение объектов: Сначала система находит транспортные средства в каждом видеокадре и определяет их расположение, чтобы точно знать, какие области нужно обработать. Обычно этот этап выполняют модели обнаружения объектов.
• Извлечение признаков: После обнаружения специализированная сеть повторной идентификации или извлечения признаков анализирует вырезанное изображение каждого транспортного средства и формирует карты или представления признаков, содержащие визуальные детали, такие как цвет, форма, текстура и характерные части.
• Формирование эмбеддинга: Извлечённые признаки преобразуются в числовое представление, называемое эмбеддингом признаков. Этот эмбеддинг служит цифровым отпечатком, отражающим внешний вид транспортного средства с разных ракурсов. Перед сопоставлением эмбеддинги обычно нормализуют, чтобы различия в освещении, контрасте или настройках камеры не мешали сравнению идентификаторов. Нормализация помогает системе сосредоточиться на значимых признаках, связанных с идентичностью, а не на шуме.
• Отслеживание объектов: В пределах изображения с одной камеры алгоритмы отслеживания связывают обнаружения в последовательных кадрах, помогая сохранять постоянный идентификатор транспортного средства по мере его движения в сцене.
• Сопоставление между камерами: Чтобы сопоставить одно и то же транспортное средство на разных камерах, система сравнивает эмбеддинги, созданные сетью повторной идентификации, а также данные о времени и местоположении. Этот этап позволяет определить, относятся ли два обнаружения к одному транспортному средству, даже если поля обзора камер не пересекаются.

Как модели Ultralytics YOLO помогают повторно идентифицировать транспортные средства#

Модели Ultralytics YOLO играют важную вспомогательную роль в конвейерах повторной идентификации транспортных средств. Сами по себе они не выполняют повторную идентификацию, но обеспечивают другие важные возможности, например быстрое обнаружение и стабильное отслеживание, необходимые сетям повторной идентификации для точного сопоставления между камерами.

Давай подробнее рассмотрим, как модели Ultralytics YOLO, например YOLO11, могут улучшить системы повторной идентификации транспортных средств.

Точный модуль обнаружения транспортных средств — первый компонент систем повторной идентификации#

Основа любой системы повторной идентификации транспортных средств — точное обнаружение объектов. Для этого отлично подходят модели Ultralytics YOLO, например YOLO11: они быстро обнаруживают транспортные средства в каждом кадре, даже в оживлённых сценах с частичными перекрытиями, плотным движением или переменным освещением.

Модели также можно дообучать на собственных данных: настрой модель на своем наборе данных, чтобы она распознавала конкретные типы транспортных средств, например такси, фургоны доставки или машины автопарка. Это особенно полезно, когда решению требуется более специализированное обнаружение. Модели Ultralytics YOLO предоставляют сетям повторной идентификации качественные данные в виде точных ограничивающих рамок, благодаря чему сопоставление объектов на разных камерах становится надежнее.

Надёжное отслеживание в пределах одной камеры#

После обнаружения транспортных средств модели, такие как Ultralytics YOLO11, также могут обеспечивать стабильное отслеживание объектов в пределах изображения с одной камеры. Отслеживание объектов — это процесс наблюдения за обнаруженным транспортным средством в последовательных кадрах с присвоением ему постоянного идентификатора по мере перемещения.

Благодаря встроенной поддержке алгоритмов отслеживания, таких как ByteTrack и BoT-SORT, в пакете Ultralytics для Python модель YOLO11 сохраняет постоянные идентификаторы транспортных средств при их перемещении в сцене. Такое стабильное отслеживание сокращает количество смен идентификаторов до того, как к работе приступит система повторной идентификации, и в итоге повышает точность сопоставления между камерами.

Дополнительная повторная идентификация на уровне трекера для повышения стабильности идентификаторов#

Помимо стандартного отслеживания на основе движения, пакет Ultralytics для Python включает дополнительные возможности повторной идентификации по внешнему виду в трекере BoT-SORT. Это позволяет трекеру использовать визуальные признаки внешнего вида, а не только особенности движения или перекрытие ограничивающих рамок, чтобы определить, относятся ли два обнаружения к одному транспортному средству.

Если функция включена, BoT-SORT извлекает легковесные эмбеддинги внешнего вида из детектора или модели классификации Ultralytics YOLO11 и использует их для проверки идентичности объектов между кадрами. Этот дополнительный визуальный признак помогает трекеру стабильнее сохранять идентификаторы в сложных ситуациях, например при кратковременном перекрытии объектов, близком проезде транспортных средств или небольших сдвигах из-за движения камеры.

Хотя встроенная повторная идентификация не предназначена для замены полноценной повторной идентификации транспортных средств между камерами, она повышает стабильность идентификаторов в пределах изображения с одной камеры и формирует более точные треки, на которые могут опираться последующие модули повторной идентификации. Чтобы использовать эти функции отслеживания по внешнему виду, достаточно включить повторную идентификацию в файле конфигурации трекера BoT-SORT, задав для параметра “with_reid” значение “True” и выбрав модель, которая будет предоставлять признаки внешнего вида.

Подробнее о доступных параметрах повторной идентификации и их настройке читай на странице документации Ultralytics по отслеживанию объектов.

Качественные входные данные для сетей повторной идентификации#

Помимо повышения стабильности идентификаторов при отслеживании, модели YOLO также играют важную роль в подготовке чистых визуальных данных для самой сети повторной идентификации.

После обнаружения транспортного средства его ограничивающую рамку обычно обрезают и передают сети повторной идентификации, которая извлекает визуальные признаки для сопоставления. Поскольку модели повторной идентификации во многом зависят от этих вырезанных изображений, плохие входные данные — например, размытые, смещённые или неполные фрагменты — могут привести к менее качественным эмбеддингам и снижению надёжности сопоставления между камерами.

Модели Ultralytics YOLO помогают избежать этих проблем, формируя чёткие и точно совмещённые ограничивающие рамки, которые полностью охватывают нужное транспортное средство. Благодаря более чётким и точным фрагментам сеть повторной идентификации может сосредоточиться на важных деталях, таких как цвет, форма, текстура и другие отличительные признаки. Качественные входные данные повышают надёжность и точность повторной идентификации при работе с изображениями с разных камер.

Сопоставление между камерами при использовании модели повторной идентификации#

Хотя модели Ultralytics YOLO не выполняют повторную идентификацию самостоятельно, они предоставляют сети повторной идентификации важную информацию для сравнения транспортных средств, снятых разными камерами. Модели, такие как YOLO11, находят и отслеживают транспортные средства в пределах каждой камеры, а модель повторной идентификации определяет, относятся ли два фрагмента с транспортными средствами из разных мест к одному объекту.

Когда эти компоненты работают вместе — YOLO для обнаружения и отслеживания и специализированная модель эмбеддингов для извлечения признаков, — они образуют полноценный конвейер сопоставления транспортных средств с нескольких камер. Это позволяет связывать одно и то же транспортное средство по мере его перемещения в крупной сети камер.

Например, в недавнем исследовании лёгкая модель Ultralytics YOLO11 использовалась в качестве детектора транспортных средств в системе онлайн-отслеживания с нескольких камер. Исследование показало, что использование YOLO11 помогает сократить время обнаружения без потери точности, повышая общую эффективность последующего отслеживания и сопоставления между камерами.

Рис. 3. Отслеживание и повторная идентификация нескольких транспортных средств по изображениям с нескольких камер на основе Ultralytics YOLO11. (Источник)

Архитектуры глубокого обучения для повторной идентификации транспортных средств#

Теперь, когда мы лучше понимаем, как модели Ultralytics YOLO помогают повторно идентифицировать транспортные средства, давай подробнее рассмотрим модели глубокого обучения, которые отвечают за извлечение признаков и сопоставление. Эти модели учатся распознавать внешний вид транспортных средств, формировать устойчивые эмбеддинги и различать визуально похожие транспортные средства на изображениях с разных камер.

Вот несколько примеров основных компонентов глубокого обучения, используемых в системах повторной идентификации объектов:

• Извлечение признаков с помощью CNN: Свёрточные нейронные сети, такие как ResNet50 и ResNet101, извлекают глубокие признаки, распознавая закономерности и определяя такие элементы, как цвет, форма и текстура, по которым одно транспортное средство отличается от другого. Затем эти закономерности преобразуются в эмбеддинги, служащие уникальным цифровым представлением транспортного средства.
• Механизмы внимания и трансформеры: Сети и слои внимания, включая пространственное внимание, помогают выделять важные области транспортного средства, например фары, окна или номерной знак. Пространственное внимание фокусирует модель на наиболее информативных визуальных признаках, а модели на основе трансформеров, такие как Vision Transformers (ViT), выявляют глобальные взаимосвязи по всему изображению. Вместе они повышают точность распознавания мелких различий между очень похожими транспортными средствами.
• Сети на основе частей и многоветвевые сети: Некоторые модели Re-ID отдельно анализируют определённые части транспортного средства, например крышу, задние фонари или боковые панели, а затем объединяют результаты. Благодаря этому система остаётся устойчивой, даже если транспортное средство частично перекрыто или снято под неудобным углом.

Помимо этих архитектурных компонентов, важную роль при обучении моделей Re-ID транспортных средств играет метрическое обучение. Функции потерь, такие как триплетная функция потерь, контрастивная функция потерь и функция потерь кросс-энтропии, помогают системе формировать сильные, хорошо различимые эмбеддинги: изображения одного транспортного средства сближаются, а разных — отдаляются.

Популярные наборы данных и бенчмарки для повторной идентификации транспортных средств#

В исследованиях компьютерного зрения качество набора данных существенно влияет на эффективность модели после развёртывания. Набор данных содержит размеченные изображения или видео, на которых обучается модель.

Для повторной идентификации транспортных средств наборы данных должны охватывать разнообразные условия: освещение, смену ракурса и погодные изменения. Такое разнообразие помогает моделям справляться со сложностью реальной транспортной среды.

Вот несколько популярных наборов данных, которые используются для обучения, оптимизации и оценки моделей повторной идентификации транспортных средств:

• Набор данных VeRi-776: Он включает более 50 000 размеченных изображений транспортных средств, снятых 20 городскими камерами. Разметка содержит ID транспортного средства, его цвет и модель, а также области с номерными знаками, что позволяет подробно обучать модель признакам.
• Набор данных VehicleID: Этот масштабный набор данных содержит более 200 000 изображений, на которых представлено свыше 26 000 транспортных средств. Его часто используют для изучения масштабируемости и базового сравнения различных методов.
• Набор данных VeRi-Wild: Он создан для отражения реального разнообразия условий, в том числе различий в ракурсах и погоде, а также частичного перекрытия объектов. Его часто используют для оценки устойчивости и способности модели к обобщению.

Рис. 4. Примеры транспортных средств из набора данных VeRi-776. (Источник)

Эффективность модели на этих наборах данных обычно оценивают с помощью таких метрик, как средняя точность (mAP) и точность Rank-1 или Rank-5. mAP измеряет, насколько точно модель находит все соответствия для заданного транспортного средства, а показатели Rank-1 и Rank-5 отражают, находится ли правильное соответствие на первом месте или среди первых нескольких результатов.

Эти бенчмарки позволяют исследователям последовательно сравнивать разные подходы и помогают разрабатывать более точные и надёжные системы повторной идентификации транспортных средств для реального применения.

Применение повторной идентификации транспортных средств#

Теперь, когда мы рассмотрели основы, давай обсудим реальные сценарии, в которых повторная идентификация транспортных средств помогает решать практические задачи в сфере транспорта, мобильности и видеонаблюдения.

Наблюдение за городским движением и контроль дорожной обстановки#

На оживлённых городских дорогах постоянно движется поток транспорта, и камерам наблюдения часто трудно отслеживать одно и то же транспортное средство при перемещении между разными районами. Изменение освещения, плотный поток и почти одинаковый внешний вид транспортных средств могут привести к потере их идентификаторов при передаче между камерами.

Повторная идентификация транспортных средств решает эту проблему: она позволяет чётко обнаруживать транспортные средства, извлекать отличительные признаки и сохранять постоянные ID даже на видео низкого разрешения или в оживлённых сценах. В результате система обеспечивает более плавное непрерывное отслеживание по всей сети, помогая службам дорожного движения лучше понимать перемещение транспорта по городу и быстрее и точнее реагировать на пробки и происшествия.

Умные парковочные системы#

Умные парковки используют постоянную идентификацию транспортных средств для управления въездом, выездом, контролем доступа и распределением мест. Однако камеры в таких условиях часто снимают транспортные средства под необычными углами и при сложном освещении — например, в подземных гаражах, затенённых зонах или на открытых парковках в сумерках.

В таких условиях сложнее подтвердить, что в разных зонах находится одно и то же транспортное средство. Если идентификаторы непостоянны, записи о парковке могут нарушаться, контроль доступа становится менее надёжным, а водители сталкиваются с задержками. Поэтому во многих умных парковочных системах используют модели повторной идентификации транспортных средств, чтобы сохранять постоянный идентификатор каждого транспортного средства при его перемещении по территории.

Рис. 5. Пример повторной идентификации транспортного средства: выбранное изображение находится слева, а результаты поиска с совпадениями — справа. (Источник)

Правоохранительная деятельность и криминалистика#

Помимо наблюдения за дорожным движением, повторная идентификация транспортных средств играет важную роль в правоохранительной деятельности и криминалистических расследованиях. Во многих случаях сотрудникам полиции нужно отслеживать транспортное средство по нескольким камерам, но номерные знаки могут быть нечитаемыми, отсутствовать или намеренно скрываться.

В оживлённых сценах, при плохой видимости и частичном перекрытии разные транспортные средства могут выглядеть обманчиво похоже, из-за чего ручная идентификация становится медленной и ненадёжной. Повторная идентификация транспортных средств позволяет отслеживать перемещения по несмежным сетям камер, анализируя визуальные признаки вместо того, чтобы полагаться только на номерные знаки.

Так следователи могут проще отслеживать перемещения транспортного средства, выяснять, когда оно появлялось в разных местах, и подтверждать его маршрут до и после происшествия. Повторная идентификация транспортных средств с помощью AI также помогает отслеживать транспортные средства подозреваемых, изучать записи с места происшествия и определять, в каком направлении транспортное средство двигалось до или после события.

Рис. 6. Сопоставленные транспортные средства на изображениях с разных камер и ракурсов. (Источник)

Отслеживание автопарка и логистики#

Для отслеживания перемещений транспортных средств в автопарках и логистических операциях часто используют GPS, RFID-метки и журналы, которые ведут вручную. Однако эти средства не обеспечивают полного охвата в зонах, наблюдаемых камерами безопасности или камерами на территории объекта, например у погрузочных площадок, на складских дворах и внутренних дорогах.

Транспортные средства часто перемещаются между камерами без пересечения зон обзора, исчезают за зданиями или почти не отличаются от других машин автопарка. Поэтому бывает трудно подтвердить, что одно и то же транспортное средство появлялось в разных местах. Системы повторной идентификации транспортных средств помогают устранить эти пробелы: они анализируют визуальные детали и временные данные, чтобы сохранять постоянный идентификатор каждого транспортного средства при его перемещении по объекту.

Это позволяет менеджерам автопарка лучше понимать, что происходит на их транспортных узлах, и решать такие задачи, как проверка маршрутов доставки, выявление необычных перемещений и контроль соблюдения заданных маршрутов.

Преимущества и недостатки задач повторной идентификации транспортных средств#

Вот некоторые ключевые преимущества применения повторной идентификации транспортных средств на базе AI:

• Снижение объёма ручной работы: Re-ID транспортных средств автоматизирует сопоставление идентификаторов, которое в противном случае потребовало бы длительной ручной проверки, значительно сокращая время и усилия, необходимые для анализа видеозаписей.
• Автоматизация и аналитика в реальном времени: Объединяя обнаружение, отслеживание и сопоставление признаков, Re-ID транспортных средств обеспечивает непрерывный автоматизированный мониторинг и позволяет отправлять оповещения в реальном времени для более быстрого реагирования на происшествия.
• Масштабируемость и адаптивность: Благодаря устойчивому обучению признакам, многомасштабному извлечению признаков и инвариантным представлениям, сохраняющим стабильность при визуальных изменениях, модели Re-ID адаптируются к новым условиям, освещению и ракурсам камеры. Поэтому такие модели подходят и для крупных городских сетей, и для небольших внедрений.

Несмотря на многочисленные преимущества повторной идентификации транспортных средств, у неё есть и ограничения, которые важно учитывать. Вот несколько факторов, влияющих на её надёжность в реальных условиях:

• Высокие требования к вычислительным ресурсам: Извлечение признаков, создание эмбеддингов и сопоставление данных с разных камер требуют значительной вычислительной мощности, особенно при мониторинге крупных сетей камер.
• Изменчивость условий окружающей среды: Ночное освещение, изменения погоды, тени и перекрытия могут снизить способность модели сохранять постоянные идентификаторы в разных сценах.
• Ограничения набора данных и предметной области: Модели, обученные на ограниченных или идеализированных наборах данных, могут плохо обобщать результаты на реальные условия без дополнительной тонкой настройки или адаптации к предметной области.

Перспективы методов повторной идентификации транспортных средств#

Методы повторной идентификации транспортных средств продолжают развиваться вместе с технологиями. Новые публикации IEEE, CVPR и arXiv, а также доклады на международных конференциях показывают явный переход к более сложным моделям, объединяющим несколько источников данных и использующим более продвинутый анализ признаков. В дальнейших исследованиях, вероятно, основное внимание будет уделено созданию более устойчивых и эффективных систем, способных масштабно справляться с изменчивостью реальных условий.

Например, одним из перспективных направлений стало использование моделей на основе трансформеров и сетей агрегации графов. Трансформеры анализируют изображение целиком и понимают, как связаны между собой визуальные детали, благодаря чему система может распознать то же транспортное средство даже при изменении ракурса или освещения.

Графовые модели развивают эту идею: они представляют разные части транспортного средства или ракурсы камеры как связанные узлы сети. Благодаря этому система может учитывать взаимосвязи между ключевыми узлами и точнее определять идентификаторы транспортных средств и различительные признаки.

Ещё одно важное достижение — объединение мультимодальных данных и признаков. Вместо того чтобы опираться только на изображения, новые системы объединяют визуальную информацию с другими мультимедийными сигналами, например данными GPS или датчиков о характере движения. Дополнительный контекст помогает системе сохранять точность, когда транспортные средства частично перекрыты, освещение плохое или ракурс камеры резко меняется.

Главные выводы#

Повторная идентификация транспортных средств становится важной методикой для интеллектуальных транспортных систем и помогает городам надёжнее отслеживать транспортные средства по изображениям с разных камер. Благодаря развитию глубокого обучения и более качественной проверке на разнообразных и содержательных наборах данных такие системы становятся точнее и практичнее в реальных условиях.

По мере развития технологий важно сочетать инновации с ответственным отношением к конфиденциальности, безопасности и этике. В целом эти достижения открывают путь к более интеллектуальным, безопасным и эффективным транспортным сетям.

Узнай больше об ИИ: загляни в наш репозиторий GitHub и присоединяйся к нашему сообществу. Посети страницы наших решений, чтобы узнать об ИИ в робототехнике и компьютерном зрении в производстве. Ознакомься с вариантами лицензирования, чтобы уже сегодня начать работать с ИИ для компьютерного зрения!