Object Re-identification (Re-ID)

Повторная идентификация объектов (Re-ID) — это задача компьютерного зрения, позволяющая повторно распознать тот же объект, когда он появляется в другой камере, позже или после того, как был скрыт. Обнаружение объектов сообщает, что на изображении есть человек, а Re-ID определяет, тот ли это человек, который прошёл мимо входной камеры десять минут назад. Для этого сравниваются признаки внешнего вида: цвета одежды, телосложение, сумки или цвет автомобиля и детали его крыши. Это основной инструмент для связывания наблюдений в сетях камер, у которых нет общих зон видимости. Наиболее изучены повторная идентификация людей и автомобилей.

Как работает повторная идентификация#

Система Re-ID преобразует каждый обнаруженный объект в компактный дескриптор внешнего вида и сравнивает эти дескрипторы:

1. Обнаружение и кадрирование: детектор находит каждого человека или автомобиль, а изображение внутри его ограничивающей рамки обрезается и масштабируется.
2. Кодирование в эмбеддинг: свёрточная нейронная сеть или vision transformer преобразует обрезанное изображение в вектор из нескольких сотен или тысяч чисел, описывающий внешний вид объекта.
3. Сопоставление по косинусному сходству: эмбеддинг запроса сравнивается с галереей сохранённых эмбеддингов, после чего галерея сортируется от наиболее похожих к наименее похожим. В некоторых системах вместо этого используется евклидово расстояние.

Затем порог для наилучшей оценки определяет, является ли объект запроса известной личностью или новым объектом:

Энкодеры обучаются с помощью обучения метрике, чтобы эмбеддинги одной и той же личности группировались, а эмбеддинги разных личностей располагались далеко друг от друга. Распространённый подход сочетает функцию потерь классификации личности с триплетной функцией потерь: она сближает опорное изображение с другим изображением той же личности и отдаляет его от изображения другой личности. Для поиска похожих объектов используется выбор трудных отрицательных примеров. Основная сложность — добиться инвариантности: один и тот же человек должен получать близкие эмбеддинги при разных ракурсах, освещении, разрешении и частичном перекрытии.

Re-ID, отслеживание и распознавание лиц#

Re-ID часто путают с двумя смежными задачами:

• Отслеживание объектов: объекты сопровождаются в пределах одного видео: их перемещение предсказывается, обычно с помощью фильтра Калмана, а рамки сопоставляются по степени перекрытия между кадрами. Метод опирается на временную непрерывность, которая нарушается, если объект надолго скрывается или выходит из кадра; Re-ID восстанавливает личность объекта именно в таких случаях.
• Распознавание лиц: человек определяется по чертам лица, которые остаются стабильными годами, и для этого лицо должно быть видно. Re-ID человека работает при виде со спины и низком разрешении, но, поскольку он в основном опирается на одежду, обычно остаётся надёжным лишь несколько часов или один день.

Re-ID в трекерах нескольких объектов#

Начиная с DeepSORT в 2017 году, многие трекеры отслеживания нескольких объектов (MOT) объединяют эмбеддинги Re-ID с данными о движении. Благодаря этому два пересекающихся человека сохраняют собственные ID, а человек, скрывшийся за колонной, получает прежний ID после появления. В режиме отслеживания Ultralytics YOLO трекеры BoT-SORT, Deep OC-SORT и TrackTrack принимают with_reid: True и могут загружать энкодеры Re-ID для YOLO26 — от yolo26n-reid.onnx до yolo26x-reid.onnx. При первом использовании они загружаются автоматически:

from ultralytics import YOLO
from ultralytics.utils import YAML
from ultralytics.utils.checks import check_yaml

# Copy the default TrackTrack settings and enable Re-ID with a YOLO26 appearance encoder
cfg = YAML.load(check_yaml("tracktrack.yaml"))
cfg.update(with_reid=True, model="yolo26n-reid.onnx")
YAML.save("tracktrack_reid.yaml", cfg)

# Track people (class 0); appearance embeddings help restore IDs after occlusions
model = YOLO("yolo26n.pt")
source = "https://github.com/ultralytics/assets/releases/download/v0.0.0/decelera_portrait_min.mov"
identities = set()
for result in model.track(source, tracker="tracktrack_reid.yaml", classes=[0], stream=True):
    if result.boxes.is_track:
        identities.update(result.boxes.id.int().tolist())

print(f"Person identities assigned: {len(identities)}")

Каждый ID, который трекер восстанавливает после перекрытия, помогает приблизить выведенное количество к реальному числу людей в видео.

Примеры применения в реальных условиях#

• Аналитика розничной торговли: связывание наблюдений за покупателем с камер в разных проходах позволяет строить анонимные маршруты по всему магазину, рассчитывать время пребывания и анализировать воронки конверсии.
• Управление дорожным движением: Re-ID автомобилей связывает наблюдения за одним и тем же автомобилем на разных перекрёстках, помогая измерять время в пути и потоки между пунктами отправления и назначения, в том числе когда номера невозможно прочитать.
• Спорт: Re-ID игроков помогает сохранять их идентичность, когда они выходят за пределы кадра трансляции или сбиваются в общую группу.
• Исследование дикой природы: Re-ID животных позволяет распознавать отдельных зебр, китов и крупных кошек по рисунку шерсти и отметинам на плавниках на снимках фотоловушек и с дронов.

Бенчмарки и метрики#

Re-ID оценивается как задача поиска. Точность на первом месте (Rank-1) — это доля запросов, для которых изображение личности на первом месте в галерее совпадает с правильным; средняя точность по классам (mAP) оценивает, насколько высоко в галерее расположены все правильные совпадения. Классический бенчмарк для Re-ID людей Market-1501 содержит 32 668 ограничивающих рамок с изображениями 1 501 человека, снятых шестью камерами на территории университетского кампуса.