Identity Preservation

Сохранение идентичности — способность модели сохранять узнаваемость конкретного субъекта в своих результатах: одно и то же лицо в серии сгенерированных портретов, один и тот же персонаж от первого до последнего кадра сгенерированного видео или один и тот же ID при отслеживании пешехода, который проходит за автобусом и появляется снова. Этот термин используют два сообщества. В генеративном ИИ он описывает методы персонализации, которые помещают реального человека или продукт в новые сцены, не меняя его идентичность. В мультиобъектном трекинге (MOT) он означает сохранение постоянного ID каждого объекта при перекрытиях, пересечениях траекторий и смене камеры. В обоих случаях идентичность оценивают с помощью эмбеддингов — векторов признаков, которые для одного человека близки друг к другу, а для разных людей — далеки.

Сохранение идентичности при генерации изображений и видео#

Модель генерации изображений по тексту знает, как выглядит «женщина» или «собака», но не знает, как выглядит конкретная женщина или собака, поэтому методы персонализации добавляют эти сведения. Методы дообучения извлекают их из нескольких фотографий. DreamBooth от Google (2022) дообучает всю диффузионную модель на трёх-пяти изображениях субъекта, связанном с редким токеном, и использует функцию потерь с сохранением априорных знаний для конкретного класса, чтобы модель продолжала нормально генерировать других собак; адаптеры LoRA позволяют обучать тот же подход для каждого человека с небольшими затратами.

Методы на основе энкодеров обходятся без обучения для каждого субъекта. IP-Adapter от Tencent (2023) подаёт эмбеддинги изображения в диффузионную модель через отдельный слой перекрёстного внимания, а InstantID (январь 2024 года) сохраняет лицо по одной фотографии, объединяя эмбеддинг из сети распознавания лиц с IdentityNet — ControlNet, обусловленной пятью лицевыми ориентирами. Более сильное условие идентичности делает результат похожим на образец, но также сильнее копирует его позу, выражение лица и освещение, поэтому в этих инструментах есть настройка силы, задающая компромисс между сходством и свободой изменения сцены по подсказке.

Сгенерированные лица оцениваются по косинусному сходству между эмбеддингами ArcFace исходной фотографии и результата; ArcFace, представленная Jiankang Deng и коллегами на CVPR 2019, обучает эмбеддинги лиц с угловым отступом, чтобы идентичности чётко разделялись на гиперсфере. Для видео требуется ещё и сохранять постоянство субъекта между кадрами; VBench измеряет его как согласованность субъекта, сравнивая признаки DINO между кадрами. При генерации видео персонаж, чьё лицо меняется за несколько секунд, не проходит эту проверку, даже если каждый отдельный кадр выглядит реалистично.

Сохранение идентичности при трекинге#

Трекер назначает ID, сопоставляя детекции каждого кадра с существующими траекториями. Одного движения — фильтра Калмана, предсказывающего положение каждого бокса, и сопоставления по пересечению над объединением (IoU) — хватает, пока два человека не пересекутся или один из них не скроется за препятствием. Затем трекер меняет их ID местами или назначает новый; такая ошибка называется переключением идентичности. Значительную часть таких ошибок устраняют признаки внешнего вида. В DeepSORT (2017) Nicolai Wojke, Alex Bewley и Dietrich Paulus добавили к трекеру SORT, основанному только на движении, эмбеддинги из сети, обученной на наборе данных для повторной идентификации людей, и сократили число переключений идентичности на 45 процентов. Метрика IDF1, предложенная Ergys Ristani и коллегами в 2016 году, напрямую оценивает сохранение идентичности как долю детекций с правильно назначенной идентичностью.

В трекинге Ultralytics YOLO по умолчанию используется TrackTrack (Shim и коллеги, CVPR 2025): он сохраняет потерянные траектории в течение 30 кадров (track_buffer), чтобы вернувшийся объект мог получить свой ID, и подавляет дублирующие новые ID перед их созданием. Если задать with_reid: True в YAML-файле трекера, добавится сопоставление по внешнему виду — по умолчанию используются признаки самого детектора, а при необходимости можно подключить отдельный энкодер, например YOLO26n-reid с 2,8 миллиона параметров. В этом фрагменте кода люди отслеживаются в тестовом видео с ReID и без него, а затем подсчитываются разные ID, назначенные при каждом запуске:

from ultralytics import YOLO
from ultralytics.utils import ROOT, YAML

# Copy the default TrackTrack config and turn on appearance re-identification
cfg = YAML.load(ROOT / "cfg/trackers/tracktrack.yaml")
cfg.update(with_reid=True, model="yolo26n-reid.onnx")
YAML.save("tracktrack_reid.yaml", cfg)

video = "https://github.com/ultralytics/assets/releases/download/v0.0.0/decelera_portrait_min.mov"
for tracker in ["tracktrack.yaml", "tracktrack_reid.yaml"]:
    model = YOLO("yolo26n.pt")  # fresh model so each run starts with no tracks
    ids = set()
    for result in model.track(video, tracker=tracker, classes=[0], stream=True, verbose=False):
        if result.boxes.is_track:
            ids.update(result.boxes.id.int().tolist())
    print(f"{tracker}: {len(ids)} person IDs")

В этом коротком клипе оба запуска присваивают людям 3 ID, поэтому сопоставление по внешнему виду ничего не меняет; оно важно при обработке более длинных видео, где люди покидают кадр и возвращаются. Для одних и тех же людей меньшее число разных ID означает меньше переключений идентичности, от которых зависят последующие подсчёты: система подсчёта людей, которая назначает вернувшемуся покупателю новый ID, посчитает его дважды.

Связанные понятия#

• Распознавание лиц: Определяет человека, сопоставляя его эмбеддинг лица с галереей известных людей, и использует тот же тип эмбеддинга, который генераторы с сохранением идентичности получают в качестве условия.
• Конфиденциальность данных: Редактирование и анонимизация намеренно удаляют идентичность — это противоположная цель.
• Дипфейки: При замене лица используется генерация с сохранением идентичности без согласия субъекта.