Identity Preservation

Identitätserhaltung ist die Fähigkeit eines Modells, ein bestimmtes Subjekt in seinen Ausgaben als dieselbe Person oder dasselbe Objekt erkennbar zu halten: dasselbe Gesicht in einer Reihe generierter Porträts, dieselbe Figur vom ersten bis zum letzten Bild eines generierten Videos oder dieselbe Tracking-ID für einen Fußgänger, der hinter einem Bus entlanggeht und wieder auftaucht. Zwei Fachgemeinschaften verwenden den Begriff. In der generativen KI bezeichnet er Personalisierungsverfahren, die eine reale Person oder ein reales Produkt in neue Szenen einfügen, ohne die Identität oder Beschaffenheit zu verändern. Beim Multi-Objekt-Tracking (MOT) geht es darum, die ID jedes Objekts bei Verdeckungen, Begegnungen und Kamerawechseln stabil zu halten. Beide messen dies mit Identitäts-Einbettungen, also Merkmalsvektoren, die für dieselbe Person nahe beieinander und für verschiedene Personen weit auseinander liegen.

Identitätserhaltung bei der Bild- und Videoerzeugung#

Ein Text-zu-Bild-Modell weiß, wie „eine Frau“ oder „ein Hund“ aussieht, aber nicht, wie eine bestimmte Frau oder ein bestimmter Hund aussieht. Personalisierungsverfahren ergänzen dieses Wissen. Feinabstimmungsverfahren lernen es anhand einiger weniger Fotos. Googles DreamBooth (2022) stimmt das gesamte Diffusionsmodell anhand von drei bis fünf Bildern eines Subjekts fein ab, das mit einem seltenen Token verknüpft ist. Eine klassenbezogene Verlustfunktion zur Erhaltung des Vorwissens sorgt dafür, dass das Modell andere Hunde weiterhin normal generiert. LoRA-Adapter machen denselben Ansatz so kostengünstig, dass er sich für jede Person einzeln trainieren lässt.

Encoderbasierte Verfahren kommen ohne Training für jedes Subjekt aus. Tencent IP-Adapter (2023) speist Bildeinbettungen über eine separate Cross-Attention-Schicht in das Diffusionsmodell ein. InstantID (Januar 2024) erhält ein Gesicht anhand eines einzelnen Fotos, indem es eine Einbettung aus einem Gesichtserkennungsnetzwerk mit IdentityNet kombiniert, einem anhand von fünf Gesichtsmerkmalspunkten konditionierten ControlNet. Eine stärkere Identitätskonditionierung lässt die Ausgabe der Vorlage ähnlicher sehen, übernimmt aber auch mehr von ihrer Pose, ihrem Ausdruck und ihrer Beleuchtung. Daher bieten diese Werkzeuge eine Einstellung für die Stärke, mit der sich die Ähnlichkeit gegen den Spielraum des Prompts abwägen lässt, die Szene zu verändern.

Generierte Gesichter werden anhand der Kosinusähnlichkeit zwischen den ArcFace-Einbettungen des Referenzfotos und der Ausgabe bewertet. ArcFace, 2019 von Jiankang Deng und Kollegen auf der CVPR vorgestellt, trainiert Gesichtseinbettungen mit einem Winkelabstand, sodass sich Identitäten auf einer Hypersphäre klar voneinander trennen. Bei Videos kommt eine zweite Anforderung hinzu: Das Subjekt muss über die einzelnen Bilder hinweg konsistent bleiben. VBench misst dies als Subjektkonsistenz, indem DINO-Merkmale zwischen den Bildern verglichen werden. Bei der Videoerzeugung besteht eine Figur diesen Test nicht, wenn ihr Gesicht sich über wenige Sekunden hinweg verändert, auch wenn jedes Einzelbild realistisch aussieht.

Identitätserhaltung beim Tracking#

Ein Tracker weist IDs zu, indem er die Erkennungen jedes Bildes vorhandenen Tracks zuordnet. Bewegungsinformationen allein – ein Kalman-Filter, der die Position jedes Begrenzungsrahmens vorhersagt, zusammen mit einem Abgleich über die Schnittmenge durch Vereinigungsmenge (IoU) – funktionieren, bis sich zwei Personen kreuzen oder eine hinter einem Hindernis verschwindet. Dann vertauscht der Tracker ihre IDs oder startet eine neue. Dieser Fehler wird als Identitätswechsel gezählt. Erscheinungsmerkmale lösen einen großen Teil dieses Problems. Nicolai Wojke, Alex Bewley und Dietrich Paulus ergänzten den bewegungsbasierten SORT-Tracker in DeepSORT (2017) um Einbettungen aus einem auf einem Datensatz zur Personen-Wiedererkennung trainierten Netzwerk und verringerten die Zahl der Identitätswechsel um 45 Prozent. Die von Ergys Ristani und Kollegen 2016 vorgeschlagene IDF1-Metrik bewertet die Identitätserhaltung direkt als Anteil der Erkennungen, denen die richtige Identität zugeordnet wurde.

Das Tracking in Ultralytics YOLO verwendet standardmäßig TrackTrack (Shim und Kollegen, CVPR 2025). Verlorene Tracks bleiben dabei 30 Bilder lang aktiv (track_buffer), sodass ein zurückkehrendes Objekt seine ID wiedererlangen kann. Außerdem werden doppelte neue IDs unterdrückt, bevor eine ID erstellt wird. Wenn du with_reid: True in der Tracker-YAML-Datei festlegst, wird der Erscheinungsabgleich aktiviert. Standardmäßig nutzt dieser die eigenen Merkmale des Detektors, optional aber auch einen speziellen Encoder wie das YOLO26n-reid-Modell mit 2,8 Millionen Parametern. Das Codebeispiel verfolgt Personen in einem Beispielvideo mit und ohne ReID und zählt die verschiedenen IDs, die jeder Durchlauf zuweist:

from ultralytics import YOLO
from ultralytics.utils import ROOT, YAML

# Copy the default TrackTrack config and turn on appearance re-identification
cfg = YAML.load(ROOT / "cfg/trackers/tracktrack.yaml")
cfg.update(with_reid=True, model="yolo26n-reid.onnx")
YAML.save("tracktrack_reid.yaml", cfg)

video = "https://github.com/ultralytics/assets/releases/download/v0.0.0/decelera_portrait_min.mov"
for tracker in ["tracktrack.yaml", "tracktrack_reid.yaml"]:
    model = YOLO("yolo26n.pt")  # fresh model so each run starts with no tracks
    ids = set()
    for result in model.track(video, tracker=tracker, classes=[0], stream=True, verbose=False):
        if result.boxes.is_track:
            ids.update(result.boxes.id.int().tolist())
    print(f"{tracker}: {len(ids)} person IDs")

In diesem kurzen Clip weisen beide Durchläufe drei Personen-IDs zu. Der Erscheinungsabgleich ändert hier also nichts. Relevant wird er bei längeren Aufnahmen, in denen Personen den Bildausschnitt verlassen und zurückkehren. Bei denselben Personen bedeuten weniger verschiedene IDs weniger Identitätswechsel. Davon hängen nachgelagerte Zählungen ab: Ein System zur Personenzählung, das einem zurückkehrenden Kunden eine neue ID zuweist, zählt diesen Kunden zweimal.

Verwandte Begriffe#

• Gesichtserkennung: Erkennt eine Person, indem ihre Gesichtseinbettung mit einer Galerie bekannter Personen abgeglichen wird. Dabei kommt dieselbe Art von Einbettung zum Einsatz, die identitätserhaltende Generatoren als Konditionierung verwenden.
• Datenschutz: Verpixelung und Anonymisierung entfernen Identität bewusst und verfolgen damit das gegenteilige Ziel.
• Deepfakes: Bei Face-Swaps kommt identitätserhaltende Generierung ohne Zustimmung des Subjekts zum Einsatz.