Object Re-identification (Re-ID)

Die Objekt-Wiedererkennung (Re-ID) ist eine Aufgabe der Computer Vision, bei der dasselbe Objekt wiedererkannt wird, wenn es in einer anderen Kamera, zu einem späteren Zeitpunkt oder nach einer Verdeckung erneut erscheint. Während die Objekterkennung feststellt, dass ein Bild eine Person enthält, entscheidet Re-ID, ob es sich um die Person handelt, die zehn Minuten zuvor an der Eingangskamera vorbeigegangen ist. Dazu werden Merkmale wie Kleidungsfarben, Körperform, mitgeführte Taschen oder die Farbe und Dachdetails eines Fahrzeugs verglichen. Re-ID ist damit das wichtigste Werkzeug, um Sichtungen in Kameranetzwerken ohne überlappende Sichtfelder zu verknüpfen. Die Personen-Re-ID und die Fahrzeug-Re-ID sind die am gründlichsten untersuchten Varianten.

So funktioniert die Reidentifizierung#

Ein Re-ID-System wandelt jedes erkannte Objekt in einen kompakten Erscheinungsvektor um und vergleicht diese Vektoren:

1. Erkennen und zuschneiden: Ein Detektor findet jede Person oder jedes Fahrzeug. Anschließend wird der Bildbereich innerhalb der Bounding Box zugeschnitten und in der Größe angepasst.
2. In eine Einbettung kodieren: Ein Faltungsnetz oder Vision Transformer bildet den Ausschnitt auf einen Vektor mit einigen Hundert bis einigen Tausend Zahlen ab, der das Erscheinungsbild des Objekts zusammenfasst.
3. Abgleich über Kosinusähnlichkeit: Die Einbettung der Suchanfrage wird mit einer Sammlung gespeicherter Einbettungen verglichen. Diese Sammlung wird nach Ähnlichkeit sortiert; manche Systeme verwenden stattdessen den euklidischen Abstand.

Ein Schwellenwert für den höchsten Wert entscheidet anschließend, ob die Suchanfrage zu einer bekannten oder einer neuen Identität gehört:

Encoder werden mit metrischem Lernen trainiert, damit Einbettungen derselben Identität nahe beieinanderliegen und Einbettungen verschiedener Identitäten weiter auseinanderliegen. Häufig wird ein Identitätsklassifikationsverlust mit einem Triplet-Verlust kombiniert. Dieser zieht ein Ankerbild näher an ein weiteres Bild derselben Identität und entfernt es von einem Bild einer anderen Identität. Mit Hard-Negative-Mining konzentriert sich das Training auf ähnlich aussehende Personen. Die größte Schwierigkeit ist die Invarianz: Dieselbe Person muss über verschiedene Blickwinkel, Lichtverhältnisse, Auflösungen und teilweise Verdeckungen hinweg auf nahe Einbettungen abgebildet werden.

Re-ID im Vergleich zu Tracking und Gesichtserkennung#

Re-ID wird oft mit zwei verwandten Aufgaben verwechselt:

• Objekttracking: Verfolgt Objekte innerhalb eines Videos, indem ihre Bewegung meist mit einem Kalman-Filter vorhergesagt und die Boxen anhand ihrer Überlappung von Bild zu Bild abgeglichen werden. Das Verfahren beruht auf zeitlicher Kontinuität, die bei längerer Verdeckung oder wenn ein Objekt aus dem Bild verschwindet, verloren geht. Re-ID stellt die Identität genau in diesen Lücken wieder her.
• Gesichtserkennung: Identifiziert eine Person anhand von Gesichtsmerkmalen, die über Jahre stabil bleiben, und benötigt ein sichtbares Gesicht. Personen-Re-ID funktioniert auch bei Aufnahmen von hinten und niedriger Auflösung. Da sie sich größtenteils auf die Kleidung stützt, ist sie in der Regel nur für einige Stunden oder einen Tag zuverlässig.

Re-ID in Mehrfachobjekt-Trackern#

Seit DeepSORT im Jahr 2017 kombinieren viele Tracker für das Mehrfachobjekt-Tracking (MOT) Re-ID-Einbettungen mit Bewegungsinformationen. So behalten zwei Personen, die sich kreuzen, ihre jeweiligen IDs, und eine Person, die hinter einer Säule verschwindet, erhält ihre alte ID zurück. Im Track-Modus von Ultralytics YOLO akzeptieren die Tracker BoT-SORT, Deep OC-SORT und TrackTrack with_reid: True und können YOLO26-Re-ID-Encoder laden, von yolo26n-reid.onnx bis yolo26x-reid.onnx, die beim ersten Einsatz heruntergeladen werden:

from ultralytics import YOLO
from ultralytics.utils import YAML
from ultralytics.utils.checks import check_yaml

# Copy the default TrackTrack settings and enable Re-ID with a YOLO26 appearance encoder
cfg = YAML.load(check_yaml("tracktrack.yaml"))
cfg.update(with_reid=True, model="yolo26n-reid.onnx")
YAML.save("tracktrack_reid.yaml", cfg)

# Track people (class 0); appearance embeddings help restore IDs after occlusions
model = YOLO("yolo26n.pt")
source = "https://github.com/ultralytics/assets/releases/download/v0.0.0/decelera_portrait_min.mov"
identities = set()
for result in model.track(source, tracker="tracktrack_reid.yaml", classes=[0], stream=True):
    if result.boxes.is_track:
        identities.update(result.boxes.id.int().tolist())

print(f"Person identities assigned: {len(identities)}")

Jede ID, die der Tracker nach einer Verdeckung wiederfindet, sorgt dafür, dass die ausgegebene Anzahl näher an der tatsächlichen Zahl der Personen im Video liegt.

Anwendungen in der Praxis#

• Einzelhandelsanalysen: Verknüpfte Sichtungen eines Kunden auf Kameras in verschiedenen Gängen ergeben anonyme, marktweite Bewegungsverläufe, Verweildauern und Konversionstrichter.
• Verkehrsmanagement: Die Fahrzeug-Re-ID verknüpft Sichtungen desselben Autos an verschiedenen Kreuzungen, um Fahrzeiten und Verkehrsströme zwischen Herkunfts- und Zielorten zu ermitteln – auch wenn die Kennzeichen nicht lesbar sind.
• Sport: Die Spieler-Re-ID hält Identitäten konsistent, wenn Spieler das Fernsehbild verlassen oder sich in einem Gedränge zusammenfinden.
• Wildtierforschung: Die Tier-Re-ID identifiziert einzelne Zebras, Wale oder Großkatzen anhand von Fellmustern und Flossenmerkmalen in Aufnahmen von Kamerafallen und Drohnen.

Benchmarks und Metriken#

Re-ID wird als Abrufproblem ausgewertet. Die Rank-1-Genauigkeit gibt den Anteil der Suchanfragen an, bei denen das höchstplatzierte Galeriebild die richtige Identität zeigt. Die mittlere durchschnittliche Präzision (mAP) bewertet, wie gut alle passenden Ergebnisse in der gesamten Galerie sortiert sind. Market-1501, der klassische Benchmark für Personen-Re-ID, umfasst 32.668 Bounding Boxes von 1.501 Personen, die mit sechs Kameras auf einem Universitätsgelände aufgenommen wurden.