Object Tracking

Il tracking degli oggetti è un'attività di visione artificiale che individua gli oggetti in fotogrammi video successivi e collega le posizioni in traiettorie, assegnando a ogni oggetto un ID persistente. Un'auto che entra nell'inquadratura con ID 7 mantiene l'ID 7 mentre si sposta, svolta e passa brevemente dietro un autobus; in questo modo, il sistema può contarla una sola volta, misurarne la velocità e stimare dove sta andando. Il tracking di un singolo oggetto segue un target scelto nel primo fotogramma, mentre il tracking multi-oggetto (MOT), la forma più comune nella pratica, segue contemporaneamente ogni oggetto delle classi di interesse.

Come funziona il tracciamento degli oggetti#

La maggior parte dei tracker multi-oggetto usa il tracking basato sul rilevamento: un modello di rilevamento degli oggetti individua gli oggetti in ogni fotogramma e un tracker collega quei rilevamenti nel tempo. Gli strumenti del tracker sono un modello di movimento, solitamente un filtro di Kalman, la sovrapposizione dei riquadri misurata con Intersection over Union (IoU), gli embedding di aspetto opzionali forniti da un modello di re-identificazione degli oggetti (Re-ID) e un risolutore di assegnamento lineare, come l'algoritmo ungherese. A ogni fotogramma esegue quattro passaggi:

1. Previsione: assumendo una velocità costante, il filtro di Kalman prevede dove apparirà il riquadro di ciascuna traccia esistente nel nuovo fotogramma.
2. Punteggio: il tracker crea una matrice dei costi tra le tracce previste e i nuovi rilevamenti, basata su IoU, movimento e, in alcuni tracker, somiglianza dell'aspetto.
3. Assegnamento: il risolutore seleziona le corrispondenze uno-a-uno con il costo più basso.
4. Gestione delle tracce: le tracce abbinate aggiornano il proprio stato, i rilevamenti non abbinati ma affidabili avviano nuove tracce e quelle non abbinate vengono mantenute come «perse» per un certo numero di fotogrammi, così da poterle recuperare dopo un'occlusione.

Il passaggio di gestione del ciclo di vita mantiene stabili gli ID quando i rilevamenti vengono meno per alcuni fotogrammi:

L'architettura di base risale a SORT del 2016, che utilizzava solo un filtro di Kalman, costi IoU e l'algoritmo ungherese. DeepSORT ha aggiunto caratteristiche di aspetto per recuperare le identità dopo un'occlusione, mentre ByteTrack ha migliorato il recall abbinando in un secondo passaggio anche i rilevamenti a bassa confidenza, spesso relativi a oggetti parzialmente occlusi. I tracker successivi aggiungono la compensazione del movimento della fotocamera per le riprese in movimento e regole di associazione più sofisticate per le folle.

Tracking e rilevamento#

Un rilevatore è privo di stato: elabora ogni fotogramma in modo indipendente, quindi l'auto del fotogramma 1 e quella del fotogramma 2 sono rilevamenti non correlati. Il tracking aggiunge uno stato che mantiene le identità da un fotogramma all'altro, necessario per contare, misurare i tempi di permanenza e stimare la velocità. Il tracking è diverso anche dal tracking dei punti e dal flusso ottico, che seguono singoli pixel o punti di una superficie senza raggrupparli in oggetti etichettati.

La modalità di tracking di Ultralytics YOLO aggiunge questo stato a qualsiasi modello di rilevamento YOLO26, di segmentazione, di pose o con riquadri orientati, con sei tracker integrati, tra cui ByteTrack, BoT-SORT e quello predefinito, TrackTrack:

from ultralytics import YOLO

# Load a YOLO26 detector; track() pairs it with a tracker that assigns persistent IDs
model = YOLO("yolo26n.pt")

detections, track_ids = 0, set()
for result in model.track(
    "https://github.com/ultralytics/assets/releases/download/v0.0.0/decelera_portrait_min.mov", stream=True
):
    detections += len(result.boxes)
    if result.boxes.is_track:
        track_ids.update(result.boxes.id.int().tolist())

print(f"Detections summed over all frames: {detections}")
print(f"Unique tracked objects: {len(track_ids)}")

Il conteggio degli ID univoci è inferiore alla somma dei rilevamenti perché ogni ID rappresenta un oggetto in tutti i fotogrammi in cui compare.

Applicazioni nel mondo reale#

• Monitoraggio del traffico e stima della velocità: il tracking di ogni veicolo tra i fotogrammi consente di contare, analizzare il flusso per corsia e stimare la velocità in base alla distanza percorsa da una traccia al secondo.
• Analisi del commercio al dettaglio: le telecamere dei negozi seguono i clienti per misurare l'affluenza, la lunghezza delle code e il tempo di permanenza davanti agli espositori, evitando di contare la stessa persona più volte.
• Analisi sportiva: emittenti e allenatori seguono i giocatori e la palla per calcolare la distanza percorsa, la velocità e gli schemi di gioco delle squadre.
• Veicoli autonomi e robotica: gli stack di percezione seguono pedoni e veicoli per stimarne la velocità e prevedere dove si troveranno nel secondo successivo.

Misurare la qualità del tracking#

I tracker vengono confrontati su benchmark come MOT17, MOT20 per le folle dense e DanceTrack, che include persone dall'aspetto simile e dai movimenti imprevedibili. MOTA riunisce mancate rilevazioni, falsi positivi e scambi di identità in un unico punteggio, dominato dalla qualità del rilevamento; IDF1 misura quanto costantemente ogni oggetto reale mantiene un singolo ID; HOTA bilancia entrambi come media geometrica dell'accuratezza del rilevamento e dell'associazione.