Multi-Object Tracking (MOT)

El seguimiento de múltiples objetos (MOT) es la tarea de visión artificial que consiste en seguir simultáneamente cada objeto de interés a lo largo de un vídeo y asignarle un ID persistente para que sus posiciones entre fotogramas formen una trayectoria. El número de objetos es desconocido y cambia constantemente cuando personas o vehículos entran, salen, se cruzan y desaparecen unos detrás de otros. Por eso, el rastreador debe decidir en cada fotograma qué detecciones corresponden a trayectorias existentes, cuáles inician otras nuevas y cuáles han terminado. El MOT es la forma más habitual de seguimiento de objetos; el seguimiento de un único objeto (SOT) sigue un objetivo elegido en el primer fotograma, independientemente de su clase.

Cómo funciona el seguimiento de múltiples objetos#

La mayoría de los sistemas MOT utilizan seguimiento basado en detecciones: un modelo de detección de objetos encuentra objetos en cada fotograma y un rastreador vincula esas detecciones con las trayectorias que ya mantiene. El rastreador predice dónde debería aparecer cada trayectoria con un modelo de movimiento, normalmente un filtro de Kalman; construye una matriz de costes entre las trayectorias predichas y las nuevas detecciones a partir de la superposición de cajas (IoU), el movimiento y, opcionalmente, las incrustaciones de apariencia de un modelo de reidentificación de objetos (Re-ID); y resuelve la correspondencia como un problema de asignación lineal mediante el algoritmo húngaro. Las trayectorias emparejadas conservan sus ID, las detecciones no emparejadas con suficiente confianza inician trayectorias nuevas y las trayectorias sin correspondencia se mantienen como «perdidas» durante varios fotogramas para poder recuperarlas tras una oclusión.

Las multitudes dificultan la asociación, porque las personas parcialmente ocultas producen detecciones con baja confianza que un umbral simple descarta. ByteTrack las conserva para una segunda pasada de emparejamiento:

Diseños de rastreadores#

• SORT y sus sucesores: SORT (2016) combinó un filtro de Kalman, costes basados en IoU y el algoritmo húngaro. DeepSORT añadió características de apariencia para recuperar identidades tras una oclusión; ByteTrack incorporó la pasada de baja confianza; OC-SORT hizo que las estimaciones de movimiento fueran robustas ante oclusiones; y BoT-SORT añadió compensación del movimiento de la cámara para cámaras en movimiento.
• Detección e incrustación conjuntas (FairMOT): FairMOT entrena una única red para generar detecciones e incrustaciones de Re-ID a la vez, de modo que las características de apariencia no requieren un segundo modelo.
• Seguimiento de extremo a extremo (MOTR): MOTR y TrackFormer amplían el transformer DETR con consultas de seguimiento que mantienen la identidad de cada objeto de un fotograma al siguiente, de modo que la asociación se aprende durante el entrenamiento.

El modo de seguimiento de Ultralytics YOLO aplica el seguimiento mediante detección a cualquier modelo de detección YOLO26, segmentación, pose o cajas orientadas, con seis rastreadores integrados que se seleccionan mediante el argumento tracker: TrackTrack (el predeterminado), BoT-SORT, ByteTrack, OC-SORT, Deep OC-SORT y FastTracker. Este ejemplo sigue a las personas de un clip corto y cuenta los fotogramas que sobrevive cada ID:

from collections import Counter

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
video = "https://github.com/ultralytics/assets/releases/download/v0.0.0/decelera_portrait_min.mov"

# Sigue a las personas (clase COCO 0) y cuenta los fotogramas en los que aparece cada ID de seguimiento
frames_per_id = Counter()
for result in model.track(video, stream=True, classes=[0]):
    if result.boxes.is_track:
        frames_per_id.update(result.boxes.id.int().tolist())

# Las cinco trayectorias más largas como (ID de seguimiento, fotogramas)
print(frames_per_id.most_common(5))

Cada par contiene un ID de seguimiento y el número de fotogramas durante los que se mantuvo; por tanto, un ID de larga duración indica que el rastreador siguió a una persona durante muchos fotogramas.

Medición de la calidad del seguimiento#

El MOT se evalúa con benchmarks como MOT17, MOT20 para multitudes densas y DanceTrack, donde los bailarines se parecen y se mueven de forma impredecible. Tres métricas son las más importantes:

• MOTA: Uno menos la suma de objetos no detectados, falsos positivos y cambios de ID dividida por el número de objetos de referencia; por eso, depende sobre todo de la calidad de la detección.
• IDF1: Puntuación F1 de las detecciones identificadas correctamente, que mide la coherencia con la que cada objeto real conserva un único ID.
• HOTA: Media geométrica de la precisión de detección y la precisión de asociación, que pondera por igual la localización de objetos y su vinculación.

Retos#

• Oclusión: Un objeto oculto durante muchos fotogramas puede reaparecer con un ID nuevo, salvo que la predicción del movimiento o la correspondencia de apariencia lo recuperen.
• Multitudes y apariencias similares: En grupos densos de personas o de deportistas uniformados, los costes de IoU y apariencia se vuelven ambiguos y los ID se intercambian.
• Movimiento de la cámara: Una cámara que gira o vibra desplaza todas las cajas a la vez y rompe los modelos de movimiento de velocidad constante, salvo que el rastreador lo compense.
• Presupuestos de tiempo real: La detección, la asociación y cualquier modelo de Re-ID comparten el presupuesto de tiempo de cada fotograma, y un modelo de Re-ID independiente añade una pasada de red por cada objeto detectado.