Multi-Object Tracking (MOT)

El seguimiento de múltiples objetos (MOT) es una tarea dinámica de la visión por ordenador (CV) que consiste en detectar varias entidades distintas dentro de un flujo de vídeo y mantener sus identidades a lo largo del tiempo. A diferencia de la detección de objetos estándar, que trata cada fotograma como una instantánea aislada, el MOT introduce una dimensión temporal en la inteligencia artificial (IA). Al asignar un número de identificación único (ID) a cada instancia detectada —como un peatón concreto entre una multitud o un vehículo en una autopista—, los algoritmos de MOT permiten a los sistemas seguir trayectorias, analizar comportamientos y comprender interacciones. Esta capacidad es fundamental para la comprensión de vídeo moderna y permite a las máquinas percibir la continuidad en un entorno cambiante.

Cómo funciona el MOT#

La mayoría de los sistemas de seguimiento actuales funcionan según un paradigma de «seguimiento mediante detección». Este enfoque divide el proceso en dos etapas principales: identificar qué hay en el fotograma y asociar después esos hallazgos con objetos conocidos del pasado.

1. Detección: En cada fotograma, un modelo de alto rendimiento como YOLO26 analiza la imagen para localizar objetos y genera cajas delimitadoras y probabilidades de clase.

2. Predicción del movimiento: Para anticipar hacia dónde se moverá un objeto a continuación, los algoritmos suelen utilizar un filtro de Kalman. Esta herramienta matemática estima el estado de un sistema dinámico —como la velocidad y la posición—, lo que ayuda a acotar el área de búsqueda en el fotograma siguiente.

3. Asociación de datos: El sistema relaciona las nuevas detecciones con las trayectorias existentes. Los métodos de optimización, como el algoritmo húngaro, resuelven este problema de asignación minimizando el coste de las correspondencias y suelen basarse en la intersección sobre unión (IoU) para medir la superposición espacial.

4. Reidentificación (ReID): Cuando se producen obstrucciones visuales —lo que se conoce como oclusión—, los sistemas de seguimiento avanzados utilizan embeddings visuales para reconocer el objeto cuando reaparece. Esto ayuda a evitar el «cambio de ID» y garantiza que el sistema sepa que el coche que sale de un túnel es el mismo que entró en él.

Diferencias entre el MOT y el seguimiento de un solo objeto#

Aunque la terminología es similar, el seguimiento de múltiples objetos (MOT) difiere significativamente del seguimiento de un solo objeto (SOT). El SOT se centra en seguir un objetivo específico inicializado en el primer fotograma y suele ignorar todas las demás entidades. En cambio, el MOT debe gestionar un número desconocido y variable de objetivos que pueden entrar o salir de la escena en cualquier momento. Esto hace que el MOT sea más exigente desde el punto de vista computacional, ya que requiere una lógica robusta para gestionar el inicio y la finalización de trayectorias, así como las complejas interacciones entre múltiples cuerpos en movimiento.

Aplicaciones en el mundo real#

La capacidad de seguir varias entidades simultáneamente impulsa la innovación en varios sectores importantes.

• Conducción autónoma: Los coches autónomos dependen en gran medida del MOT para desplazarse con seguridad. Al seguir a peatones, ciclistas y otros vehículos, los sistemas autónomos pueden predecir posiciones futuras para evitar colisiones. Esto suele implicar combinar datos de cámaras y sensores LiDAR para obtener la máxima fiabilidad.
• Analítica minorista: En las tiendas físicas, los minoristas utilizan la IA en el comercio minorista para cartografiar los recorridos de los clientes. Los algoritmos de MOT generan mapas de calor del flujo de personas, lo que ayuda a los responsables a optimizar la distribución de las tiendas y mejorar la gestión de colas durante las horas punta.
• Analítica deportiva: Los equipos profesionales utilizan el MOT para analizar los movimientos de los jugadores y las formaciones del equipo. Al seguir a cada jugador en el campo, los entrenadores pueden extraer métricas detalladas sobre la velocidad, la distancia recorrida y el posicionamiento táctico mediante técnicas de estimación de poses.

Implementación del MOT con Python#

Ultralytics facilita la implementación del seguimiento con modelos de última generación. El método track() integra a la perfección la lógica de detección y seguimiento, y admite algoritmos como ByteTrack y BoT-SORT. El ejemplo siguiente muestra cómo seguir vehículos en un vídeo utilizando el modelo YOLO26 recomendado.

from ultralytics import YOLO

# Load the official YOLO26 small model
model = YOLO("yolo26s.pt")

# Track objects in a video file (or use '0' for webcam)
# The 'persist=True' argument keeps track IDs consistent between frames
results = model.track(source="traffic_analysis.mp4", show=True, persist=True)

# Print the IDs of objects tracked in the first frame
if results[0].boxes.id is not None:
    print(f"Tracked IDs: {results[0].boxes.id.int().tolist()}")

Retos del seguimiento de múltiples objetos#

A pesar de los avances, el MOT sigue siendo un campo complejo. La oclusión es una de las principales dificultades: cuando los objetos se cruzan o se esconden detrás de obstáculos, mantener su identidad resulta complicado. Las escenas multitudinarias, como un maratón concurrido o una bandada de pájaros, ponen a prueba los límites de los algoritmos de asociación de datos. Además, mantener velocidades de inferencia en tiempo real al procesar flujos de vídeo de alta resolución requiere arquitecturas de modelos eficientes y, a menudo, hardware especializado, como los dispositivos NVIDIA Jetson.

Para abordar estos retos, los investigadores están explorando enfoques de aprendizaje profundo de extremo a extremo que unifican la detección y el seguimiento en una sola red, además de aprovechar la Ultralytics Platform para anotar conjuntos de datos complejos y entrenar modelos personalizados robustos.