Multi-Object Tracking (MOT)

El seguimiento de múltiples objetos (MOT) es una tarea dinámica en visión artificial (CV) que consiste en detectar múltiples entidades distintas dentro de un flujo de vídeo y mantener sus identidades a lo largo del tiempo. A diferencia de la detección de objetos estándar, que trata cada fotograma como una instantánea aislada, el MOT introduce una dimensión temporal en la inteligencia artificial (IA). Al asignar un número de identificación (ID) único a cada instancia detectada —como un peatón específico en una multitud o un vehículo en una autopista—, los algoritmos de MOT permiten a los sistemas trazar trayectorias, analizar el comportamiento y comprender las interacciones. Esta capacidad es fundamental para la comprensión de vídeo moderna y permite a las máquinas percibir la continuidad en un entorno cambiante.

Cómo funciona el MOT#

La mayoría de los sistemas de seguimiento contemporáneos operan bajo el paradigma de "seguimiento por detección". Este enfoque divide el proceso en dos etapas principales: identificar qué hay en el fotograma y, a continuación, asociar esos hallazgos con objetos conocidos del pasado.

1. Detección: En cada fotograma, un modelo de alto rendimiento como YOLO26 escanea la imagen para localizar objetos, generando cuadros delimitadores y probabilidades de clase.

2. Predicción de movimiento: Para anticipar hacia dónde se moverá un objeto a continuación, los algoritmos suelen utilizar un Filtro de Kalman. Esta herramienta matemática estima el estado de un sistema dinámico —como la velocidad y la posición—, ayudando a reducir el área de búsqueda en el fotograma siguiente.

3. Asociación de datos: El sistema empareja las nuevas detecciones con los seguimientos existentes. Los métodos de optimización como el algoritmo húngaro resuelven este problema de asignación minimizando el coste del emparejamiento, basándose a menudo en la Intersección sobre Unión (IoU) para medir el solapamiento espacial.

4. Reidentificación (ReID): Cuando se producen obstrucciones visuales —conocidas como oclusión—, los rastreadores avanzados utilizan incrustaciones visuales para reconocer el objeto cuando reaparece. Esto ayuda a evitar el "cambio de ID", asegurando que el sistema sepa que el coche que sale de un túnel es el mismo que entró en él.

Diferencias entre el MOT y el seguimiento de un solo objeto#

Aunque la terminología es similar, el seguimiento de múltiples objetos (MOT) difiere significativamente del seguimiento de objeto único (SOT). El SOT se centra en seguir un objetivo específico inicializado en el primer fotograma, ignorando a menudo a todas las demás entidades. En contraste, el MOT debe gestionar un número desconocido y variable de objetivos que pueden entrar o salir de la escena en cualquier momento. Esto hace que el MOT sea computacionalmente más exigente, ya que requiere una lógica robusta para gestionar el inicio y la fin de los seguimientos, así como las complejas interacciones entre múltiples cuerpos en movimiento.

Aplicaciones en el mundo real#

La capacidad de rastrear múltiples entidades simultáneamente impulsa la innovación en varios sectores importantes.

• Conducción autónoma: Los coches autónomos dependen en gran medida del MOT para navegar con seguridad. Al rastrear peatones, ciclistas y otros vehículos, los sistemas autónomos pueden predecir posiciones futuras para evitar colisiones. Esto suele implicar la fusión de datos de cámaras y sensores LiDAR para obtener la máxima fiabilidad.
• Analítica minorista: En las tiendas físicas, los comerciantes utilizan la IA en el comercio minorista para mapear los recorridos de los clientes. Los algoritmos de MOT generan mapas de calor del tráfico peatonal, ayudando a los gerentes a optimizar la disposición de la tienda y mejorar la gestión de colas durante las horas punta.
• Analítica deportiva: Los equipos profesionales utilizan el MOT para analizar los movimientos de los jugadores y las formaciones del equipo. Al rastrear a cada jugador en el campo, los entrenadores pueden extraer métricas detalladas sobre la velocidad, la distancia recorrida y el posicionamiento táctico utilizando técnicas de estimación de poses.

Implementación de MOT con Python#

Ultralytics facilita la implementación del seguimiento con modelos de vanguardia. El método track() integra la lógica de detección y seguimiento de forma fluida, admitiendo algoritmos como ByteTrack y BoT-SORT. El siguiente ejemplo demuestra el seguimiento de vehículos en un vídeo utilizando el modelo YOLO26 recomendado.

from ultralytics import YOLO

# Load the official YOLO26 small model
model = YOLO("yolo26s.pt")

# Track objects in a video file (or use '0' for webcam)
# The 'persist=True' argument keeps track IDs consistent between frames
results = model.track(source="traffic_analysis.mp4", show=True, persist=True)

# Print the IDs of objects tracked in the first frame
if results[0].boxes.id is not None:
    print(f"Tracked IDs: {results[0].boxes.id.int().tolist()}")

Desafíos en el seguimiento de múltiples objetos#

A pesar de los avances, el MOT sigue siendo un campo desafiante. La oclusión es una dificultad principal; cuando los objetos se cruzan o se ocultan detrás de obstáculos, mantener la identidad es complejo. Las escenas concurridas, como una maratón con mucho movimiento o una bandada de pájaros, ponen a prueba los límites de los algoritmos de asociación de datos. Además, mantener velocidades de inferencia en tiempo real mientras se procesan flujos de vídeo de alta resolución requiere arquitecturas de modelos eficientes y, a menudo, hardware especializado como dispositivos NVIDIA Jetson.

Para abordar estos desafíos, los investigadores están explorando enfoques de aprendizaje profundo de extremo a extremo que unifican la detección y el seguimiento en una sola red, así como aprovechando la Plataforma Ultralytics para anotar conjuntos de datos complejos y entrenar modelos personalizados robustos.