Multi-Object Tracking (MOT)

O Rastreamento de Múltiplos Objetos (MOT) é uma tarefa dinâmica em visão computacional (CV) que envolve detetar várias entidades distintas num fluxo de vídeo e manter as suas identidades ao longo do tempo. Ao contrário da deteção de objetos padrão, que trata cada fotograma como uma imagem isolada, o MOT introduz uma dimensão temporal na inteligência artificial (AI). Ao atribuir um número de identificação (ID) único a cada instância detetada — como um pedestre específico numa multidão ou um veículo numa autoestrada — os algoritmos de MOT permitem que os sistemas acompanhem trajetórias, analisem comportamentos e compreendam interações. Esta capacidade é fundamental para a moderna compreensão de vídeo e permite que as máquinas percebam a continuidade num ambiente em mudança.

Como funciona o MOT#

A maioria dos sistemas de rastreamento contemporâneos funciona segundo um paradigma de "rastreamento por deteção". Esta abordagem divide o processo em duas etapas principais: identificar o que está no fotograma e, em seguida, associar essas deteções a objetos conhecidos do passado.

1. Deteção: em cada fotograma, um modelo de alto desempenho como o YOLO26 analisa a imagem para localizar objetos, gerando caixas delimitadoras e probabilidades de classe.

2. Predição de movimento: para antecipar para onde um objeto se moverá a seguir, os algoritmos utilizam frequentemente um filtro de Kalman. Esta ferramenta matemática estima o estado de um sistema dinâmico — como a velocidade e a posição — ajudando a reduzir a área de pesquisa no fotograma seguinte.

3. Associação de dados: o sistema associa novas deteções a rastreamentos existentes. Métodos de otimização como o algoritmo húngaro resolvem este problema de atribuição minimizando o custo das associações, recorrendo frequentemente à interseção sobre união (IoU) para medir a sobreposição espacial.

4. Reidentificação (ReID): quando ocorrem obstruções visuais — conhecidas como oclusão — os rastreadores avançados utilizam embeddings visuais para reconhecer o objeto quando este reaparece. Isto ajuda a evitar a "troca de ID", garantindo que o sistema sabe que o carro que sai de um túnel é o mesmo que entrou nele.

Distinguir o MOT do rastreamento de um único objeto#

Embora a terminologia seja semelhante, o Rastreamento de Múltiplos Objetos (MOT) difere significativamente do Rastreamento de um Único Objeto (SOT). O SOT concentra-se em seguir um alvo específico inicializado no primeiro fotograma, ignorando frequentemente todas as outras entidades. Em contrapartida, o MOT tem de lidar com um número desconhecido e variável de alvos que podem entrar ou sair da cena a qualquer momento. Isto torna o MOT mais exigente do ponto de vista computacional, pois requer uma lógica robusta para gerir o início e o término de rastreamentos, bem como as complexas interações entre vários corpos em movimento.

Aplicações no mundo real#

A capacidade de rastrear várias entidades em simultâneo impulsiona a inovação em vários setores importantes.

• Condução autónoma: os carros autónomos dependem fortemente do MOT para navegar em segurança. Ao rastrear peões, ciclistas e outros veículos, os sistemas autónomos podem prever posições futuras para evitar colisões. Isto envolve frequentemente a fusão de dados provenientes de câmaras e sensores LiDAR para obter a máxima fiabilidade.
• Análise de retalho: em lojas físicas, os retalhistas utilizam AI no retalho para mapear os percursos dos clientes. Os algoritmos de MOT geram mapas de calor do fluxo de pessoas, ajudando os gestores a otimizar a disposição das lojas e a melhorar a gestão de filas durante os períodos de maior movimento.
• Análise desportiva: as equipas profissionais utilizam o MOT para analisar os movimentos dos jogadores e as formações da equipa. Ao rastrear todos os jogadores em campo, os treinadores podem extrair métricas detalhadas sobre velocidade, distância percorrida e posicionamento tático utilizando técnicas de estimativa de pose.

Implementar o MOT com Python#

A Ultralytics torna simples a implementação de rastreamento com modelos de última geração. O método track() integra perfeitamente a lógica de deteção e rastreamento, suportando algoritmos como ByteTrack e BoT-SORT. O exemplo abaixo demonstra o rastreamento de veículos num vídeo utilizando o modelo YOLO26 recomendado.

from ultralytics import YOLO

# Load the official YOLO26 small model
model = YOLO("yolo26s.pt")

# Track objects in a video file (or use '0' for webcam)
# The 'persist=True' argument keeps track IDs consistent between frames
results = model.track(source="traffic_analysis.mp4", show=True, persist=True)

# Print the IDs of objects tracked in the first frame
if results[0].boxes.id is not None:
    print(f"Tracked IDs: {results[0].boxes.id.int().tolist()}")

Desafios no rastreamento de múltiplos objetos#

Apesar dos avanços, o MOT continua a ser uma área desafiante. A oclusão é uma das principais dificuldades; quando os objetos se cruzam ou se escondem atrás de obstáculos, manter a identidade é complexo. Cenas com muita aglomeração, como uma maratona movimentada ou um bando de aves, testam os limites dos algoritmos de associação de dados. Além disso, manter velocidades de inferência em tempo real ao processar fluxos de vídeo de alta resolução requer arquiteturas de modelo eficientes e, frequentemente, hardware especializado, como dispositivos NVIDIA Jetson.

Para enfrentar estes desafios, os investigadores estão a explorar abordagens de aprendizagem profunda de ponta a ponta que unificam a deteção e o rastreamento numa única rede, além de tirar partido da Ultralytics Platform para anotar conjuntos de dados desafiantes e treinar modelos personalizados robustos.