Seguimento de múltiplos objectos (MOT)

O rastreamento de múltiplos objetos (MOT) é uma tarefa dinâmica em visão computacional (CV) que envolve a detecção de várias entidades distintas em um fluxo de vídeo e a manutenção de suas identidades ao longo do tempo. Ao contrário da detecção de objetos padrão, que trata cada quadro como um instantâneo isolado, o MOT introduz uma dimensão temporal à inteligência artificial (IA). Ao atribuir um número de identificação (ID) exclusivo a cada instância detetada — como um pedestre específico numa multidão ou um veículo numa rodovia — os algoritmos MOT permitem que os sistemas rastreiem trajetórias, analisem comportamentos e compreendam interações. Essa capacidade é fundamental para a compreensão moderna de vídeo e permite que as máquinas percebam a continuidade em um ambiente em mudança.

Como funciona o MOT

A maioria dos sistemas de rastreamento contemporâneos opera com base no paradigma de "rastreamento por detecção". Essa abordagem divide o processo em duas etapas principais: identificar o que está no quadro e, em seguida, associar essas descobertas a objetos conhecidos do passado.

1. Detecção: Em cada fotograma, um modelo de alto desempenho como o YOLO26 analisa a imagem para localizar objetos, gerando caixas delimitadoras e probabilidades de classe.
2. Previsão de movimento: para antecipar para onde um objeto se moverá a seguir, os algoritmos costumam usar um filtro de Kalman. Essa ferramenta matemática estima o estado de um sistema dinâmico — como velocidade e posição — ajudando a restringir a área de pesquisa no quadro subsequente .
3. Associação de dados: O sistema associa novas detecções a faixas existentes. Métodos de otimização como o algoritmo húngaro resolvem esse problema de atribuição minimizando o custo da correspondência, muitas vezes contando com Intersection over Union (IoU) para medir a sobreposição espacial.
4. Reidentificação (ReID): Quando ocorrem obstruções visuais — conhecidas como oclusão — rastreadores avançados usam incorporações visuais para reconhecer o objeto quando ele reaparece. Isso ajuda a evitar a "troca de identificação", garantindo que o sistema saiba que o carro que sai de um túnel é o mesmo que entrou nele.

Distinguindo MOT do rastreamento de objeto único

Embora a terminologia seja semelhante, o rastreamento de múltiplos objetos (MOT) difere significativamente do rastreamento de objeto único (SOT). O SOT concentra-se em seguir um alvo específico inicializado no primeiro quadro, muitas vezes ignorando todas as outras entidades. Em contrapartida, o MOT deve lidar com um número desconhecido e variável de alvos que podem entrar ou sair da cena a qualquer momento. Isso torna o MOT computacionalmente mais exigente, pois requer uma lógica robusta para lidar com track e o término track e as complexas interações entre vários corpos em movimento.

Aplicações no Mundo Real

A capacidade de track entidades simultaneamente impulsiona a inovação em vários setores importantes.

• Condução autónoma: Os carros autônomos dependem muito do MOT para navegar com segurança. Ao rastrear pedestres, ciclistas e outros veículos, os sistemas autónomos podem prever posições futuras para evitar colisões. Isso geralmente envolve a fusão de dados de câmaras e sensores LiDAR para máxima confiabilidade.
• Análise de retalho: Nas lojas físicas, os retalhistas utilizam IA no retalho para mapear as jornadas dos clientes. Os algoritmos MOT geram mapas de calor do tráfego de pessoas, ajudando os gestores a otimizar o layout das lojas e melhorar a gestão das filas durante os horários de pico.
• Análise desportiva: Equipas profissionais utilizam o MOT para analisar os movimentos dos jogadores e as formações das equipas. Ao acompanhar cada jogador em campo, os treinadores podem extrair métricas detalhadas sobre velocidade, distância percorrida e posicionamento tático utilizando técnicas de estimativa de pose.

Implementando MOT com Python

Ultralytics a implementação do rastreamento com modelos de última geração. O track() O método integra a lógica de deteção e rastreamento de forma integrada, suportando algoritmos como ByteTrack e BoT-SORT. O exemplo abaixo demonstra o rastreamento de veículos num vídeo usando o recomendado Modelo YOLO26.

from ultralytics import YOLO

# Load the official YOLO26 small model
model = YOLO("yolo26s.pt")

# Track objects in a video file (or use '0' for webcam)
# The 'persist=True' argument keeps track IDs consistent between frames
results = model.track(source="traffic_analysis.mp4", show=True, persist=True)

# Print the IDs of objects tracked in the first frame
if results[0].boxes.id is not None:
    print(f"Tracked IDs: {results[0].boxes.id.int().tolist()}")

Desafios no rastreamento de múltiplos objetos

Apesar dos avanços, o MOT continua a ser um campo desafiante. A oclusão é uma dificuldade primária; quando objetos se cruzam ou ficam escondidos atrás de obstáculos, manter a identidade é complexo. Cenas lotadas, como uma maratona movimentada ou um bando de pássaros, testam os limites dos algoritmos de associação de dados. Além disso, manter velocidades de inferência em tempo real durante o processamento de fluxos de vídeo de alta resolução requer arquiteturas de modelo eficientes e, muitas vezes, hardware especializado, como dispositivos NVIDIA .

Para enfrentar esses desafios, os investigadores estão a explorar abordagens de aprendizagem profunda de ponta a ponta que unificam a detecção e o rastreamento numa única rede, além de aproveitar a Ultralytics para anotar conjuntos de dados desafiadores e treinar modelos personalizados robustos .