8 principais ferramentas e algoritmos de código aberto para rastreamento de objetos

Quando um carro passa no sinal vermelho e uma multa automática é enviada ao motorista, ou quando um jogador de futebol conduz a bola pelo campo e a câmera acompanha a jogada com fluidez, a IA trabalha discretamente em segundo plano. Em particular, esses sistemas dependem da visão computacional, um subcampo da IA que permite às máquinas ver, interpretar e compreender informações visuais do mundo.

Na visão computacional, uma das principais tarefas por trás dessas aplicações é o rastreamento de objetos. Ele é usado para identificar objetos em cada quadro de um vídeo e, em seguida, acompanhá-los enquanto se movem, se sobrepõem a outros ou mudam de direção.

Hoje, há muitas ferramentas de rastreamento de objetos e algoritmos disponíveis, cada um projetado para diferentes casos de uso, requisitos de desempenho e níveis de complexidade. Alguns priorizam a velocidade e conseguem rastrear dezenas de objetos em tempo real, enquanto outros priorizam a precisão ou a estabilidade a longo prazo em condições desafiadoras, como oclusão, movimentos rápidos ou pouca iluminação.

Em particular, os projetos de código aberto desempenharam um papel importante no avanço dessa área. Como seu código é acessível publicamente, desenvolvedores e pesquisadores podem estudar como esses projetos funcionam, aprimorar métodos existentes e adaptá-los a novas aplicações. Essa abertura ajudou o rastreamento de objetos a evoluir rapidamente e facilitou sua integração em sistemas do mundo real.

Neste artigo, vamos explorar oito ferramentas e algoritmos populares de código aberto para o acompanhamento de objetos.

O que é rastreamento de objetos?#

Imagine uma situação em que uma pessoa responsável pela segurança está assistindo a imagens de CFTV de um estacionamento. Ela decide ficar de olho em um carro vermelho. À medida que o vídeo é reproduzido, ela identifica mentalmente esse carro e o acompanha por onde quer que vá, mesmo quando outros carros passam ou pessoas cruzam à sua frente.

O rastreamento de objetos com IA é semelhante, mas funciona automaticamente e em grande escala. Em outras palavras, rastreamento de objetos é o processo de acompanhar um objeto à medida que ele se move pelos quadros de um vídeo e manter sua identidade consistente de um quadro para o seguinte.

Em muitos sistemas, o processo começa com a detecção de objetos, que encontra e rotula objetos como pessoas, veículos ou placas de trânsito em cada quadro. À medida que esses objetos se movem, aparecem, desaparecem ou se sobrepõem, o sistema de rastreamento associa as detecções entre os quadros para saber qual objeto é qual e por onde cada um passa ao longo do tempo.

Fig. 1. Uma visão do rastreamento de objetos (Fonte)

Existem dois tipos comuns de acompanhamento: o acompanhamento de um único objeto (SOT), que se concentra num objeto principal (como acompanhar apenas a bola num vídeo desportivo), e o acompanhamento de múltiplos objetos (MOT), que acompanha vários objetos ao mesmo tempo e atribui um ID único a cada um (como acompanhar todos os carros num cruzamento movimentado).

Independentemente do tipo de rastreamento, a maioria dos sistemas depende de três componentes principais: um detector para encontrar objetos em cada quadro, um modelo de movimento para prever como esses objetos provavelmente vão se mover e uma etapa de correspondência para associar novas detecções aos objetos rastreados anteriormente. Esses componentes transformam vídeos brutos em informações úteis sobre como os objetos se movem e interagem ao longo do tempo.

A necessidade de ferramentas de código aberto para rastreamento de objetos#

Antes de nos aprofundarmos nos detalhes, você talvez esteja se perguntando: o que torna tão especiais as ferramentas e os algoritmos de código aberto para rastreamento de objetos?

As ferramentas de código aberto tiveram um papel importante em facilitar o uso e ampliar a disponibilidade do rastreamento de objetos. Como o código é aberto, desenvolvedores e pesquisadores podem ver exatamente como um rastreador funciona, aprender com ele e adaptá-lo aos próprios projetos, em vez de tratá-lo como uma caixa-preta.

Essas ferramentas também se beneficiam de comunidades fortes. Muitas ferramentas de rastreamento de código aberto são mantidas por colaboradores ativos que adicionam recursos, melhoram a velocidade e a precisão, corrigem bugs e mantêm as ferramentas alinhadas às pesquisas mais recentes. Essa colaboração contínua ajuda a manter essas ferramentas confiáveis e úteis em diferentes aplicações.

O custo é outro grande motivo para a importância dessas ferramentas. Como as ferramentas de código aberto são gratuitas, estudantes, startups e equipes pequenas podem experimentar, criar protótipos e desenvolver sistemas reais sem se preocupar com taxas de licença ou custos de assinatura.

As 8 principais ferramentas e algoritmos de código aberto para rastreamento de objetos#

Hoje há uma grande variedade de opções de código aberto para criar sistemas de rastreamento. Algumas são algoritmos ou modelos de rastreamento que você pode incorporar diretamente ao seu pipeline, enquanto outras são bibliotecas e frameworks que facilitam a execução, o gerenciamento e a integração desses modelos. Em conjunto, elas abrangem desde a lógica central de rastreamento até as ferramentas complementares necessárias em um projeto real.

A seguir, vamos conhecer oito ferramentas e algoritmos populares de código aberto para rastreamento de objetos.

1. Modelos Ultralytics YOLO e pacote Ultralytics Python#

Uma das opções mais simples e práticas para acompanhar objetos é utilizar os modelos Ultralytics YOLO em conjunto com o pacote Python Ultralytics. Os modelos Ultralytics YOLO, como o Ultralytics YOLO11 e o mais recente Ultralytics YOLO26, são modelos de visão computacional que suportam várias tarefas de visão, incluindo deteção de objetos, segmentação de instâncias, estimativa de pose e acompanhamento de objetos.

Fig. 2. Exemplo do uso do YOLO11 para detectar e rastrear objetos. (Fonte)

Curiosamente, os próprios modelos não acompanham objetos entre fotogramas. Em vez disso, o pacote Python Ultralytics, uma biblioteca que simplifica a execução e a implementação de modelos Ultralytics YOLO, permite o acompanhamento ao combinar as deteções do YOLO fotograma a fotograma com algoritmos dedicados de acompanhamento de múltiplos objetos, como BoT-SORT e ByteTrack.

Com o recurso de rastreamento integrado, o pacote Ultralytics e os modelos Ultralytics YOLO podem ser usados para detectar objetos em cada frame e, em seguida, atribuir IDs consistentes para acompanhá-los enquanto se movem, se sobrepõem, saem do quadro e retornam depois. Essa abordagem vem sendo cada vez mais adotada em setores como manufatura e varejo, permitindo aplicações como fluxos de trabalho de inspeção de defeitos, rastreamento do fluxo de estoque e rastreamento de clientes nas lojas.

2. Rastreadores OpenCV#

O OpenCV é uma ampla biblioteca de visão computacional que inclui um conjunto de algoritmos de rastreamento de objetos. A comunidade OpenCV desenvolve e mantém essa biblioteca desde 1999.

Em vez de depender de aprendizado profundo, a maioria desses rastreadores usa métodos tradicionais de visão computacional, como filtros de correlação e técnicas baseadas em kernel (que acompanham um objeto comparando sua aparência visual, como cor e textura, de um frame para o próximo, em vez de aprender características usando redes neurais).

Ao usar esses algoritmos, normalmente você pode selecionar primeiro o objeto que deseja rastrear; em seguida, o rastreador procura continuamente a região visual mais parecida nos frames seguintes, à medida que o objeto se move.

Fig. 3. Rastreamento de objetos usando OpenCV (Fonte)

Embora esses métodos talvez não sejam tão robustos quanto os sistemas modernos de rastreamento baseados em aprendizado profundo em cenas complexas ou lotadas, eles ainda são bastante usados por serem leves, rápidos e fáceis de executar. Além disso, como esses rastreadores funcionam com eficiência em CPUs e geralmente não precisam de GPU, são úteis para experimentos rápidos, aprendizado em sala de aula e projetos por hobby.

3. ByteTrack#

ByteTrack é um dos algoritmos de código aberto mais populares para rastreamento de múltiplos objetos. Em vez de associar apenas as detecções nas quais o modelo tem alta confiança, ele também aproveita detecções com confiança mais baixa, que muitos sistemas normalmente ignoram.

Isso ajuda o algoritmo a acompanhar objetos que ficam difíceis de ver por pouco tempo, por exemplo, quando estão parcialmente obstruídos, distantes ou se movendo rapidamente. Por ser rápido e confiável, ByteTrack é usado com frequência em aplicações como análise de tráfego, rastreamento de pedestres e monitoramento do varejo, nas quais o desempenho em tempo real e os IDs consistentes são importantes.

Como mencionado antes, se você usa modelos Ultralytics YOLO para detecção, é fácil ativar o ByteTrack por meio do pacote Ultralytics Python. Mas também é possível usá-lo de forma independente em pipelines personalizados, o que o torna adequado para tudo, desde protótipos de pesquisa até sistemas de produção escritos em C++.

4. DeepSORT#

Outro algoritmo bastante usado para rastreamento de múltiplos objetos é o DeepSORT, abreviação de Deep Simple Online and Real-Time Tracking (rastreamento profundo simples, on-line e em tempo real). Ele é uma versão avançada do SORT, sigla de Simple Online and Real-Time Tracking (rastreamento simples, on-line e em tempo real).

Assim como o ByteTrack, o SORT adota uma abordagem de rastreamento por detecção. No entanto, o SORT usa um filtro de Kalman, um modelo matemático que estima a posição futura de um objeto com base em seu movimento anterior, para prever para onde cada objeto provavelmente vai se mover.

Em seguida, o algoritmo associa novas detecções a rastreamentos existentes, principalmente com base na posição e na sobreposição das caixas delimitadoras. Isso torna o SORT rápido e leve, mas pode causar dificuldades quando objetos se sobrepõem, cruzam trajetórias ou desaparecem de vista por pouco tempo.

O DeepSORT melhora o SORT ao adicionar informações sobre a aparência ao processo de acompanhamento. Além do movimento e da posição, utiliza um modelo de reidentificação (re-ID) baseado em aprendizagem profunda, que aprende o aspeto dos objetos. Isto permite ao sistema de acompanhamento reconhecer o mesmo objeto em vários fotogramas, mesmo quando o movimento não é suficiente para o distinguir dos outros.

Por isso, o DeepSORT é usado com frequência em aplicações como vigilância e monitoramento de multidões, nas quais as pessoas costumam se sobrepor ou ficar momentaneamente ocultas. No entanto, hoje ele é considerado uma referência clássica, e métodos de rastreamento mais recentes costumam ter melhor desempenho em cenas mais desafiadoras.

5. Norfair#

Norfair é uma biblioteca leve de rastreamento, criada para oferecer flexibilidade, em vez de obrigar você a usar um pipeline de rastreamento predefinido. Ela pode adicionar rastreamento a quase qualquer detector, desde que as saídas do detector possam ser representadas como um conjunto de pontos, como centros de caixas delimitadoras, pontos-chave ou dados de coordenadas personalizados.

Fig. 4. Rastreamento de objetos no mundo real usando Norfair (Fonte)

Essa flexibilidade é especialmente valiosa em projetos com entradas incomuns ou padrões de movimento dinâmicos, nos quais as ferramentas padrão de rastreamento de múltiplos objetos podem não ser suficientes. A biblioteca também oferece funções de distância integradas para controlar como as detecções são associadas entre frames.

Essas funções de distância medem a semelhança entre dois pontos ou objetos, dando aos usuários controle total sobre a lógica de rastreamento. Norfair é usado com frequência em robótica, análise de movimento esportivo, navegação de drones e aplicações que dependem bastante do rastreamento de marcos de pose ou pontos-chave.

6. MMTracking#

MMTracking é uma caixa de ferramentas de código aberto para rastreamento, criada pela equipe do OpenMMLab, que também desenvolve bibliotecas de visão computacional amplamente usadas, como MMDetection. Desenvolvida sobre o MMDetection, ela oferece um framework flexível para desenvolver e testar sistemas de rastreamento.

Um de seus principais pontos fortes é o design modular. Em vez de limitar você a um único pipeline, o MMTracking permite configurar e substituir diferentes componentes, como detectores, módulos de rastreamento e, em algumas configurações, modelos de reidentificação. Graças a essa flexibilidade, é especialmente popular em pesquisas e projetos avançados nos quais as equipes querem comparar métodos, testar novas ideias ou ajustar pipelines de rastreamento.

7. FairMOT#

FairMOT é um framework de rastreamento de múltiplos objetos, projetado para rastrear muitos objetos ao mesmo tempo. Diferentemente dos pipelines tradicionais de rastreamento por detecção, que primeiro executam a detecção e depois associam os objetos entre frames em uma etapa separada, o FairMOT aprende a detecção e a reidentificação em conjunto, em uma única rede.

Fig. 5. Como funciona o framework FairMOT (Fonte)

Essa configuração conjunta ajuda o algoritmo a manter identidades mais consistentes, especialmente em cenas lotadas, nas quais as pessoas costumam se sobrepor ou se mover rapidamente. FairMOT é usado com frequência em cenários como rastreamento de pedestres e monitoramento de multidões, além de aplicações como análise do varejo e monitoramento de tráfego, nas quais é importante rastrear muitos alvos em tempo real.

8. SiamMask#

SiamMask é um método de rastreamento de objeto único que vai além de muitos rastreadores, pois gera uma máscara de segmentação junto com uma caixa delimitadora. Em termos simples, ele não apenas desenha um retângulo ao redor do alvo. Também contorna a forma do objeto no nível do pixel, o que pode ser útil quando o alvo muda de forma, gira ou fica parcialmente oculto.

Fig. 6. Rastreamento e segmentação de um objeto usando SiamMask (Fonte)

Essa abordagem usa um design de rastreamento siamês, no qual o rastreador primeiro captura uma pequena imagem de referência do alvo no primeiro frame, geralmente chamada de modelo de referência. Depois, em cada novo frame, procura em uma região maior e encontra o ponto mais parecido com esse modelo de referência.

SiamMask amplia essa ideia baseada em correspondência. Ele também prevê uma máscara do alvo no nível do pixel, para que você obtenha tanto a localização do objeto quanto um contorno mais preciso durante a reprodução do vídeo.

Principais fatores para escolher uma ferramenta de rastreamento de objetos#

Com tantas ferramentas de código aberto para rastreamento de objetos disponíveis hoje na área de IA, a melhor opção para seu projeto de visão computacional depende das necessidades específicas do seu caso de uso. Veja alguns fatores a considerar:

• Precisão: Esse fator é mais importante em cenas lotadas ou visualmente complexas, nas quais o sistema de visão precisa manter IDs estáveis mesmo durante sobreposições, oclusões ou movimentos rápidos.
• Velocidade: Em aplicações em tempo real, como robótica, monitoramento de tráfego e análise esportiva, a capacidade de resposta pode ser mais importante do que a precisão perfeita.
• Facilidade de integração: Algumas ferramentas de rastreamento de objetos são fáceis de integrar e funcionam com apenas algumas linhas de código, enquanto outras exigem mais configuração, ajustes ou trabalho personalizado no pipeline.
• Restrições de implantação: O ambiente de destino, como servidores com GPU, dispositivos de borda ou hardware móvel, pode determinar qual abordagem de rastreamento é viável.
• Escalabilidade: Se o sistema precisa rastrear muitos objetos ao mesmo tempo ou processar vários fluxos de vídeo, o rastreador deve escalar com eficiência sem uma grande queda no desempenho.

Cada ferramenta ou algoritmo de rastreamento de objetos atende a uma finalidade diferente. No fim, a escolha certa depende dos seus requisitos específicos, das restrições de execução, das métricas de desempenho e do nível de personalização necessário para a abordagem de rastreamento do seu projeto.

Principais conclusões#

O rastreamento de objetos evoluiu das primeiras técnicas criadas manualmente para os sistemas de aprendizado profundo de última geração atuais, que interpretam movimento, identidade e comportamento com uma precisão impressionante. As ferramentas de código aberto têm sido uma força motriz desse avanço. Elas democratizam o acesso a algoritmos poderosos, incentivam a experimentação e permitem que pesquisadores criem pipelines de rastreamento sofisticados sem licenças restritivas ou uma infraestrutura robusta.

Acesse nossa comunidade e nosso repositório no GitHub para saber mais sobre IA. Conheça nossas páginas de soluções sobre IA na agricultura e visão computacional na manufatura. Descubra nossas opções de licenciamento e comece a criar seu próprio modelo de visão.