Top 8 ferramentas e algoritmos de rastreamento de objetos de código aberto

Quando um carro passa um sinal vermelho e uma multa automática é enviada ao motorista, ou um jogador de futebol dribla pelo campo e a câmera segue o lance suavemente, a IA está trabalhando silenciosamente em segundo plano. Em particular, esses sistemas dependem de visão computacional, um subcampo da IA que permite que máquinas vejam, interpretem e compreendam informações visuais do mundo.

Dentro da visão computacional, uma das principais tarefas por trás dessas aplicações é o rastreamento de objetos. Ele é usado para identificar objetos em cada quadro de um vídeo e, em seguida, seguir esses objetos à medida que se movem, se sobrepõem a outros ou mudam de direção.

Existem muitas ferramentas de rastreamento de objetos e algoritmos disponíveis hoje, cada um projetado para diferentes casos de uso, necessidades de desempenho e níveis de complexidade. Alguns focam em velocidade e conseguem rastrear dezenas de objetos em tempo real, enquanto outros priorizam a precisão ou a estabilidade a longo prazo em condições desafiadoras como oclusão, movimento rápido ou baixa iluminação.

Especificamente, projetos de código aberto desempenharam um papel importante no avanço deste campo. Como seu código é acessível, desenvolvedores e pesquisadores podem estudar como funcionam, melhorar métodos existentes e adaptá-los para novas aplicações. Essa abertura ajudou o rastreamento de objetos a evoluir rapidamente e a se tornar mais fácil de integrar em sistemas do mundo real.

Neste artigo, vamos explorar oito ferramentas e algoritmos de rastreamento de objetos de código aberto populares. Vamos começar!

Link to this sectionO que é rastreamento de objetos?#

Considere um cenário onde um segurança está assistindo a imagens de CFTV de um estacionamento. Ele decide ficar de olho em um carro vermelho. Conforme o vídeo é reproduzido, ele marca mentalmente aquele carro e continua rastreando-o onde quer que ele vá, mesmo quando outros carros passam ou pessoas caminham na frente dele.

O rastreamento de objetos baseado em IA é semelhante, mas opera automaticamente e em escala. Em outras palavras, o rastreamento de objetos é o processo de seguir um objeto à medida que ele se move pelos quadros de um vídeo e manter sua identidade consistente de um quadro para o próximo.

Em muitos sistemas, isso começa com a detecção de objetos, que encontra e rotula objetos como pessoas, veículos ou sinais de trânsito em cada quadro. Então, à medida que esses objetos se movem, aparecem, desaparecem ou se sobrepõem, o sistema de rastreamento vincula as detecções entre os quadros para saber qual objeto é qual e para onde cada um vai ao longo do tempo.

Fig 1. Uma visão sobre o rastreamento de objetos (Fonte)

Existem dois tipos comuns de rastreamento: rastreamento de objeto único (SOT), que foca em um objeto principal (como rastrear apenas a bola em um vídeo de esportes), e rastreamento de múltiplos objetos (MOT), que segue muitos objetos de uma vez e atribui a cada um um ID único (como rastrear todos os carros em um cruzamento movimentado).

Independentemente do tipo de rastreamento, a maioria dos sistemas depende de três componentes principais: um detector para encontrar objetos em cada quadro, um modelo de movimento para prever como esses objetos provavelmente se moverão e uma etapa de correspondência para conectar novas detecções a objetos rastreados anteriormente. Essas partes transformam vídeo bruto em informações significativas sobre como os objetos se movem e interagem ao longo do tempo.

Link to this sectionA necessidade de ferramentas de rastreamento de objetos de código aberto#

Antes de mergulharmos nos detalhes, você pode estar se perguntando: o que torna as ferramentas e algoritmos de rastreamento de objetos de código aberto tão especiais?

Ferramentas de código aberto desempenharam um grande papel em tornar o rastreamento de objetos mais fácil de usar e mais amplamente disponível. Como o código é aberto, desenvolvedores e pesquisadores podem ver exatamente como um rastreador funciona, aprender com ele e adaptá-lo para seus próprios projetos, em vez de tratá-lo como uma caixa preta.

Elas também se beneficiam de comunidades fortes. Muitas ferramentas de rastreamento de código aberto são mantidas por colaboradores ativos que adicionam novos recursos, melhoram a velocidade e a precisão, corrigem bugs e mantêm as ferramentas alinhadas com as pesquisas mais recentes. Essa colaboração contínua ajuda a mantê-las confiáveis e úteis em diferentes aplicações.

O custo é outra grande razão pela qual elas importam. Como as ferramentas de código aberto são gratuitas, estudantes, startups e pequenas equipes podem experimentar, criar protótipos e construir sistemas reais sem se preocupar com taxas de licença ou custos de assinatura.

Link to this sectionTop 8 ferramentas e algoritmos de rastreamento de objetos de código aberto#

Uma grande variedade de opções de código aberto está disponível hoje para a construção de sistemas de rastreamento. Algumas são algoritmos ou modelos de rastreamento que você pode conectar diretamente ao seu pipeline, enquanto outras são bibliotecas e estruturas que facilitam a execução, o gerenciamento e a integração desses modelos. Juntas, elas cobrem tudo, desde a lógica central de rastreamento até as ferramentas complementares de que você precisa em um projeto real.

A seguir, vamos dar uma olhada em oito ferramentas e algoritmos de rastreamento de objetos de código aberto populares.

Link to this section1. Modelos Ultralytics YOLO e o pacote Python Ultralytics#

Uma das opções mais fáceis e práticas para rastreamento de objetos é usar os modelos Ultralytics YOLO em combinação com o pacote Python Ultralytics. Modelos Ultralytics YOLO como o Ultralytics YOLO11 e o futuro Ultralytics YOLO26 são modelos de visão computacional que suportam uma gama de tarefas de visão, incluindo detecção de objetos, segmentação de instâncias, estimativa de pose e rastreamento de objetos.

Fig 2. Um exemplo de uso do YOLO11 para detectar e rastrear objetos. (Fonte)

Curiosamente, os modelos em si não rastreiam objetos entre quadros. Em vez disso, o pacote Python Ultralytics, uma biblioteca que simplifica a execução e a implementação dos modelos Ultralytics YOLO, torna o rastreamento possível combinando as detecções quadro a quadro do YOLO com algoritmos dedicados de rastreamento de múltiplos objetos, como BoT-SORT e ByteTrack.

Com sua capacidade de rastreamento integrada, o pacote Ultralytics e os modelos Ultralytics YOLO podem ser usados para detectar objetos em cada quadro e, em seguida, atribuir IDs consistentes para que possam ser seguidos à medida que se movem, se sobrepõem, deixam o quadro e reentram mais tarde. Essa abordagem está sendo cada vez mais adotada em setores como manufatura e varejo, permitindo aplicações como fluxos de trabalho de inspeção de defeitos, rastreamento de fluxo de estoque e rastreamento de clientes em lojas.

Link to this section2. Rastreadores OpenCV#

OpenCV é uma vasta biblioteca de visão computacional que inclui uma coleção de algoritmos de rastreamento de objetos. Esta biblioteca tem sido desenvolvida e mantida pela comunidade OpenCV desde 1999.

Em vez de depender de aprendizado profundo, a maioria desses rastreadores usa métodos tradicionais de visão computacional, como filtros de correlação e técnicas baseadas em kernel (que seguem um objeto combinando sua aparência visual, como cor e textura, de um quadro para o próximo, em vez de aprender características usando redes neurais).

Ao usar esses algoritmos, você pode normalmente selecionar primeiro o objeto que deseja rastrear, e o rastreador busca continuamente pela região visual mais semelhante em quadros subsequentes à medida que o objeto se move.

Fig 3. Rastreando objetos usando OpenCV (Fonte)

Embora esses métodos possam não ser tão robustos quanto os sistemas modernos de rastreamento baseados em aprendizado profundo em cenas complexas ou lotadas, eles ainda são amplamente utilizados porque são leves, rápidos e fáceis de executar. Além disso, como esses rastreadores funcionam eficientemente em CPUs e geralmente não requerem uma GPU, eles funcionam bem para experimentos rápidos, aprendizado em sala de aula e projetos de hobby.

Link to this section3. ByteTrack#

ByteTrack é um dos algoritmos de código aberto mais populares para rastreamento de múltiplos objetos. Em vez de combinar apenas as detecções sobre as quais o modelo tem muita certeza, ele também faz uso de detecções de menor confiança que muitos sistemas normalmente ignoram.

Isso o ajuda a manter o rastreamento de objetos que são brevemente difíceis de ver, como quando estão parcialmente bloqueados, longe ou se movendo rapidamente. Por ser rápido e confiável, o ByteTrack é comumente usado em aplicações como análise de tráfego, rastreamento de pedestres e monitoramento de varejo, onde o desempenho em tempo real e IDs consistentes são importantes.

Como mencionado anteriormente, se você estiver usando modelos Ultralytics YOLO para detecção, é fácil habilitar o ByteTrack por meio do pacote Python Ultralytics. Mas ele também pode ser usado independentemente em pipelines personalizados, tornando-o adequado para tudo, desde protótipos de pesquisa até sistemas de produção escritos em C++.

Link to this section4. DeepSORT#

Outro algoritmo amplamente utilizado para rastreamento de múltiplos objetos é o DeepSORT, abreviação de Deep Simple Online and Real-Time Tracking. É uma versão avançada do SORT, que significa Simple Online and Real-Time Tracking.

Semelhante ao ByteTrack, o SORT segue uma abordagem de rastreamento por detecção. No entanto, o SORT conta com um filtro de Kalman, um modelo matemático que estima a posição futura de um objeto com base em seu movimento passado, para prever para onde cada objeto provavelmente se moverá em seguida.

Ele então combina novas detecções com rastreamentos existentes, principalmente com base na posição e na sobreposição da caixa delimitadora. Isso torna o SORT rápido e leve, mas ele pode ter dificuldades quando objetos se sobrepõem, cruzam caminhos ou desaparecem brevemente da vista.

O DeepSORT melhora o SORT adicionando informações de aparência ao processo de rastreamento. Além do movimento e da posição, ele usa um modelo de reidentificação ou re-id baseado em aprendizado profundo que aprende como os objetos são. Isso permite que o rastreador reconheça o mesmo objeto entre quadros, mesmo quando o movimento não é suficiente para distingui-lo de outros.

Por causa disso, o DeepSORT é comumente usado em aplicações como vigilância e monitoramento de multidões, onde as pessoas frequentemente se sobrepõem ou ficam brevemente ocluídas. No entanto, ele é considerado uma linha de base clássica hoje, e métodos de rastreamento mais novos geralmente alcançam melhor desempenho em cenas mais desafiadoras.

Link to this section5. Norfair#

Norfair é uma biblioteca de rastreamento leve projetada para ser flexível, em vez de forçar você a um pipeline de rastreamento fixo. Ele pode adicionar rastreamento a quase qualquer detector, desde que as saídas do detector possam ser representadas como um conjunto de pontos, como centros de caixas delimitadoras, pontos-chave ou dados de coordenadas personalizados.

Fig 4. Rastreamento de objetos no mundo real usando Norfair (Fonte)

Essa flexibilidade o torna especialmente impactante para projetos que envolvem entradas incomuns ou padrões de movimento dinâmicos onde ferramentas padrão de rastreamento de múltiplos objetos podem falhar. A biblioteca também fornece funções de distância integradas para controlar como as detecções são correspondidas entre quadros.

Essas funções de distância medem quão semelhantes são dois pontos ou objetos, dando aos usuários controle total sobre a lógica de rastreamento. O Norfair é frequentemente usado em robótica, análise de movimento esportivo, navegação de drones e aplicações que dependem fortemente do rastreamento de marcos de pose ou pontos-chave.

Link to this section6. MMTracking#

MMTracking é uma caixa de ferramentas de rastreamento de código aberto da equipe OpenMMLab, que também está por trás de bibliotecas de visão computacional amplamente utilizadas, como o MMDetection. Construído sobre o MMDetection, ele fornece uma estrutura flexível para desenvolver e experimentar sistemas de rastreamento.

Um de seus maiores pontos fortes é seu design modular. Em vez de prender você a um único pipeline, o MMTracking permite que você configure e troque diferentes componentes, como detectores, módulos de rastreamento e, em algumas configurações, modelos de reidentificação. Devido a essa flexibilidade, ele é especialmente popular em pesquisas e projetos avançados onde as equipes desejam comparar métodos, testar novas ideias ou ajustar pipelines de rastreamento.

Link to this section7. FairMOT#

FairMOT é uma estrutura de rastreamento de múltiplos objetos projetada para rastrear muitos objetos ao mesmo tempo. Diferente dos pipelines tradicionais de rastreamento por detecção que executam a detecção primeiro e depois vinculam objetos entre quadros como uma etapa separada, o FairMOT aprende a detecção e a reidentificação juntas em uma única rede.

Fig 5. Como funciona a estrutura FairMOT (Fonte)

Essa configuração conjunta o ajuda a manter identidades mais consistentes, especialmente em cenas lotadas onde as pessoas frequentemente se sobrepõem ou se movem rapidamente. O FairMOT é comumente usado em cenários como rastreamento de pedestres e monitoramento de multidões, e também é aplicado em configurações como análise de varejo e monitoramento de tráfego, onde rastrear muitos alvos em tempo real é importante.

Link to this section8. SiamMask#

SiamMask é um método de rastreamento de objeto único que vai um passo além de muitos rastreadores ao produzir uma máscara de segmentação junto com uma caixa delimitadora. Simplificando, ele não desenha apenas um retângulo ao redor do alvo. Ele também delineia a forma do objeto no nível do pixel, o que pode ser útil quando o alvo muda de forma, gira ou fica parcialmente oculto.

Fig 6. Rastreando e segmentando um objeto usando SiamMask (Fonte)

Esta abordagem usa um design de rastreamento siamês, que envolve o rastreador primeiro tirando uma pequena visão de referência do alvo do primeiro quadro, muitas vezes chamado de modelo. Então, em cada novo quadro, ele busca uma região maior e encontra o local com a maior semelhança com esse modelo.

O SiamMask baseia-se nessa ideia de correspondência. Ele também prevê uma máscara de nível de pixel para o alvo, para que você obtenha tanto a localização do objeto quanto um contorno mais preciso à medida que o vídeo é reproduzido.

Link to this sectionPrincipais fatores na escolha de uma ferramenta de rastreamento de objetos#

Com várias opções de ferramentas de rastreamento de objetos de código aberto disponíveis no espaço de IA hoje, a melhor opção para seu projeto de visão computacional depende do que seu caso de uso específico exige. Aqui estão alguns fatores a serem considerados:

• Precisão: Isso é mais significativo em cenas lotadas ou visualmente complexas, onde o sistema de visão precisa manter IDs estáveis mesmo durante sobreposição, oclusão ou movimento rápido.
• Velocidade: Para aplicações em tempo real, como robótica, monitoramento de tráfego e análise esportiva, a capacidade de resposta pode importar mais do que a precisão perfeita.
• Facilidade de integração: Algumas ferramentas de rastreamento de objetos são fáceis de conectar e usar e funcionam com apenas algumas linhas de código, enquanto outras exigem mais configuração ou trabalho de pipeline personalizado.
• Restrições de implementação: O ambiente de destino, como servidores GPU, dispositivos de borda ou hardware móvel, pode determinar qual abordagem de rastreamento é prática.
• Escalabilidade: Se seu sistema precisa rastrear muitos objetos de uma vez ou processar vários fluxos de vídeo, o rastreador deve escalar eficientemente sem uma grande queda no desempenho.

Cada ferramenta ou algoritmo de rastreamento de objetos serve a um propósito diferente. Em última análise, a escolha certa depende de seus requisitos específicos, restrições de tempo de execução, métricas de desempenho e do quanto seu projeto exige que a abordagem de rastreamento seja personalizável.

Link to this sectionPrincipais pontos#

O rastreamento de objetos evoluiu de técnicas manuais iniciais para os sistemas de aprendizado profundo de última geração de hoje que interpretam movimento, identidade e comportamento com precisão impressionante. Ferramentas de código aberto têm sido uma força motriz por trás desse progresso. Elas democratizam o acesso a algoritmos poderosos, incentivam a experimentação e permitem que pesquisadores construam pipelines de rastreamento sofisticados sem licenciamento restritivo ou infraestrutura pesada.

Confira nossa comunidade e nosso repositório no GitHub para aprender mais sobre IA. Explore nossas páginas de soluções sobre IA na agricultura e visão computacional na manufatura. Descubra nossas opções de licenciamento e comece a construir seu próprio modelo de visão.