A visão computacional torna o rastreamento de movimento mais fiável

Quando você assiste a uma peça de teatro e seu ator favorito se move pelo palco, seus olhos conseguem acompanhá-lo com pouco esforço consciente. Para os humanos, esse tipo de rastreamento de movimento parece natural. Seu cérebro conecta automaticamente o que você vê de um momento para o outro, preenchendo lacunas e mantendo uma sensação de continuidade à medida que a cena muda.

Quando se trata de máquinas, a mesma tarefa é muito mais complexa. Uma câmera captura um vídeo como uma sequência de quadros individuais, e um sistema deve identificar repetidamente o mesmo objeto passo a passo para estimar para onde ele se moveu e decidir se ele ainda é o objeto a ser seguido.

Este desafio está no centro do rastreamento de movimento. O rastreamento de movimento envolve seguir um objeto através de um vídeo ao longo do tempo, e desempenha um papel importante em áreas como análise esportiva, robótica e aplicações móveis.

O rastreamento tradicional de movimento e de câmera geralmente depende de configuração manual, pontos de rastreamento e quadros-chave. Pode funcionar em cenas simples, mas rapidamente se torna lento e não confiável quando o movimento é rápido ou está parcialmente bloqueado.

Fig 1. Uma visão de um sistema de rastreamento de movimento (Fonte)

Avanços recentes em visão computacional tornam isso muito mais fácil. A visão computacional é um ramo da IA que ajuda as máquinas a entenderem imagens e vídeos, tornando o rastreamento de movimento mais preciso e menos dependente de trabalho manual. Ao detectar objetos em cada quadro e manter sua identidade consistente ao longo do tempo, esses sistemas rastreiam o movimento de forma mais confiável em condições do mundo real.

Neste artigo, exploraremos como a visão computacional pode tornar o rastreamento de movimento mais otimizado. Vamos começar!

Link to this sectionMétodos tradicionais de captura e rastreamento de movimento e suas limitações#

O rastreamento de movimento tradicional geralmente requer uma configuração manual cuidadosa, especialmente em fluxos de trabalho de edição de vídeo e VFX, onde o objetivo é anexar gráficos, efeitos ou sobreposições a elementos móveis na filmagem.

Muitos fluxos de trabalho começam colocando pontos de rastreamento em partes específicas de uma cena, e então o software os segue através dos quadros para mapear o caminho do movimento. Isso é comum em ferramentas como After Effects, e fluxos de trabalho semelhantes aparecem no Premiere Pro através de recursos como rastreamento de máscara, onde os editores rastreiam uma máscara ou região ao longo do tempo.

O match moving é outro método comum. Ele ajuda a alinhar elementos digitais com o movimento real da câmera para que os efeitos ou gráficos permaneçam no lugar dentro de uma cena ao vivo. Essas abordagens podem funcionar bem para cenas mais simples, mas muitas vezes têm dificuldades quando a filmagem fica lotada ou quando os objetos se movem rapidamente.

O rastreamento também pode falhar quando a iluminação muda ou quando os sujeitos são bloqueados parcialmente, o que pode causar desvio ou saltos repentinos no rastreamento. Isso retarda o fluxo de trabalho e força os editores a refazer partes da cena. Quando os objetos mudam de direção rapidamente, rastreadores de movimento mais antigos podem ter dificuldade em acompanhar, tornando os resultados inconsistentes e mais difíceis de confiar.

Link to this sectionComo a visão computacional transforma o rastreamento de movimento#

Sistemas de visão computacional de ponta usam modelos de IA para seguir objetos em movimento através de um vídeo. Em vez de depender de ajustes manuais constantes ou rastreamento quadro a quadro frágil, o modelo aprende como um objeto se parece e como ele tende a se mover. Isso ajuda o rastreamento de movimento a permanecer estável mesmo quando as cenas ficam movimentadas, a iluminação muda ou os objetos desaparecem brevemente.

Por exemplo, modelos de visão computacional como o Ultralytics YOLO11 e o futuro Ultralytics YOLO26 suportam o rastreamento de objetos detectando-os em cada quadro. Em termos simples, eles identificam o que está no quadro e onde está, gerando caixas delimitadoras e pontuações de confiança para cada objeto detectado.

Fig 2. Rastreando veículos usando Ultralytics YOLO11 dentro de uma zona (Fonte)

Curiosamente, os modelos YOLO não rastreiam objetos ao longo do tempo por conta própria. Em vez disso, o rastreamento é ativado através do pacote Python da Ultralytics, que conecta as detecções YOLO com algoritmos de rastreamento de múltiplos objetos, como ByteTrack e BoT-SORT. Nesta configuração, o YOLO detecta objetos quadro a quadro, e o rastreador vincula essas detecções entre os quadros para manter um ID consistente para cada objeto à medida que ele se move.

Link to this sectionAplicações reais do rastreamento de movimento baseado em IA#

A seguir, vamos dar uma olhada mais de perto em algumas aplicações do mundo real onde o rastreamento de movimento baseado em IA está causando impacto.

Link to this sectionAnálise esportiva e rastreamento preciso de jogadores#

Em uma partida de futebol, os jogadores estão constantemente acelerando, parando e mudando de direção, o que torna difícil medir o movimento com precisão em todo o campo. O rastreamento manual muitas vezes falha nesses momentos, especialmente quando os jogadores se sobrepõem, se agrupam ou se movem por áreas lotadas.

O rastreamento de movimento baseado em IA ajuda ao seguir cada jogador durante a ação e manter seus caminhos de movimento claros e consistentes. Por exemplo, em um estudo recente, pesquisadores usaram o YOLO11 para detectar jogadores e a bola de múltiplos ângulos de câmera. O YOLO11 identificou cada jogador em cada quadro, enquanto um sistema de rastreamento vinculou essas detecções ao longo do tempo para manter a identidade de cada jogador consistente à medida que se moviam.

Fig 3. Detectando e rastreando múltiplos jogadores de futebol (Fonte)

Link to this sectionRastreamento de movimento em realidade aumentada e realidade virtual#

A realidade aumentada (AR) é o que torna possível para aplicativos colocarem objetos digitais no mundo real, como uma etiqueta em um produto, um personagem no chão ou uma sobreposição no seu pé enquanto você se move. Para que essas experiências pareçam críveis, o conteúdo virtual precisa permanecer ancorado no lugar certo enquanto você caminha, inclina seu telefone ou move o próprio objeto.

A visão computacional desempenha um papel fundamental aqui porque ajuda um dispositivo móvel a entender o que está vendo e como a câmera está se movendo pela cena. Em outras palavras, ela permite o rastreamento 3D estimando onde um objeto está no espaço e como ele está orientado, e então atualizando essa posição à medida que o usuário se move.

Fig 4. Um exemplo de rastreamento 3D dentro de uma aplicação de AR (Fonte)

A realidade virtual (VR) depende de ideias de rastreamento semelhantes, mas o objetivo é diferente. Em vez de ancorar o conteúdo digital ao mundo real, a VR se concentra em rastrear sua cabeça e mãos para que o mundo virtual responda naturalmente à medida que você se move.

Link to this sectionRastreamento de equipamentos móveis e automação de processos#

Ambientes industriais geralmente possuem equipamentos e produtos movendo-se por várias etapas de um fluxo de trabalho. Cada etapa depende de tempo e coordenação precisos. O rastreamento manual pode ficar para trás porque os itens se movem em velocidades diferentes, sobrepõem-se uns aos outros ou mudam de posição rapidamente.

O rastreamento de movimento baseado em IA ajuda dando aos sistemas de produção uma visão mais clara de cada objeto à medida que ele se move pela linha. Em um estudo interessante, uma rede de câmeras conectadas rastreou produtos em todo um ciclo de produção e atualizou um gêmeo digital, uma cópia virtual do processo real, em tempo real.

O sistema identificou cada produto, rastreou seu movimento e manteve o modelo digital alinhado com o que estava acontecendo no chão de fábrica. Essa abordagem melhorou o monitoramento e apoiou uma operação mais segura, dando aos operadores uma visão confiável em cada etapa. Também mostrou como o rastreamento de movimento pode permitir uma automação mais flexível e escalável quando dados de rastreamento consistentes estão disponíveis.

Link to this sectionPrós e contras do rastreamento de movimento baseado em IA#

Aqui estão algumas vantagens de usar o rastreamento de movimento baseado em IA:

• Recuperação aprimorada de oclusão: sistemas de IA de visão muitas vezes conseguem manter ou recuperar rastreamentos quando objetos se sobrepõem ou desaparecem brevemente.
• Escalabilidade: Uma vez implantados, os rastreadores de IA podem processar longos clipes de vídeo e múltiplos feeds de câmera sem a necessidade de configuração repetida por cena.
• Dados de movimento mais ricos: As saídas de rastreamento podem ser usadas para medir caminhos, contagens, tempo de permanência e estimativas básicas de velocidade para análises.

O rastreamento baseado em IA funciona bem em muitos casos, mas não é plug-and-play em todas as configurações. Aqui estão algumas limitações a serem consideradas:

• Manutenção contínua: O desempenho pode mudar ao longo do tempo à medida que os ângulos das câmeras, ambientes ou cargas de trabalho mudam, portanto, atualizações periódicas são frequentemente necessárias.
• Complexidade de integração: Conectar rastreadores a editores de vídeo, análises ou sistemas de automação existentes pode exigir adaptadores, calibração e testes adicionais.
• Casos extremos em condições difíceis: Baixa luminosidade, desfoque de movimento, oclusão intensa e objetos muito pequenos ainda podem causar erros de rastreamento.

Link to this sectionPrincipais pontos#

Os recursos de rastreamento de movimento impulsionados por IA estão se tornando rapidamente a escolha mais prática para vídeos do mundo real, onde o movimento é rápido, as cenas são lotadas e as correções manuais não escalam. A visão computacional está melhorando rapidamente, e isso está tornando os sistemas de rastreamento mais fáceis de implementar e mais confiáveis em condições desafiadoras. Como resultado, o rastreamento de movimento está se tornando mais útil na robótica, em aplicativos móveis, em análises e na criação de conteúdo.

Junte-se à nossa comunidade e explore o que há de mais recente em IA de visão em nosso repositório no GitHub. Visite nossas páginas de soluções para saber como aplicações como IA na fabricação e visão computacional na saúde estão impulsionando o progresso, e confira nossas opções de licenciamento para impulsionar sua próxima solução de IA.