A visão computacional torna o rastreamento de movimento mais fiável

Quando você assiste a uma peça de teatro e seu ator favorito se move pelo palco, seus olhos conseguem acompanhá-lo com pouco esforço consciente. Para os humanos, esse tipo de rastreamento de movimento parece natural. Seu cérebro conecta automaticamente o que você vê de um momento para o outro, preenchendo lacunas e mantendo uma sensação de continuidade à medida que a cena muda.

Quando se trata de máquinas, a mesma tarefa é muito mais complexa. Uma câmera captura um vídeo como uma sequência de quadros individuais, e um sistema deve identificar repetidamente o mesmo objeto passo a passo para estimar para onde ele se moveu e decidir se ele ainda é o objeto a ser seguido.

Este desafio está no centro do motion tracking. O rastreamento de movimento envolve seguir um objeto através de um vídeo ao longo do tempo, e ele desempenha um papel importante em áreas como análise esportiva, robótica e aplicativos móveis.

O rastreamento tradicional de movimento e de câmera geralmente depende de configuração manual, pontos de rastreamento e quadros-chave. Pode funcionar em cenas simples, mas rapidamente se torna lento e não confiável quando o movimento é rápido ou está parcialmente bloqueado.

Fig 1. Uma olhada em um sistema de rastreamento de movimento (Source)

Avanços recentes em computer vision tornam isso muito mais fácil. A visão computacional é um ramo da IA que ajuda as máquinas a entender imagens e vídeos, tornando o rastreamento de movimento mais preciso e menos dependente de trabalho manual. Ao detectar objetos em cada quadro e manter sua identidade consistente ao longo do tempo, esses sistemas rastreiam o movimento de forma mais confiável em condições do mundo real.

Neste artigo, exploraremos como a visão computacional pode tornar o rastreamento de movimento mais otimizado. Vamos começar!

Métodos tradicionais de captura e rastreamento de movimento e suas limitações#

O rastreamento de movimento tradicional geralmente requer uma configuração manual cuidadosa, especialmente em fluxos de trabalho de edição de vídeo e VFX, onde o objetivo é anexar gráficos, efeitos ou sobreposições a elementos móveis na filmagem.

Muitos fluxos de trabalho começam colocando pontos de rastreamento em partes específicas de uma cena, e então o software os segue através dos quadros para mapear o caminho do movimento. Isso é comum em ferramentas como After Effects, e fluxos de trabalho semelhantes aparecem no Premiere Pro através de recursos como rastreamento de máscara, onde os editores rastreiam uma máscara ou região ao longo do tempo.

O match moving é outro método comum. Ele ajuda a alinhar elementos digitais com o movimento real da câmera para que os efeitos ou gráficos permaneçam no lugar dentro de uma cena ao vivo. Essas abordagens podem funcionar bem para cenas mais simples, mas muitas vezes têm dificuldades quando a filmagem fica lotada ou quando os objetos se movem rapidamente.

O rastreamento também pode falhar quando a iluminação muda ou quando os sujeitos são bloqueados parcialmente, o que pode causar desvio ou saltos repentinos no rastreamento. Isso retarda o fluxo de trabalho e força os editores a refazer partes da cena. Quando os objetos mudam de direção rapidamente, rastreadores de movimento mais antigos podem ter dificuldade em acompanhar, tornando os resultados inconsistentes e mais difíceis de confiar.

Como a visão computacional transforma o rastreamento de movimento#

Sistemas de visão computacional de ponta usam modelos de IA para seguir objetos em movimento através de um vídeo. Em vez de depender de ajustes manuais constantes ou rastreamento quadro a quadro frágil, o modelo aprende como um objeto se parece e como ele tende a se mover. Isso ajuda o rastreamento de movimento a permanecer estável mesmo quando as cenas ficam movimentadas, a iluminação muda ou os objetos desaparecem brevemente.

Por exemplo, modelos de visão computacional como Ultralytics YOLO11 e o próximo Ultralytics YOLO26 suportam o rastreamento de objetos detectando objetos em cada quadro. Em termos simples, eles identificam o que está no quadro e onde está, gerando caixas delimitadoras e pontuações de confiança para cada objeto detectado.

Fig 2. Rastreamento de veículos usando Ultralytics YOLO11 dentro de uma zona (Source)

Curiosamente, os modelos YOLO não rastreiam objetos ao longo do tempo por conta própria. Em vez disso, o rastreamento é habilitado através do Ultralytics Python package, que conecta detecções do YOLO com algoritmos de rastreamento de múltiplos objetos, como ByteTrack e BoT-SORT. Nesta configuração, o YOLO detecta objetos quadro a quadro, e o rastreador vincula essas detecções entre os quadros para manter um ID consistente para cada objeto à medida que ele se move.

Aplicações reais do rastreamento de movimento baseado em IA#

A seguir, vamos dar uma olhada mais de perto em algumas aplicações do mundo real onde o rastreamento de movimento baseado em IA está causando impacto.

Análise esportiva e rastreamento preciso de jogadores#

Em uma soccer match, os jogadores estão constantemente acelerando, parando e mudando de direção, o que dificulta a medição precisa do movimento em campo. O rastreamento manual geralmente falha nesses momentos, especialmente quando os jogadores se sobrepõem, se aglomeram ou se movem por áreas lotadas.

O rastreamento de movimento impulsionado por IA ajuda ao acompanhar cada jogador através da ação e manter seus caminhos de movimento claros e consistentes. Por exemplo, em um estudo recente, pesquisadores usaram YOLO11 to detect players e a bola de múltiplos ângulos de câmera. O YOLO11 identificou cada jogador em cada quadro, enquanto um sistema de rastreamento vinculava essas detecções ao longo do tempo para manter a identidade de cada jogador consistente à medida que eles se moviam.

Fig 3. Detectando e rastreando múltiplos jogadores de futebol (Source)

Rastreamento de movimento em realidade aumentada e realidade virtual#

Augmented reality (AR) é o que torna possível para os aplicativos posicionarem objetos digitais no mundo real, como uma etiqueta em um produto, um personagem no chão ou uma sobreposição no seu pé conforme você se move. Para que essas experiências pareçam convincentes, o conteúdo virtual precisa permanecer ancorado no lugar certo enquanto você caminha, inclina seu telefone ou move o próprio objeto.

A visão computacional desempenha um papel fundamental aqui porque ajuda um dispositivo móvel a entender o que está vendo e como a câmera está se movendo pela cena. Em outras palavras, ela permite o rastreamento 3D estimando onde um objeto está no espaço e como ele está orientado, e então atualizando essa posição à medida que o usuário se move.

Fig 4. Um exemplo de rastreamento 3D dentro de um aplicativo de AR (Source)

A realidade virtual (VR) depende de ideias de rastreamento semelhantes, mas o objetivo é diferente. Em vez de ancorar o conteúdo digital ao mundo real, a VR se concentra em rastrear sua cabeça e mãos para que o mundo virtual responda naturalmente à medida que você se move.

Rastreamento de equipamentos móveis e automação de processos#

Ambientes industriais geralmente possuem equipamentos e produtos movendo-se por várias etapas de um fluxo de trabalho. Cada etapa depende de tempo e coordenação precisos. O rastreamento manual pode ficar para trás porque os itens se movem em velocidades diferentes, sobrepõem-se uns aos outros ou mudam de posição rapidamente.

O rastreamento de movimento impulsionado por IA ajuda ao dar aos sistemas de produção uma visão mais clara de cada objeto conforme ele se move pela linha. Em um estudo interessante, uma rede de câmeras conectadas rastreou produtos ao longo de todo um production cycle e atualizou um gêmeo digital, uma cópia virtual do processo real, em tempo real.

O sistema identificou cada produto, rastreou seu movimento e manteve o modelo digital alinhado com o que estava acontecendo no chão de fábrica. Essa abordagem melhorou o monitoramento e apoiou uma operação mais segura, fornecendo aos operadores uma visão confiável em cada estágio. Ela também mostrou como o rastreamento de movimento pode permitir uma automação mais flexível e scalable automation quando dados de rastreamento consistentes estão disponíveis.

Prós e contras do rastreamento de movimento baseado em IA#

Aqui estão algumas vantagens de usar o rastreamento de movimento baseado em IA:

• Recuperação aprimorada de oclusão: sistemas de IA de visão muitas vezes conseguem manter ou recuperar rastreamentos quando objetos se sobrepõem ou desaparecem brevemente.
• Scalability: Uma vez implantados, os rastreadores de IA podem processar clipes de vídeo longos e múltiplas fontes de câmera sem a necessidade de configuração repetida por tomada.
• Dados de movimento mais ricos: As saídas de rastreamento podem ser usadas para medir caminhos, contagens, tempo de permanência e estimativas básicas de velocidade para análises.

O rastreamento baseado em IA funciona bem em muitos casos, mas não é plug-and-play em todas as configurações. Aqui estão algumas limitações a serem consideradas:

• Manutenção contínua: O desempenho pode mudar ao longo do tempo à medida que os ângulos das câmeras, ambientes ou cargas de trabalho mudam, portanto, atualizações periódicas são frequentemente necessárias.
• Complexidade de integração: Conectar rastreadores a editores de vídeo, análises ou sistemas de automação existentes pode exigir adaptadores, calibração e testes adicionais.
• Casos extremos em condições difíceis: Baixa luminosidade, desfoque de movimento, oclusão intensa e objetos muito pequenos ainda podem causar erros de rastreamento.

Principais pontos#

Os recursos de rastreamento de movimento impulsionados por IA estão se tornando rapidamente a escolha mais prática para vídeos do mundo real, onde o movimento é rápido, as cenas são lotadas e as correções manuais não escalam. A visão computacional está melhorando rapidamente, e isso está tornando os sistemas de rastreamento mais fáceis de implementar e mais confiáveis em condições desafiadoras. Como resultado, o rastreamento de movimento está se tornando mais útil na robótica, em aplicativos móveis, em análises e na criação de conteúdo.

Junta-te a our community e explora as mais recentes novidades em visão IA no nosso GitHub repository. Visita as nossas páginas de soluções para saber como aplicações como AI in manufacturing e computer vision in healthcare estão a impulsionar o progresso, e confere as nossas licensing options para potenciar a tua próxima solução de IA.