Entendendo o papel do FPS na visão computacional

Assistir a um replay em câmera lenta do teu momento esportivo favorito, onde cada detalhe é nítido, é muito diferente de assistir a uma gravação de vigilância que geralmente parece travada e difícil de seguir. O detalhe técnico fundamental por trás dessas diferenças é o FPS, ou Frames Per Second (quadros por segundo), que se refere ao número de quadros exibidos por segundo em um vídeo. Um FPS mais alto resulta em um movimento suave e realista, enquanto um FPS mais baixo pode levar a uma gravação travada e com menos detalhes.

Este conceito impacta diretamente a computer vision, um ramo da IA que permite às máquinas interpretar e analisar dados visuais de forma semelhante aos humanos. Em visão computacional, um FPS mais alto significa que os sistemas conseguem capturar mais informações a cada segundo, melhorando a precisão da detecção e rastreamento de objetos em tempo real.

Neste artigo, exploraremos os aspectos técnicos do FPS e como ele se relaciona com as aplicações de visão computacional. Vamos começar!

Link to this sectionO que o FPS significa em visão computacional?#

Digamos que estejas jogando um jogo de corrida: a 60 FPS, cada curva parece suave e responsiva, mas a 20 FPS, os controles têm atraso (lag), tornando mais difícil desviar de obstáculos. Simplificando, podes pensar no FPS como o número de fotos estáticas que são exibidas a cada segundo. Mais fotos por segundo tornam o movimento suave e natural, enquanto menos fotos podem deixá-lo com aparência entrecortada.

Assim como nos jogos, o FPS é uma parte essencial das computer vision applications. Um FPS mais alto possibilita o rastreamento de objetos usando Vision AI de forma suave, enquanto um FPS mais baixo pode resultar na perda de detalhes.

Por exemplo, em análise esportiva, AI-powered cameras precisam de um FPS mais alto para conseguir rastrear passes rápidos, movimentos dos jogadores e trajetórias da bola. Um FPS mais baixo pode levar à perda de um contato importante do pé com a bola ou de uma mudança rápida de direção, impactando a precisão da análise.

Da mesma forma, no monitoramento de tráfego, os sistemas dependem de um FPS alto para detectar veículos em excesso de velocidade e mudanças de faixa em tempo real. Escolher o FPS certo depende dos requisitos específicos de cada aplicação de visão computacional, equilibrando desempenho, eficiência e clareza visual.

Fig 1. Comparando diferentes taxas de quadros.

Link to this sectionAspectos técnicos do FPS em visão computacional#

Agora que discutimos o que é FPS e como ele é usado em visão computacional, vamos mergulhar em seus aspectos técnicos - começando por como calcular o FPS de um vídeo.

Dividir o número total de quadros pela duração em segundos te dá o FPS de um vídeo. Por exemplo, se um vídeo tem 96 quadros ao longo de 4 segundos, o cálculo resulta em 24 FPS - o que significa que 24 imagens são exibidas a cada segundo - enquanto 32 quadros em 4 segundos resultam em 8 FPS. Bibliotecas Python como o OpenCV podem ser usadas para extrair metadados de vídeo, contar quadros e calcular automaticamente o FPS, otimizando o processo de análise de vídeo.

Fig 2. 24 FPS vs 8 FPS vs 4 FPS.

Link to this sectionFatores que afetam o FPS de um vídeo#

No entanto, calcular o FPS sozinho não é suficiente para tomar decisões técnicas ao desenvolver computer vision solutions. Também é importante considerar os vários fatores que podem afetar a taxa de quadros efetiva, como recursos de hardware, otimizações de software e condições ambientais.

Aqui está uma análise mais detalhada desses fatores:

• Hardware capabilities: A qualidade do sensor da câmera e o poder de processamento do dispositivo podem determinar quantos quadros são capturados a cada segundo. Um hardware melhor geralmente significa suporte para um FPS mais alto e vídeos mais fluidos.
• Software optimizations: Softwares eficientes de codificação e processamento de vídeo ajudam a extrair e analisar quadros rapidamente. Isso garante que o vídeo seja processado sem atrasos desnecessários.
• Environmental conditions: A iluminação e o movimento em uma cena afetam a clareza com que os quadros são capturados. Boa iluminação e movimento moderado podem melhorar o FPS, enquanto condições ruins podem exigir um FPS mais alto para manter a clareza.
• Storage needs: Um FPS mais alto captura mais quadros por segundo, o que resulta em tamanhos de arquivo maiores. Isso aumenta os requisitos de armazenamento e exige um processamento de dados mais rápido para garantir uma reprodução suave.

Link to this sectionExplorando o FPS em aplicações de visão computacional#

Modelos de IA como o Ultralytics YOLO11 que suportam computer vision tasks em tempo real podem ser usados para analisar vídeos com altas taxas de quadros. Essa capacidade de tempo real é fundamental para aplicações como condução autônoma, vigilância e robótica, onde até pequenos atrasos podem levar a erros significativos.

Vamos percorrer algumas aplicações reais de Vision AI onde um FPS alto é essencial para a precisão e o desempenho.

Link to this sectionUma taxa de quadros mais alta para soluções de vigilância e segurança#

Sistemas de vigilância que monitoram áreas de alto tráfego, como rodovias, usam um FPS alto para capturar detalhes minuciosos, garantindo que veículos em alta velocidade sejam documentados claramente. Essa clareza é essencial para sistemas de automatic number plate recognition (ANPR), que dependem de filmagens de boa qualidade para identificar veículos com precisão.

Nesses sistemas, modelos como o YOLO11 podem ser usados para detectar placas de veículos diretamente do feed de vídeo. Uma vez detectada uma placa, o OCR (Optical Character Recognition), que converte imagens de texto em caracteres legíveis por máquina, é usado para ler os detalhes da placa. Esse processo permite uma identificação rápida e precisa de veículos, aumentando a fiscalização de trânsito e a segurança geral.

Fig 3. Usando YOLO11 para detectar placas de veículos.

Link to this sectionCompreendendo os requisitos de FPS para sistemas autônomos#

Considera um self-driving car em um sinal de parada, analisando cuidadosamente seus arredores para decidir se pode prosseguir com segurança. Este carro deve tomar decisões quase instantâneas, o que exige capturar e processar dados visuais em tempo real.

Se o veículo autônomo estiver equipado com câmeras que podem capturar imagens a um FPS mais alto, ele recebe um fluxo de imagens mais contínuo e detalhado. Essa entrada visual aprimorada permite que o carro detecte rapidamente obstáculos, pedestres e outros veículos. Isso torna possível que o veículo reaja prontamente a quaisquer mudanças em seu ambiente.

Se as câmeras estivessem processando imagens a um FPS mais baixo, o veículo poderia receber uma visão mais travada e menos detalhada. Isso poderia atrasar seu tempo de resposta, aumentando o risco de perder informações críticas e potencialmente comprometendo a segurança.

Link to this sectionA conexão entre FPS e análise esportiva#

Capturar cada movimento com precisão é crucial nos esportes, onde decisões tomadas em frações de segundo podem ser a diferença entre ganhar e perder. A tecnologia que suporta um FPS mais alto nos permite registrar cada pequeno detalhe em movimento, e treinadores, analistas e atletas podem revisar jogadas em câmera lenta sem perder nada. Isso também ajuda os árbitros a tomarem decisões mais precisas em esportes como tênis, futebol e críquete, fornecendo uma visão clara, quadro a quadro, da ação.

Por exemplo, um estudo interessante sobre vôlei analisou como o uso de um higher FPS melhora a avaliação de desempenho. Aumentar o FPS de 30 para 240 melhorou significativamente a clareza do movimento e o rastreamento de objetos. A precisão da análise de saque também melhorou, ajudando os treinadores a entenderem o posicionamento das mãos, pontos de contato com a bola e a mecânica do salto com mais precisão. Além disso, o estudo descobriu que um FPS mais alto reduziu o desfoque de movimento (motion blur), tornando saques e reações defensivas mais fáceis de analisar.

Fig 4. Comparando FPS baixo e alto com relação à clareza do movimento.

Link to this sectionQuando usar um FPS baixo é eficaz em análise de vídeo#

Nem todas as aplicações de visão computacional exigem gravar filmagens a um FPS mais alto. Em muitos casos, um FPS mais baixo é suficiente para obter resultados precisos, dependendo da tarefa. Aqui estão algumas áreas principais onde um FPS mais baixo é preferível:

• Offline post-processing and analysis: Para aplicações como monitoramento de tráfego e análise de multidões, capturar cada quadro a um FPS alto nem sempre é necessário. Um FPS mais baixo ainda pode fornecer dados suficientes para analisar padrões de movimento, como fluxo de veículos, densidade de pedestres e tendências de congestionamento. Ao reduzir quadros redundantes, essa abordagem minimiza os requisitos de armazenamento e a carga computacional, mantendo uma análise precisa.
• Time-lapse environmental monitoring: Para rastrear mudanças lentas como crescimento de plantas, progresso de construção ou movimento de geleiras, capturar um quadro a cada poucos minutos ou uma vez por dia é suficiente, documentando efetivamente transformações de longo prazo enquanto economiza armazenamento.
• Resource-constrained environments: Em monitoramento da vida selvagem e segurança remota, um FPS mais baixo ajuda a conservar a vida útil da bateria e o armazenamento. Câmeras acionadas por movimento operando a 5–10 FPS podem capturar eventos essenciais por longos períodos, tornando-as ideais para instalações fora da rede elétrica.

Link to this sectionEscolhendo o FPS certo para aplicações de deep learning#

Selecionar o FPS ideal exige equilibrar o desempenho com as limitações do sistema. Aqui estão algumas considerações a ter em mente ao otimizar o FPS para aplicações de deep learning:

• Balancing performance and resources: Um FPS mais alto melhora a capacidade de resposta, mas também aumenta as demandas de energia e processamento. Ajustar o FPS dinamicamente, usar interpolação de quadros e otimizar o hardware pode ajudar a manter um desempenho suave sem sobrecarregar o sistema.
• Application-specific needs: Diferentes aplicações têm diferentes requisitos de FPS. Dispositivos alimentados por bateria devem usar um FPS mais baixo para conservar energia, enquanto sistemas de tempo real, como drones e veículos autônomos, precisam de um FPS mais alto para respostas rápidas e precisas.
• Testing and optimization: As configurações de FPS devem, idealmente, ser testadas sob diferentes condições de iluminação e movimento. Avaliar a latência e comparar níveis de FPS lado a lado ajuda a determinar o melhor equilíbrio entre capacidade de resposta, qualidade visual e eficiência de recursos.

Link to this sectionInovações futuras e otimização de FPS para modelos de IA#

Avanços em IA e otimização de hardware estão tornando taxas de quadros mais altas mais alcançáveis, mesmo em ambientes com recursos limitados. Por exemplo, setores como cinema, esportes e robótica podem se beneficiar de um gerenciamento de taxa de quadros mais inteligente, onde os sistemas ajustam dinamicamente o FPS com base na complexidade do movimento e no poder de processamento. A interpolação de quadros impulsionada por IA também melhora a suavidade do vídeo gerando quadros adicionais em tempo real.

Enquanto isso, um avanço recente da NVIDIA está elevando ainda mais o desempenho de FPS. O DLSS 4 (Deep Learning Super Sampling) introduz a geração de múltiplos quadros, que usa IA para prever e criar quadros extras. Isso aumenta as taxas de quadros em até 8 vezes enquanto reduz a carga de trabalho no sistema.

Ao permitir que a IA lide com parte da renderização, o DLSS 4 torna os visuais mais suaves sem sobrecarregar o hardware, melhorando tanto o desempenho quanto a eficiência.

Link to this sectionPrincipais pontos#

O FPS é mais do que apenas uma medida de visuais suaves; ele impulsiona a tomada de decisão em tempo real em IA e visão computacional. Cada quadro em um vídeo captura dados críticos, permitindo que as máquinas rastreiem objetos, analisem movimentos e respondam a ambientes dinâmicos. Seja para carros autônomos evitando obstáculos ou sistemas de vigilância detectando ameaças instantaneamente, o FPS certo garante precisão e eficiência.

O futuro do FPS não trata apenas de aumentar as taxas de quadros, mas também de otimizá-las de forma inteligente. Essa evolução tornará os sistemas de visão computacional mais rápidos, inovadores e eficientes em termos de recursos em vários setores.

Queres saber mais sobre IA? Explora o nosso GitHub repository e junta-te à nossa comunidade. Pronto para começar os teus próprios projetos de visão computacional? Confere as nossas licensing options. Aprende como a computer vision in healthcare está melhorando a eficiência e explora o impacto da AI in manufacturing visitando as nossas páginas de soluções!