Entendendo o papel do FPS na visão computacional

Assistir a um replay em câmera lenta do teu momento esportivo favorito, onde cada detalhe é nítido, é muito diferente de assistir a uma gravação de vigilância que geralmente parece travada e difícil de seguir. O detalhe técnico fundamental por trás dessas diferenças é o FPS, ou Frames Per Second (quadros por segundo), que se refere ao número de quadros exibidos por segundo em um vídeo. Um FPS mais alto resulta em um movimento suave e realista, enquanto um FPS mais baixo pode levar a uma gravação travada e com menos detalhes.

Este conceito impacta diretamente a computer vision, um ramo da inteligência artificial que permite às máquinas interpretar e analisar dados visuais de forma semelhante à humana. Na visão computacional, um FPS mais alto significa que os sistemas conseguem capturar mais informações a cada segundo, melhorando a precisão da detecção e do rastreamento de objetos em tempo real.

Neste artigo, exploraremos os aspectos técnicos do FPS e como ele se relaciona com as aplicações de visão computacional. Vamos começar!

O que o FPS significa em visão computacional?#

Digamos que estejas jogando um jogo de corrida: a 60 FPS, cada curva parece suave e responsiva, mas a 20 FPS, os controles têm atraso (lag), tornando mais difícil desviar de obstáculos. Simplificando, podes pensar no FPS como o número de fotos estáticas que são exibidas a cada segundo. Mais fotos por segundo tornam o movimento suave e natural, enquanto menos fotos podem deixá-lo com aparência entrecortada.

Assim como nos jogos, o FPS é uma parte fundamental das computer vision applications. Um FPS mais alto torna possível rastrear objetos usando Vision AI de forma fluida, enquanto um FPS mais baixo pode resultar na perda de detalhes.

Por exemplo, em análises esportivas, as AI-powered cameras precisam de um FPS mais alto para conseguir rastrear passes rápidos, movimentos de jogadores e trajetórias de bola. Um FPS mais baixo pode levar à perda de um contato importante entre o pé e a bola ou de uma mudança rápida de direção, impactando a precisão da análise.

Da mesma forma, no monitoramento de tráfego, os sistemas dependem de um FPS alto para detectar veículos em excesso de velocidade e mudanças de faixa em tempo real. Escolher o FPS certo depende dos requisitos específicos de cada aplicação de visão computacional, equilibrando desempenho, eficiência e clareza visual.

Fig 1. Comparando diferentes taxas de quadros.

Aspectos técnicos do FPS em visão computacional#

Agora que discutimos o que é FPS e como ele é usado em visão computacional, vamos mergulhar em seus aspectos técnicos - começando por como calcular o FPS de um vídeo.

Dividir o número total de quadros pela duração em segundos dá a ti o FPS de um vídeo. Por exemplo, se um vídeo tem 96 quadros em 4 segundos, o cálculo resulta em 24 FPS — o que significa que 24 imagens são exibidas a cada segundo —, enquanto 32 quadros em 4 segundos resultam em 8 FPS. Bibliotecas Python como o OpenCV podem ser usadas para extrair metadados de vídeo, contar quadros e calcular o FPS automaticamente, simplificando o processo de análise de vídeo.

Fig 2. 24 FPS vs 8 FPS vs 4 FPS.

Fatores que afetam o FPS de um vídeo#

No entanto, calcular apenas o FPS não é suficiente para tomar decisões técnicas ao desenvolver computer vision solutions. Também é importante considerar os vários fatores que podem afetar a taxa de quadros efetiva, como capacidades de hardware, otimizações de software e condições ambientais.

Aqui está uma análise mais detalhada desses fatores:

• Hardware capabilities: A qualidade do sensor da câmera e o poder de processamento do dispositivo podem determinar quantos quadros são capturados a cada segundo. Um hardware melhor geralmente significa suporte para um FPS mais alto e vídeos mais fluidos.
• Software optimizations: Softwares eficientes de codificação e processamento de vídeo ajudam a extrair e analisar quadros rapidamente. Isso garante que o vídeo seja processado sem atrasos desnecessários.
• Environmental conditions: A iluminação e o movimento em uma cena afetam a clareza com que os quadros são capturados. Boa iluminação e movimento moderado podem melhorar o FPS, enquanto condições ruins podem exigir um FPS mais alto para manter a clareza.
• Storage needs: Um FPS mais alto captura mais quadros por segundo, o que resulta em tamanhos de arquivo maiores. Isso aumenta os requisitos de armazenamento e exige um processamento de dados mais rápido para garantir uma reprodução suave.

Explorando o FPS em aplicações de visão computacional#

Modelos de IA como o Ultralytics YOLO11 que suportam computer vision tasks em tempo real podem ser usados para analisar vídeos com altas taxas de quadros. Essa capacidade em tempo real é crítica para aplicações como direção autônoma, vigilância e robótica, onde até pequenos atrasos podem levar a erros significativos.

Vamos percorrer algumas aplicações reais de Vision AI onde um FPS alto é essencial para a precisão e o desempenho.

Uma taxa de quadros mais alta para soluções de vigilância e segurança#

Sistemas de vigilância que monitoram áreas de alto tráfego, como rodovias, usam um FPS alto para capturar detalhes minuciosos, garantindo que veículos em alta velocidade sejam documentados com clareza. Essa nitidez é essencial para sistemas de automatic number plate recognition (ANPR), que dependem de imagens de boa qualidade para identificar veículos com precisão.

Nesses sistemas, modelos como o Ultralytics YOLO11 podem ser usados para detectar placas de veículos diretamente do feed de vídeo. Assim que uma placa é detectada, o Reconhecimento Óptico de Caracteres (OCR), que converte imagens de texto em caracteres legíveis por máquina, é usado para ler os detalhes da placa. Esse processo permite uma identificação de veículos rápida e precisa, aprimorando a fiscalização de trânsito e a segurança geral.

Fig 3. Usando o YOLO11 para detectar placas de veículos.

Compreendendo os requisitos de FPS para sistemas autônomos#

Considera um self-driving car em um sinal de parada, analisando cuidadosamente os arredores para decidir se pode prosseguir com segurança. Este carro precisa tomar decisões quase instantâneas, o que exige capturar e processar dados visuais em tempo real.

Se o veículo autônomo estiver equipado com câmeras que podem capturar imagens a um FPS mais alto, ele recebe um fluxo de imagens mais contínuo e detalhado. Essa entrada visual aprimorada permite que o carro detecte rapidamente obstáculos, pedestres e outros veículos. Isso torna possível que o veículo reaja prontamente a quaisquer mudanças em seu ambiente.

Se as câmeras estivessem processando imagens a um FPS mais baixo, o veículo poderia receber uma visão mais travada e menos detalhada. Isso poderia atrasar seu tempo de resposta, aumentando o risco de perder informações críticas e potencialmente comprometendo a segurança.

A conexão entre FPS e análise esportiva#

Capturar cada movimento com precisão é crucial nos esportes, onde decisões tomadas em frações de segundo podem ser a diferença entre ganhar e perder. A tecnologia que suporta um FPS mais alto nos permite registrar cada pequeno detalhe em movimento, e treinadores, analistas e atletas podem revisar jogadas em câmera lenta sem perder nada. Isso também ajuda os árbitros a tomarem decisões mais precisas em esportes como tênis, futebol e críquete, fornecendo uma visão clara, quadro a quadro, da ação.

Por exemplo, um estudo interessante sobre vôlei analisou como o uso de um higher FPS melhora a avaliação de desempenho. Aumentar o FPS de 30 para 240 melhorou significativamente a clareza do movimento e o rastreamento de objetos. A precisão da análise de cortadas também melhorou, ajudando os treinadores a entenderem o posicionamento das mãos, os pontos de contato com a bola e a mecânica dos saltos com mais precisão. Além disso, o estudo descobriu que um FPS mais alto reduziu o desfoque de movimento, tornando os saques e as reações defensivas mais fáceis de analisar.

Fig 4. Comparando FPS baixo e alto em relação à clareza de movimento.

Quando usar um FPS baixo é eficaz em análise de vídeo#

Nem todas as aplicações de visão computacional exigem gravar filmagens a um FPS mais alto. Em muitos casos, um FPS mais baixo é suficiente para obter resultados precisos, dependendo da tarefa. Aqui estão algumas áreas principais onde um FPS mais baixo é preferível:

• Offline post-processing and analysis: Para aplicações como monitoramento de tráfego e análise de multidões, capturar cada quadro a um FPS alto nem sempre é necessário. Um FPS mais baixo ainda pode fornecer dados suficientes para analisar padrões de movimento, como fluxo de veículos, densidade de pedestres e tendências de congestionamento. Ao reduzir quadros redundantes, essa abordagem minimiza os requisitos de armazenamento e a carga computacional, mantendo uma análise precisa.
• Time-lapse environmental monitoring: Para rastrear mudanças lentas como crescimento de plantas, progresso de construção ou movimento de geleiras, capturar um quadro a cada poucos minutos ou uma vez por dia é suficiente, documentando efetivamente transformações de longo prazo enquanto economiza armazenamento.
• Resource-constrained environments: Em monitoramento da vida selvagem e segurança remota, um FPS mais baixo ajuda a conservar a vida útil da bateria e o armazenamento. Câmeras acionadas por movimento operando a 5–10 FPS podem capturar eventos essenciais por longos períodos, tornando-as ideais para instalações fora da rede elétrica.

Escolhendo o FPS certo para aplicações de deep learning#

Selecionar o FPS ideal exige equilibrar o desempenho com as limitações do sistema. Aqui estão algumas considerações a ter em mente ao otimizar o FPS para aplicações de deep learning:

• Balancing performance and resources: Um FPS mais alto melhora a capacidade de resposta, mas também aumenta as demandas de energia e processamento. Ajustar o FPS dinamicamente, usar interpolação de quadros e otimizar o hardware pode ajudar a manter um desempenho suave sem sobrecarregar o sistema.
• Application-specific needs: Diferentes aplicações têm diferentes requisitos de FPS. Dispositivos alimentados por bateria devem usar um FPS mais baixo para conservar energia, enquanto sistemas de tempo real, como drones e veículos autônomos, precisam de um FPS mais alto para respostas rápidas e precisas.
• Testing and optimization: As configurações de FPS devem, idealmente, ser testadas sob diferentes condições de iluminação e movimento. Avaliar a latência e comparar níveis de FPS lado a lado ajuda a determinar o melhor equilíbrio entre capacidade de resposta, qualidade visual e eficiência de recursos.

Inovações futuras e otimização de FPS para modelos de IA#

Avanços em IA e otimização de hardware estão tornando taxas de quadros mais altas mais alcançáveis, mesmo em ambientes com recursos limitados. Por exemplo, setores como cinema, esportes e robótica podem se beneficiar de um gerenciamento de taxa de quadros mais inteligente, onde os sistemas ajustam dinamicamente o FPS com base na complexidade do movimento e no poder de processamento. A interpolação de quadros impulsionada por IA também melhora a suavidade do vídeo gerando quadros adicionais em tempo real.

Enquanto isso, um avanço recente da NVIDIA está elevando o desempenho de FPS ainda mais. O DLSS 4 (Deep Learning Super Sampling) introduz a geração de múltiplos quadros, que usa IA para prever e criar quadros extras. Isso aumenta as taxas de quadros em até 8 vezes, enquanto reduz a carga de trabalho no sistema.

Ao permitir que a IA lide com parte da renderização, o DLSS 4 torna os visuais mais suaves sem sobrecarregar o hardware, melhorando tanto o desempenho quanto a eficiência.

Principais pontos#

O FPS é mais do que apenas uma medida de visuais suaves; ele impulsiona a tomada de decisão em tempo real em IA e visão computacional. Cada quadro em um vídeo captura dados críticos, permitindo que as máquinas rastreiem objetos, analisem movimentos e respondam a ambientes dinâmicos. Seja para carros autônomos evitando obstáculos ou sistemas de vigilância detectando ameaças instantaneamente, o FPS certo garante precisão e eficiência.

O futuro do FPS não trata apenas de aumentar as taxas de quadros, mas também de otimizá-las de forma inteligente. Essa evolução tornará os sistemas de visão computacional mais rápidos, inovadores e eficientes em termos de recursos em vários setores.

Queres saber mais sobre IA? Explora o nosso GitHub repository e junta-te a our community. Estás pronto para começar os teus próprios projetos de visão computacional? Vê as nossas licensing options. Descobre como a computer vision in healthcare está a melhorar a eficiência e explora o impacto da AI in manufacturing visitando as nossas páginas de soluções!