Frame Interpolation

A interpolação de quadros é uma técnica de visão computacional e processamento de vídeo que sintetiza novos quadros intermediários entre os existentes para aumentar a taxa de quadros de um vídeo e criar movimentos mais suaves. Tradicionalmente baseada na combinação básica de imagens, a interpolação de quadros moderna utiliza modelos avançados de aprendizagem profunda (DL) para analisar o movimento e o conteúdo de quadros adjacentes, prevendo movimentos complexos dos píxeis para gerar imagens contínuas de alta qualidade. Esta abordagem orientada por IA é amplamente adotada para converter filmagens padrão em conteúdos com elevada taxa de atualização, sintetizar efeitos de câmara lenta e estabilizar sequências rápidas em vários domínios multimédia e científicos.

Como funciona a interpolação de quadros com IA#

As estruturas modernas de interpolação vão além da simples média de quadros. Em vez disso, dependem de redes neuronais (NNs) complexas e de estratégias sofisticadas de estimativa de movimento para preencher as lacunas entre entradas sequenciais:

• Interpolação baseada em fluxo ótico: este método calcula o movimento aparente dos píxeis entre quadros. Os modelos utilizam este fluxo estimado para deformar as imagens de entrada e combiná-las. Embora seja rápido, pode ter dificuldades com oclusões intensas ou movimentos rápidos.
• Arquiteturas convolucionais e Transformer: as redes neuronais convolucionais (CNNs) profundas e os modelos Transformer mais recentes aprendem relações espaciais e temporais ricas. Estes modelos lidam com oclusões e movimentos rápidos ao prever características contextuais através de um campo recetivo mais amplo.
• Abordagens generativas: avanços recentes utilizam modelos de difusão para gerar quadros intermediários. Estes modelos permitem uma síntese percetualmente realista mesmo quando os quadros de entrada apresentam grandes lacunas de movimento, adaptando técnicas como a interpolação de quadros de vídeo baseada em eventos (EVFI) para reconstruir movimentos de alta velocidade utilizando dados esparsos de sensores.

Distinguir conceitos relacionados#

Para implementar eficazmente pipelines de melhoria de vídeo, é crucial distinguir a interpolação de quadros de técnicas relacionadas de inteligência artificial (AI):

• Interpolação de quadros vs. fluxo ótico: o fluxo ótico é uma métrica de baixo nível que mede a direção e a velocidade do movimento dos píxeis. A interpolação de quadros é uma tarefa de nível superior que frequentemente utiliza o fluxo ótico como ferramenta subjacente para deformar píxeis e gerar quadros de imagem totalmente novos.
• Interpolação de quadros vs. super-resolução: a interpolação aumenta a resolução temporal ao adicionar mais quadros por segundo (por exemplo, sobreamostragem temporal de 30 FPS para 60 FPS). Por outro lado, a super-resolução aumenta a resolução espacial ao ampliar as dimensões dos píxeis de cada quadro (por exemplo, de 1080p para 4K).

Principais aplicações no mundo real#

A interpolação de quadros resolve desafios essenciais em vários setores ao colmatar lacunas nos dados visuais:

1. Transmissão de conteúdos multimédia e desporto: os criadores utilizam ferramentas como o FILM (Interpolação de Quadros para Grandes Movimentos) da Google para gerar sequências de câmara lenta extremamente suaves a partir de câmaras padrão. Isto melhora a análise desportiva e os efeitos cinematográficos sem necessidade de hardware dispendioso de alta velocidade.

2. Imagiologia biológica e médica: na microscopia com lapso de tempo, a interpolação generativa de quadros melhora o acompanhamento de objetos biológicos, como células em divisão ou bactérias em movimento. Ao sintetizar estados intermediários, os investigadores podem reduzir a frequência da aquisição de imagens, o que limita a fototoxicidade e preserva amostras delicadas.

Melhorar os fluxos de trabalho de IA com vídeo interpolado#

Na aprendizagem automática, utilizar vídeo com uma elevada taxa de quadros melhora significativamente a precisão do rastreamento de objetos subsequente, proporcionando transições temporais mais suaves e reduzindo os saltos das caixas delimitadoras. Depois de um vídeo ser suavizado por interpolação, modelos como o Ultralytics YOLO26 conseguem acompanhar facilmente os objetos através dos quadros sintetizados.

O seguinte trecho de Python demonstra como acompanhar objetos num vídeo interpolado com elevado FPS utilizando o pacote ultralytics:

from ultralytics import YOLO

# Load the latest state-of-the-art YOLO26 model
model = YOLO("yolo26n.pt")

# Run persistent object tracking on the temporally up-sampled video
# The tracker uses the smooth motion to preserve object IDs more accurately
results = model.track(source="interpolated_high_fps_video.mp4", show=True, tracker="botsort.yaml")

Para o processamento de vídeo em grande escala, as equipas podem utilizar a Ultralytics Platform para automatizar a anotação de dados em conjuntos de dados interpolados, permitindo o treino contínuo na nuvem e uma implementação de modelos robusta para pipelines complexos de compreensão de vídeo.