Video Generation
A geração de vídeo é a síntese de novos clipes de vídeo a partir de texto, imagens ou filmagens existentes por modelos generativos que mantêm o movimento consistente ao longo do tempo.
A geração de vídeo usa modelos de IA generativa para sintetizar novos vídeos: sequências de quadros cujos objetos, iluminação e movimentos permanecem consistentes de um quadro para o seguinte. O modelo pode começar com um prompt de texto, uma imagem estática para animar, um clipe existente para reformular ou prolongar, ou quadros anteriores mais ações, como nos modelos de mundo. Em comparação com uma única imagem gerada, um clipe de cinco segundos a 24 quadros por segundo contém 120 imagens que precisam estar em concordância; erros que seriam invisíveis em um único quadro, como uma mão mudar o número de dedos, aparecem como cintilação ou deformação quando os quadros são reproduzidos. A compreensão de vídeo e o rastreamento de objetos seguem o caminho inverso, analisando vídeos já existentes.
Em menos de uma década, o campo passou de clipes minúsculos a vídeos de um minuto. O VGAN de 2016, de Carl Vondrick, Hamed Pirsiavash e Antonio Torralba, uma rede adversária generativa, produzia cerca de um segundo de vídeo de 64×64 ao gerar separadamente um fundo estático e um primeiro plano em movimento. Jonathan Ho e colegas da Google estenderam modelos de difusão para vídeo em abril de 2022; o Make-A-Video, da Meta, e o Imagen Video, da Google, vieram em seguida naquele outono, e o Sora, da OpenAI, apresentado em fevereiro de 2024, gerava clipes de até um minuto. Modelos de pesos abertos, como o HunyuanVideo da Tencent (dezembro de 2024) e o Wan 2.1 da Alibaba (fevereiro de 2025), disponibilizaram a mesma arquitetura para execução e ajuste fino local.
Como funcionam os modelos de geração de vídeo#
A maioria dos sistemas atuais são modelos de difusão latente com três componentes. Um autoencoder de vídeo comprime o clipe no espaço e no tempo em um tensor latente muito menor, pois eliminar o ruído de pixels brutos em centenas de quadros seria caro demais. Uma rede de remoção de ruído, hoje geralmente um transformer de difusão (DiT), divide esse latente em blocos espaço-temporais, as unidades com que o Sora da OpenAI trabalha, e remove o ruído passo a passo. A atenção conecta cada bloco aos blocos de outros quadros, mantendo a forma do sujeito enquanto ele se move. Em seguida, o decodificador do autoencoder transforma o latente limpo novamente em quadros.
Os modelos anteriores adotavam abordagens mais econômicas para manter a consistência temporal. Muitos inseriam camadas de atenção temporal, que comparam a mesma localização entre quadros, em uma U-Net de texto para imagem pré-treinada; assim, a rede reutilizava o que sabia sobre aparência e aprendia apenas o movimento. O Imagen Video encadeava um modelo base com modelos separados de super-resolução espacial e temporal, que aumentavam gradualmente a resolução e a taxa de quadros. O Lumiere da Google (2024) gerava o clipe inteiro de uma só vez com uma U-Net espaço-temporal, argumentando que as cascatas que primeiro geram quadros-chave distantes têm dificuldade para manter a coerência global do movimento. Vídeos longos ou interativos costumam ser gerados autoregressivamente, bloco por bloco, condicionando cada bloco aos quadros anteriores; métodos como diffusion forcing treinam para esse cenário.
Tipos de geração de vídeo#
- Texto para vídeo: Gera um clipe apenas a partir de um prompt escrito.
- Imagem para vídeo: Anima uma imagem estática, mantendo-a como primeiro quadro, o que permite controlar a composição e o sujeito.
- Vídeo para vídeo: Reformula, edita ou prolonga um clipe existente, preservando seu movimento; é uma ferramenta essencial na edição de vídeo com IA.
- Áudio e vídeo juntos: O Veo 3, da Google (maio de 2025), e o Sora 2, da OpenAI (setembro de 2025), geram diálogos, efeitos sonoros e música sincronizados com a imagem.
- Modelos de mundo: Preveem os próximos quadros a partir dos atuais e de uma ação, como um comando de direção ou o movimento de um braço robótico, para que o vídeo responda ao controle.
Aplicações#
Equipes de cinema e publicidade usam geradores como o Veo da Google DeepMind e o Movie Gen da Meta para pré-visualização e para tomadas cuja filmagem seria cara, como parte de uma mudança mais ampla rumo à IA no cinema. Desenvolvedores de IA física geram vídeos de direção e robótica com eventos raros: os modelos fundamentais de mundo Cosmos da NVIDIA, lançados em janeiro de 2025, produzem vídeos para treinar veículos autônomos e robôs, e o GAIA-1 da Wayve gera cenas de direção condicionadas por texto e ações do veículo. Clipes gerados tornam-se dados sintéticos para modelos de percepção quando seus quadros são rotulados; um conjunto de dados da Ultralytics Platform que recebe um clipe gerado o amostra a 1 quadro por segundo, até 100 quadros, e armazena cada quadro como uma imagem pronta para anotação.
Limitações e avaliação#
Vídeos gerados ainda violam as leis da física e a permanência dos objetos. A OpenAI declarou que o Sora não modela com precisão interações como a quebra de vidro, e objetos gerados podem atravessar uns aos outros, surgir do nada ou desaparecer atrás de um oclusor. O custo computacional aumenta com a resolução e a duração, por isso a maioria dos modelos gera clipes de alguns segundos e os prolonga em etapas. A avaliação passou de uma única pontuação de distribuição, a Fréchet Video Distance, equivalente em vídeo à Fréchet Inception Distance (FID), para conjuntos de testes como o VBench, que avalia 16 dimensões, da consistência do sujeito à fidelidade ao prompt. Saídas realistas também permitem criar deepfakes, por isso os fornecedores identificam vídeos gerados com marcas d'água de IA e Content Credentials: a Google incorpora uma marca d'água SynthID invisível em todos os vídeos do Veo.










