Licenciar o YOLO
Voltar ao glossário da Ultralytics

Video Generation

A geração de vídeo é a síntese de novos clipes de vídeo a partir de texto, imagens ou filmagens existentes por modelos generativos que mantêm o movimento consistente ao longo do tempo.

A geração de vídeo usa modelos de IA generativa para sintetizar novos vídeos: sequências de quadros cujos objetos, iluminação e movimentos permanecem consistentes de um quadro para o seguinte. O modelo pode começar com um prompt de texto, uma imagem estática para animar, um clipe existente para reformular ou prolongar, ou quadros anteriores mais ações, como nos modelos de mundo. Em comparação com uma única imagem gerada, um clipe de cinco segundos a 24 quadros por segundo contém 120 imagens que precisam estar em concordância; erros que seriam invisíveis em um único quadro, como uma mão mudar o número de dedos, aparecem como cintilação ou deformação quando os quadros são reproduzidos. A compreensão de vídeo e o rastreamento de objetos seguem o caminho inverso, analisando vídeos já existentes.

Em menos de uma década, o campo passou de clipes minúsculos a vídeos de um minuto. O VGAN de 2016, de Carl Vondrick, Hamed Pirsiavash e Antonio Torralba, uma rede adversária generativa, produzia cerca de um segundo de vídeo de 64×64 ao gerar separadamente um fundo estático e um primeiro plano em movimento. Jonathan Ho e colegas da Google estenderam modelos de difusão para vídeo em abril de 2022; o Make-A-Video, da Meta, e o Imagen Video, da Google, vieram em seguida naquele outono, e o Sora, da OpenAI, apresentado em fevereiro de 2024, gerava clipes de até um minuto. Modelos de pesos abertos, como o HunyuanVideo da Tencent (dezembro de 2024) e o Wan 2.1 da Alibaba (fevereiro de 2025), disponibilizaram a mesma arquitetura para execução e ajuste fino local.

Como funcionam os modelos de geração de vídeo#

A maioria dos sistemas atuais são modelos de difusão latente com três componentes. Um autoencoder de vídeo comprime o clipe no espaço e no tempo em um tensor latente muito menor, pois eliminar o ruído de pixels brutos em centenas de quadros seria caro demais. Uma rede de remoção de ruído, hoje geralmente um transformer de difusão (DiT), divide esse latente em blocos espaço-temporais, as unidades com que o Sora da OpenAI trabalha, e remove o ruído passo a passo. A atenção conecta cada bloco aos blocos de outros quadros, mantendo a forma do sujeito enquanto ele se move. Em seguida, o decodificador do autoencoder transforma o latente limpo novamente em quadros.

Os modelos anteriores adotavam abordagens mais econômicas para manter a consistência temporal. Muitos inseriam camadas de atenção temporal, que comparam a mesma localização entre quadros, em uma U-Net de texto para imagem pré-treinada; assim, a rede reutilizava o que sabia sobre aparência e aprendia apenas o movimento. O Imagen Video encadeava um modelo base com modelos separados de super-resolução espacial e temporal, que aumentavam gradualmente a resolução e a taxa de quadros. O Lumiere da Google (2024) gerava o clipe inteiro de uma só vez com uma U-Net espaço-temporal, argumentando que as cascatas que primeiro geram quadros-chave distantes têm dificuldade para manter a coerência global do movimento. Vídeos longos ou interativos costumam ser gerados autoregressivamente, bloco por bloco, condicionando cada bloco aos quadros anteriores; métodos como diffusion forcing treinam para esse cenário.

Tipos de geração de vídeo#

  • Texto para vídeo: Gera um clipe apenas a partir de um prompt escrito.
  • Imagem para vídeo: Anima uma imagem estática, mantendo-a como primeiro quadro, o que permite controlar a composição e o sujeito.
  • Vídeo para vídeo: Reformula, edita ou prolonga um clipe existente, preservando seu movimento; é uma ferramenta essencial na edição de vídeo com IA.
  • Áudio e vídeo juntos: O Veo 3, da Google (maio de 2025), e o Sora 2, da OpenAI (setembro de 2025), geram diálogos, efeitos sonoros e música sincronizados com a imagem.
  • Modelos de mundo: Preveem os próximos quadros a partir dos atuais e de uma ação, como um comando de direção ou o movimento de um braço robótico, para que o vídeo responda ao controle.

Aplicações#

Equipes de cinema e publicidade usam geradores como o Veo da Google DeepMind e o Movie Gen da Meta para pré-visualização e para tomadas cuja filmagem seria cara, como parte de uma mudança mais ampla rumo à IA no cinema. Desenvolvedores de IA física geram vídeos de direção e robótica com eventos raros: os modelos fundamentais de mundo Cosmos da NVIDIA, lançados em janeiro de 2025, produzem vídeos para treinar veículos autônomos e robôs, e o GAIA-1 da Wayve gera cenas de direção condicionadas por texto e ações do veículo. Clipes gerados tornam-se dados sintéticos para modelos de percepção quando seus quadros são rotulados; um conjunto de dados da Ultralytics Platform que recebe um clipe gerado o amostra a 1 quadro por segundo, até 100 quadros, e armazena cada quadro como uma imagem pronta para anotação.

Limitações e avaliação#

Vídeos gerados ainda violam as leis da física e a permanência dos objetos. A OpenAI declarou que o Sora não modela com precisão interações como a quebra de vidro, e objetos gerados podem atravessar uns aos outros, surgir do nada ou desaparecer atrás de um oclusor. O custo computacional aumenta com a resolução e a duração, por isso a maioria dos modelos gera clipes de alguns segundos e os prolonga em etapas. A avaliação passou de uma única pontuação de distribuição, a Fréchet Video Distance, equivalente em vídeo à Fréchet Inception Distance (FID), para conjuntos de testes como o VBench, que avalia 16 dimensões, da consistência do sujeito à fidelidade ao prompt. Saídas realistas também permitem criar deepfakes, por isso os fornecedores identificam vídeos gerados com marcas d'água de IA e Content Credentials: a Google incorpora uma marca d'água SynthID invisível em todos os vídeos do Veo.

Explore as soluções

Visão computacional no desporto

Visão computacional no desporto

Descubra como o Ultralytics YOLO impulsiona a visão computacional no esporte com rastreamento de jogadores e bolas, análise de desempenho, insights para treinadores e reabilitação de atletas.
Saiba mais
Visão computacional para imagens aéreas

Visão computacional para imagens aéreas

Transforma imagens de drones e aéreas em informações em tempo real para a agricultura, a aquacultura, a conservação e a análise geoespacial com Ultralytics YOLO.
Saiba mais
Visão computacional no setor aeroespacial

Visão computacional no setor aeroespacial

Aplica visão computacional na indústria aeroespacial com Ultralytics YOLO para inspecionar aeronaves, detetar objetos estranhos na pista (FOD), apoiar operações aeroportuárias em terra e detetar defeitos em materiais compósitos.
Saiba mais
Visão computacional na segurança

Visão computacional na segurança

Protege todas as instalações com os modelos Ultralytics YOLO. A IA visual permite monitorizar perímetros, detetar ameaças, reconhecer matrículas e melhorar a segurança no local de trabalho.
Saiba mais
Visão computacional na robótica

Visão computacional na robótica

Potencia máquinas mais inteligentes com os modelos Ultralytics YOLO. A IA visual na robótica permite navegação autónoma, perceção, rastreamento de objetos e controlo em tempo real.
Saiba mais
Visão computacional na logística

Visão computacional na logística

Otimize a logística com os modelos Ultralytics YOLO. A IA de visão permite inspecionar pacotes, fazer triagem, rastrear veículos e monitorar a segurança em tempo real nos armazéns.
Saiba mais
Visão computacional no varejo

Visão computacional no varejo

Reinvente o varejo com os modelos Ultralytics YOLO. A IA de visão permite rastrear o estoque, monitorar prateleiras, gerenciar filas e obter insights mais inteligentes sobre clientes.
Saiba mais
Visão computacional na área da saúde

Visão computacional na área da saúde

Desenvolva soluções de saúde com os modelos Ultralytics YOLO. A IA de visão na área da saúde permite obter imagens médicas mais rapidamente, diagnósticos mais inteligentes e monitoramento de pacientes.
Saiba mais
Visão computacional na manufatura

Visão computacional na manufatura

Otimize a manufatura com modelos Ultralytics YOLO. A IA visual impulsiona o controle de qualidade, a detecção de defeitos, a conformidade com o uso de EPI e a automação da linha de montagem.
Saiba mais
Visão computacional no setor automotivo

Visão computacional no setor automotivo

Aplique visão computacional no setor automotivo com modelos Ultralytics YOLO. A IA visual aumenta a segurança viária, aprimora a assistência ao condutor e viabiliza a automação de veículos para estradas mais inteligentes.
Saiba mais
Visão computacional na agricultura

Visão computacional na agricultura

Leve a IA de visão à agricultura inteligente com os modelos Ultralytics YOLO. Aprimore o monitoramento de plantações, o rastreamento de animais e a agricultura de precisão para obter safras maiores e mais inteligentes.
Saiba mais

Vamos construir juntos o futuro da IA!

Comece sua jornada rumo ao futuro do aprendizado de máquina