Text-to-Video

Texto para vídeo é a geração de um clipe de vídeo a partir de um prompt em linguagem natural, como "uma raposa vermelha trotando na neve recém-caída ao amanhecer, filmada de perto em movimento". É o ramo da geração de vídeo cuja única entrada obrigatória é texto, e amplia a geração de texto para imagem com um eixo temporal: o modelo precisa renderizar os objetos, o estilo e os movimentos de câmera especificados pelo prompt, além de inventar movimentos apenas sugeridos pelo prompt, como o movimento das pernas da raposa durante o trote. Entre os primeiros modelos de pesquisa de 2022 estavam o CogVideo, da Universidade Tsinghua, um Transformer com 9,4 bilhões de parâmetros, e o Make-A-Video, da Meta, que aprendeu a aparência das coisas com pares de texto e imagem e seus movimentos com vídeos sem rótulos, sem precisar de dados pareados de texto e vídeo. O Sora, da OpenAI, apresentado em fevereiro de 2024, criou clipes de alta resolução com até um minuto; o Meta Movie Gen veio em outubro de 2024, e a família Veo da Google DeepMind chegou ao Veo 3 em maio de 2025, que, assim como o Sora 2 da OpenAI, gera diálogos e sons sincronizados com a imagem.

Como o texto condiciona um modelo de vídeo#

Um modelo de linguagem congelado, como um codificador T5, transforma o prompt em uma sequência de embeddings de tokens. O modelo de vídeo, geralmente um Transformer de difusão que opera sobre um vídeo latente comprimido, lê esses embeddings por meio de atenção cruzada em cada etapa de remoção de ruído, para que cada bloco espaço-temporal do clipe possa prestar atenção às palavras que o descrevem. A geração começa com ruído aleatório e o remove passo a passo, como em outros modelos de difusão, até que um decodificador transforme o latente limpo em quadros.

A adesão ao prompt é ajustada com orientação sem classificador, introduzida por Jonathan Ho e Tim Salimans em 2022. Durante o treinamento, o prompt é removido de uma parte dos exemplos, para que uma rede aprenda previsões condicionais e incondicionais; em cada etapa de amostragem, o modelo calcula ambas e afasta o resultado da previsão incondicional por meio de uma escala de orientação. Escalas mais altas seguem o prompt de forma mais literal, à custa da variedade e de cores naturais.

O texto com que o modelo aprende é tão importante quanto sua arquitetura. A maioria dos vídeos de treinamento não tem descrição ou conta com uma descrição curta e ruidosa; por isso, a OpenAI criou novas legendas para os clipes de treinamento do Sora com um modelo de descrição de imagens dedicado, que escreve descrições detalhadas, e usa o GPT para expandir prompts curtos dos usuários para o mesmo estilo detalhado durante a geração. Esse enriquecimento de prompts reduz a diferença entre a forma como as pessoas escrevem prompts e as legendas usadas no treinamento do modelo.

Usos#

• Pré-visualização de filmes: diretores e designers de jogos transformam uma cena escrita em um clipe preliminar para testar ângulos de câmera, iluminação e ritmo antes da filmagem.
• Marketing e publicidade: marcas geram imagens de produtos e clipes para redes sociais em muitas variações a partir de um único roteiro.
• Educação e vídeos explicativos: professores e editoras ilustram processos difíceis de filmar, como cenas históricas ou a divisão celular.
• Dados sintéticos: prompts que descrevem eventos raros, como um cervo atravessando uma rodovia à noite, produzem filmagens para treinar modelos de percepção assim que os quadros são rotulados.

Modos de falha e avaliação#

Os modelos de texto para vídeo falham com mais frequência nas partes de um prompt que exigem associações precisas. As contagens variam ("três cães" viram dois ou quatro), os atributos trocam de objeto ("um carro vermelho ao lado de um caminhão azul"), as relações espaciais se invertem e o texto escrito na cena fica ilegível. Com o tempo, os elementos se transformam em outras formas, aparecem do nada ou desaparecem atrás de objetos que os ocultam, e as interações físicas falham: a OpenAI declarou que o Sora não modela corretamente a quebra de vidro. Esses erros são uma forma de alucinação em vídeo.

O VBench avalia essas falhas separadamente, com dimensões para classe de objeto, vários objetos, cor, relação espacial, ação humana e consistência dos elementos; a família Distância de Fréchet do Inception (FID) de métricas de distribuição mede o realismo geral. A detecção de objetos é a principal ferramenta para verificar o conteúdo: executar o YOLO26 no modo de rastreamento em um clipe gerado atribui um ID persistente a cada objeto detectado; assim, se um clipe cujo prompt especifica dois cães acumula cinco IDs de cães, os elementos desapareceram e reapareceram ou mudaram de forma durante a cena.

Como os clipes gerados podem mostrar pessoas reais fazendo coisas que nunca fizeram, o texto para vídeo suscita as mesmas preocupações que os deepfakes e a ética em IA em geral. Os provedores bloqueiam prompts que mencionam figuras públicas, adicionam marcas d'água visíveis e sinais de marcação d'água de IA e anexar Content Credentials; os vídeos do Sora 2 da OpenAI incluem uma marca d'água móvel visível e metadados C2PA.