Meta Movie Gen: repensar a criação de conteúdos

Seja você um aspirante a cineasta ou um criador de conteúdo que gosta de produzir vídeos para o seu público, contar com ferramentas de IA que ampliem sua criatividade é sempre útil. Recentemente, a Meta lançou seu mais recente modelo generativo de vídeo, conhecido como Meta Movie Gen.

A previsão é que o mercado de IA generativa global nas áreas de mídia e entretenimento alcance US$ 11,57 bilhões até 2033, com empresas como Runway, OpenAI e Meta na liderança. O Meta Movie Gen, em particular, é ótimo para aplicações como produção cinematográfica, criação de conteúdo em vídeo e narrativa digital, facilitando como nunca dar vida a ideias criativas com vídeos de alta qualidade gerados por IA. Neste artigo, vamos explorar o Meta Movie Gen e como ele funciona. Também vamos analisar algumas de suas aplicações.

Fig. 1. Um quadro de um clipe de vídeo gerado com o Meta Movie Gen.

O que é o Meta Movie Gen?#

Antes de falarmos sobre o que é o Meta Movie Gen, vamos ver como ele surgiu.

Os esforços de pesquisa da Meta relacionados à IA generativa começaram com a série de modelos Make-A-Scene. Essa pesquisa se concentra em um método de IA generativa multimodal que ajuda artistas e visionários a dar vida à imaginação. Artistas podem inserir imagens, áudio, vídeos ou animações 3D para obter a imagem desejada. O próximo salto em inovação veio com modelos de difusão, como os modelos de base Llama Image (Emu), que possibilitaram a geração de imagens e vídeos de qualidade muito superior e permitiram a edição de imagens.

Fig. 2. Exemplo de uso do esboço e do texto de entrada do Make-A-Scene para gerar uma imagem.

O Movie Gen é a contribuição mais recente da Meta para a pesquisa em IA generativa. Ele combina todas as modalidades mencionadas anteriormente e permite um controle ainda mais refinado, para que as pessoas possam usar os modelos de maneiras mais criativas. O Meta Movie Gen é uma coleção de modelos de base para gerar diferentes tipos de mídia, incluindo texto para vídeo, texto para áudio e texto para imagem. Ele é composto por quatro modelos, treinados com uma combinação de conjuntos de dados licenciados e disponíveis publicamente.

Veja uma breve visão geral desses modelos:

• Modelo Movie Gen Video: modelo com 30 bilhões de parâmetros que gera vídeos de alta qualidade a partir de comandos de texto.
• Modelo Movie Gen Audio: modelo com 13 bilhões de parâmetros que pode criar trilhas sonoras sincronizadas com o conteúdo do vídeo.
• Modelo Movie Gen Video personalizado: gera vídeos de pessoas específicas com base em um comando de texto e uma única imagem, preservando sua aparência.
• Modelo Movie Gen Edit: permite edições detalhadas de vídeos reais e fictícios usando comandos de texto.

Treinamento do modelo de vídeo Meta Movie Gen#

Vários processos importantes estiveram envolvidos na criação e no treinamento do modelo Movie Gen Video. A primeira etapa consistiu em coletar e preparar dados visuais, incluindo imagens e clipes de vídeo, principalmente de atividades humanas, filtrados por qualidade, movimento e relevância. Em seguida, os dados foram associados a legendas de texto que explicavam o que acontecia em cada cena. As legendas, geradas com o modelo Llama 3-Video da Meta, forneceram descrições detalhadas do conteúdo de cada cena, aprimorando os recursos de narrativa visual do modelo.

Fig. 3. Visão geral do fluxo de curadoria de dados de pré-treinamento do modelo Movie Gen Video.

O processo de treinamento começou com o modelo aprendendo a transformar texto em imagens de baixa resolução. Em seguida, avançou para a criação de clipes de vídeo completos por meio de uma combinação de treinamento de texto para imagem e de texto para vídeo, usando imagens visuais de qualidade cada vez maior.

Uma ferramenta chamada codificador automático temporal (TAE) comprimiu os vídeos para gerenciar grandes volumes de dados com eficiência. O ajuste fino aprimorou ainda mais a qualidade do vídeo, e um método chamado média de modelos (que calcula a média de vários modelos ajustados com diferentes dados, hiperparâmetros e pontos de verificação) garantiu maior consistência nos resultados. Por fim, o vídeo, inicialmente em 768p, foi ampliado para uma resolução nítida de 1080p usando uma técnica de ampliação espacial, que aumenta a resolução da imagem adicionando dados de pixels para obter visuais mais claros. O resultado foram vídeos de alta qualidade e detalhados.

Explorando os recursos do Meta Movie Gen#

Os modelos Meta Movie Gen oferecem principalmente quatro recursos diferentes. Vamos analisar cada um deles.

Geração de vídeo e áudio#

O Meta Movie Gen pode gerar vídeos de alta qualidade. Esses clipes de vídeo podem ter até 16 segundos de duração e rodar a 16 fps (quadros por segundo), criando imagens realistas que capturam movimento, interações e ângulos de câmera a partir de prompts de texto. Combinado com o modelo de áudio de 13 bilhões de parâmetros, ele pode produzir áudio sincronizado, incluindo sons ambientes, efeitos Foley e música, para acompanhar as imagens.

Essa configuração mantém as imagens e o áudio alinhados e realistas em diferentes cenas e prompts. Por exemplo, esses modelos foram usados para criar clipes de vídeo do hipopótamo-pigmeu tailandês que viralizou, chamado Moo Deng.

Fig. 4. Um quadro de um clipe de vídeo de Moo Deng criado com o Movie Gen da Meta.

Geração de vídeos personalizados#

Outra capacidade interessante do modelo Meta Movie Gen é a geração de vídeos personalizados. Os usuários podem fornecer a imagem de uma pessoa e um prompt de texto que descreva como o clipe de vídeo deve ser gerado. O resultado é um vídeo que inclui a pessoa de referência e incorpora os detalhes visuais ricos especificados no prompt de texto. O modelo usa as duas entradas (imagem e texto) para preservar a aparência única e os movimentos naturais do corpo da pessoa, seguindo com precisão a cena descrita no prompt.

Fig. 5. Exemplo do recurso de geração de vídeos personalizados do modelo.

Edição precisa de vídeos#

Com o modelo Movie Gen Edit, os usuários podem fornecer um clipe de vídeo e um prompt de texto como entrada para editar o vídeo de maneiras criativas. O modelo combina geração de vídeo com edição avançada de imagens para realizar edições muito específicas, como adicionar, remover ou substituir elementos. Ele também pode fazer alterações globais, como modificar o plano de fundo do clipe de vídeo ou o estilo geral. O que diferencia o modelo é sua precisão: ele pode direcionar apenas os pixels específicos que precisam de edição e deixar o restante intacto. Isso preserva ao máximo o conteúdo original.

Fig. 6. Vários exemplos dos recursos de edição de vídeo do modelo Movie Gen Edit.

Ferramentas de benchmarking do Meta Movie Gen#

Junto com os modelos de IA generativa, a Meta também apresentou o Movie Gen Bench, um conjunto de ferramentas de benchmark para testar o desempenho de modelos de IA generativa. Ele inclui duas ferramentas principais: Movie Gen Video Bench e Movie Gen Audio Bench. Ambas foram projetadas para testar diferentes aspectos da geração de vídeo e áudio.

Veja uma breve descrição das duas ferramentas:

• Movie Gen Video Bench: é composto por 1.003 prompts que abrangem uma grande variedade de categorias de teste, como atividades humanas, animais, cenários naturais, física e também temas e atividades incomuns. O que torna esse benchmark de avaliação especialmente valioso é sua cobertura de diferentes níveis de movimento, que garante que o modelo de geração de vídeo seja testado tanto em sequências rápidas quanto lentas.
• Movie Gen Audio Bench: foi projetado para testar recursos de geração de áudio usando 527 comandos. Esses comandos são combinados com vídeos gerados para avaliar a capacidade do modelo de sincronizar efeitos sonoros e música com o conteúdo visual.

Fig. 7. O diagrama mostra o detalhamento dos comandos de avaliação, com uma lista de conceitos à esquerda e uma nuvem de palavras com substantivos e verbos usados com frequência à direita.

Uma aplicação prática do Meta Movie Gen#

Agora que já explicamos o que são os modelos Meta Movie Gen e como funcionam, vamos explorar uma de suas aplicações práticas.

Inovações de IA do Movie Gen na produção cinematográfica#

Um dos usos mais interessantes do Movie Gen da Meta é como ele pode transformar a produção cinematográfica por meio da criação de vídeo e áudio com IA. Com o Movie Gen, criadores podem gerar imagens e sons de alta qualidade a partir de prompts de texto simples, abrindo novas possibilidades para contar histórias.

Na verdade, a Meta se uniu à Blumhouse e a um grupo de cineastas para ouvir suas opiniões sobre como o Movie Gen pode apoiar melhor o processo criativo. Cineastas como Aneesh Chaganty, as irmãs Spurlock e Casey Affleck testaram a capacidade da ferramenta de captar o clima, o tom e a direção visual. Eles descobriram que os modelos ajudaram a despertar novas ideias.

Esse programa-piloto mostrou que, embora o Movie Gen não substitua a produção cinematográfica tradicional, ele oferece aos diretores uma nova maneira de experimentar elementos visuais e de áudio com rapidez e criatividade. Os cineastas também apreciaram como os recursos de edição da ferramenta permitem explorar com mais liberdade sons de fundo, efeitos e estilos visuais.

Fig. 8. Um quadro de um curta-metragem criado com o Meta Movie Gen.

Principais conclusões#

O Meta Movie Gen representa um avanço no uso da IA generativa para criar vídeos e sons de alta qualidade a partir de descrições de texto simples. A ferramenta ajuda os usuários a criar vídeos realistas e personalizados com facilidade. Com recursos como edição precisa de vídeo e geração de mídia personalizada, o Meta Movie Gen oferece um conjunto flexível de ferramentas que abre novas possibilidades para a narrativa, a produção cinematográfica e muito mais. Ao facilitar a criação de imagens detalhadas e úteis, o Meta Movie Gen está mudando a forma como os vídeos são produzidos e usados em diferentes áreas.

Para saber mais, acesse nosso repositório no GitHub e participe da nossa comunidade. Explore aplicações de IA em carros autônomos e na agricultura nas páginas de soluções.