Meta Movie Gen: repensar a criação de conteúdos

Seja você um aspirante a cineasta ou um criador de conteúdo que gosta de produzir vídeos para seu público, é sempre útil contar com ferramentas de IA que ampliem sua criatividade. Recentemente, a Meta lançou seu mais recente modelo de geração de vídeos, chamado Meta Movie Gen.

A previsão é que o mercado global de IA generativa na mídia e no entretenimento alcance US$ 11,57 bilhões até 2033, com empresas como Runway, OpenAI e Meta liderando inovações revolucionárias. O Meta Movie Gen, em particular, é excelente para aplicações como produção cinematográfica, criação de conteúdo em vídeo e narrativas digitais, facilitando mais do que nunca dar vida a ideias criativas com vídeos de alta qualidade gerados por IA. Neste artigo, vamos explorar o Meta Movie Gen e entender como ele funciona. Também vamos conhecer algumas de suas aplicações. Vamos começar!

Fig. 1. Um quadro de um clipe de vídeo gerado com o Meta Movie Gen.

O que é o Meta Movie Gen?#

Antes de falarmos sobre o que é o Meta Movie Gen, vamos ver como ele surgiu.

Os esforços de pesquisa da Meta relacionados à IA generativa começaram com a série de modelos Make-A-Scene. Essa pesquisa se concentra em um método de IA generativa multimodal que ajuda artistas e visionários a dar vida à imaginação. Os artistas podem inserir imagens, áudio, vídeos ou animações 3D para obter a imagem desejada. O próximo grande avanço veio com modelos de difusão, como os modelos Llama Image Foundation (Emu), que possibilitaram gerar imagens e vídeos de qualidade muito superior e editar imagens.

Fig. 2. Exemplo de uso do esboço e do texto de entrada do Make-A-Scene para gerar uma imagem.

O Movie Gen é a contribuição mais recente da Meta para a pesquisa sobre IA generativa. Ele combina todas as modalidades mencionadas anteriormente e permite um controle mais refinado, para que as pessoas possam usar os modelos de maneiras mais criativas. O Meta Movie Gen é uma coleção de modelos fundamentais para gerar diferentes tipos de mídia, incluindo texto para vídeo, texto para áudio e texto para imagem. Ele é composto por quatro modelos, treinados com uma combinação de conjuntos de dados licenciados e disponíveis publicamente.

Veja uma breve visão geral desses modelos:

• Modelo Movie Gen Video: modelo com 30 bilhões de parâmetros que gera vídeos de alta qualidade a partir de comandos de texto.
• Modelo Movie Gen Audio: modelo com 13 bilhões de parâmetros que pode criar trilhas sonoras sincronizadas com o conteúdo do vídeo.
• Modelo Movie Gen Video personalizado: gera vídeos de pessoas específicas com base em um comando de texto e uma única imagem, preservando sua aparência.
• Modelo Movie Gen Edit: permite edições detalhadas de vídeos reais e fictícios usando comandos de texto.

Treinamento do modelo de vídeo Meta Movie Gen#

Vários processos importantes foram envolvidos na criação e no treinamento do modelo Movie Gen Video. A primeira etapa envolveu a coleta e a preparação de dados visuais, incluindo imagens e clipes de vídeo, principalmente de atividades humanas, filtrados por qualidade, movimento e relevância. Em seguida, os dados foram associados a legendas de texto que descreviam o que acontecia em cada cena. As legendas, geradas com o modelo LLaMa3-Video da Meta, forneciam detalhes ricos sobre o conteúdo de cada cena, aprimorando os recursos de narrativa visual do modelo.

Fig. 3. Visão geral do fluxo de curadoria de dados de pré-treinamento do modelo Movie Gen Video.

O processo de treinamento começou com o modelo aprendendo a transformar texto em imagens de baixa resolução. Em seguida, avançou para a criação de clipes de vídeo completos por meio de uma combinação de treinamento de texto para imagem e de texto para vídeo, usando imagens de qualidade cada vez maior.

Uma ferramenta chamada codificador automático temporal (TAE) comprimiu os vídeos para gerenciar grandes volumes de dados com eficiência. O ajuste fino aprimorou ainda mais a qualidade dos vídeos, e um método chamado média de modelos (que combina as saídas de vários modelos para obter resultados mais suaves e consistentes) garantiu maior consistência nas saídas. Por fim, o vídeo, inicialmente em 768p, foi ampliado para uma resolução nítida de 1080p usando uma técnica de aumento de resolução espacial, que aumenta a resolução da imagem adicionando dados de pixels para obter imagens mais claras. O resultado foram vídeos detalhados e de alta qualidade.

Explorando os recursos do Meta Movie Gen#

Os modelos Meta Movie Gen oferecem principalmente quatro recursos diferentes. Vamos analisar cada um deles.

Geração de vídeo e áudio#

O Meta Movie Gen pode gerar vídeos de alta qualidade. Esses clipes podem ter até 16 segundos de duração e ser reproduzidos a 16 fps (quadros por segundo), criando imagens realistas que capturam movimentos, interações e ângulos de câmera a partir de comandos de texto. Combinado ao modelo de áudio de 13 bilhões de parâmetros, ele pode produzir áudio sincronizado, incluindo sons ambientes, efeitos sonoros Foley e música, de acordo com as imagens.

Essa configuração proporciona uma experiência fluida e realista, em que as imagens e o áudio permanecem alinhados e naturais em várias cenas e comandos. Por exemplo, esses modelos foram usados para criar clipes de vídeo do hipopótamo-pigmeu tailandês que viralizou, chamado Moo Deng.

Fig. 4. Um quadro de um clipe de vídeo de Moo Deng criado com o Movie Gen da Meta.

Geração de vídeos personalizados#

Outro recurso interessante do modelo Meta Movie Gen é a geração de vídeos personalizados. Os usuários podem fornecer a imagem de uma pessoa e um comando de texto que descreva como o clipe deve ser gerado, resultando em um vídeo que inclui a pessoa de referência e incorpora os ricos detalhes visuais especificados no comando. O modelo usa as duas entradas (imagem e texto) para preservar a aparência única e os movimentos corporais naturais da pessoa, seguindo com precisão a cena descrita no comando.

Fig. 5. Exemplo do recurso de geração de vídeos personalizados do modelo.

Edição precisa de vídeos#

Com o modelo Movie Gen Edit, os usuários podem fornecer um clipe de vídeo e um comando de texto como entrada para editá-lo de maneiras criativas. O modelo combina geração de vídeo com edição avançada de imagens para realizar edições muito específicas, como adicionar, remover ou substituir elementos. Ele também pode fazer alterações globais, como modificar o fundo do clipe ou o estilo geral. Mas o que realmente torna o modelo único é sua precisão: ele pode editar apenas os pixels específicos necessários e deixar o restante intacto. Isso preserva ao máximo o conteúdo original.

Fig. 6. Vários exemplos dos recursos de edição de vídeo do modelo Movie Gen Edit.

Ferramentas de benchmarking do Meta Movie Gen#

Junto com os modelos de IA generativa, a Meta também apresentou o Movie Gen Bench, um conjunto de ferramentas de benchmarking para testar o desempenho de modelos de IA generativa. Ele inclui duas ferramentas principais: Movie Gen Video Bench e Movie Gen Audio Bench. Ambas foram projetadas para testar diferentes aspectos da geração de vídeo e áudio.

Veja uma breve descrição das duas ferramentas:

• Movie Gen Video Bench: consiste em 1003 comandos que abrangem diversas categorias de teste, como atividades humanas, animais, paisagens naturais, física, além de temas e atividades incomuns. O que torna esse benchmark de avaliação especialmente valioso é a variedade de níveis de movimento, que garante que o modelo de geração de vídeo seja testado tanto em sequências rápidas quanto mais lentas.
• Movie Gen Audio Bench: foi projetado para testar recursos de geração de áudio usando 527 comandos. Esses comandos são combinados com vídeos gerados para avaliar a capacidade do modelo de sincronizar efeitos sonoros e música com o conteúdo visual.

Fig. 7. O diagrama mostra o detalhamento dos comandos de avaliação, com uma lista de conceitos à esquerda e uma nuvem de palavras com substantivos e verbos usados com frequência à direita.

Uma aplicação prática do Meta Movie Gen#

Agora que já explicamos o que são os modelos Meta Movie Gen e como funcionam, vamos explorar uma de suas aplicações práticas.

Inovações de IA do Movie Gen na produção cinematográfica#

Um dos usos mais empolgantes do Movie Gen da Meta é a forma como ele pode transformar a produção cinematográfica por meio da criação de vídeos e áudio com IA. Com o Movie Gen, os criadores podem gerar imagens e sons de alta qualidade a partir de simples comandos de texto, abrindo novas possibilidades para contar histórias.

Na verdade, a Meta se uniu à Blumhouse e a um grupo de cineastas para ouvir suas opiniões sobre como o Movie Gen poderia apoiar melhor o processo criativo. Cineastas como Aneesh Chaganty, as Spurlock Sisters e Casey Affleck testaram a capacidade da ferramenta de capturar o clima, o tom e a direção visual. Eles descobriram que os modelos ajudavam a inspirar novas ideias.

Esse programa-piloto mostrou que, embora o Movie Gen não substitua a produção cinematográfica tradicional, ele oferece aos diretores uma nova maneira de experimentar elementos visuais e de áudio com rapidez e criatividade. Os cineastas também apreciaram como os recursos de edição da ferramenta permitem explorar com mais liberdade sons de fundo, efeitos e estilos visuais.

Fig. 8. Um quadro de um curta-metragem criado com o Meta Movie Gen.

Principais conclusões#

O Meta Movie Gen representa um avanço no uso da IA generativa para criar vídeos e sons de alta qualidade a partir de descrições de texto simples. A ferramenta ajuda os usuários a criar facilmente vídeos realistas e personalizados. Com recursos como edição precisa de vídeo e geração de mídia personalizada, o Meta Movie Gen oferece um conjunto flexível de ferramentas que abre novas possibilidades para narrativas, produção cinematográfica e muito mais. Ao facilitar a criação de imagens detalhadas e úteis, o Meta Movie Gen está transformando a maneira como vídeos são produzidos e usados em diferentes áreas, além de estabelecer um novo padrão para a criação de conteúdo com IA.

Para saber mais, acesse nosso repositório no GitHub e participe da nossa comunidade. Explore aplicações de IA em carros autônomos e na agricultura em nossas páginas de soluções. 🚀