Meta Movie Gen: Reimaginando a criação de conteúdos

Quer sejas um aspirante a cineasta ou um criador de conteúdos que gosta de fazer vídeos para o teu público, ter ferramentas de IA que expandem a tua criatividade é sempre útil. Recentemente, a Meta lançou o seu mais recente modelo de vídeo generativo, conhecido como Meta Movie Gen.

Estima-se que o mercado de IA generativa global nos media e entretenimento atinja 11,57 mil milhões de dólares até 2033, com empresas como a Runway, a OpenAI e a Meta a liderar o caminho em inovações revolucionárias. O Meta Movie Gen, em particular, é excelente para aplicações como produção cinematográfica, criação de conteúdos em vídeo e narrativa digital, tornando mais fácil do que nunca dar vida a visões criativas através de vídeos gerados por IA de alta qualidade. Neste artigo, vamos explorar o Meta Movie Gen e como funciona. Também vamos analisar de perto algumas das suas aplicações. Vamos começar!

Fig 1. Um fotograma de um clipe de vídeo gerado com o Meta Movie Gen.

O que é o Meta Movie Gen?#

Antes de discutirmos o que é o Meta Movie Gen, vamos dar uma olhada em como ele surgiu.

Os esforços de investigação da Meta relacionados com IA generativa começaram com a sua série Make-A-Scene de modelos. Esta investigação centra-se num método de IA generativa multimodal que ajuda artistas e visionários a dar vida à sua imaginação. Os artistas podem introduzir imagens, áudio, vídeos ou animações 3D para obter o resultado de imagem desejado. O salto seguinte na inovação surgiu com modelos de difusão como os modelos Llama Image Foundation (Emu), que tornaram possível gerar imagens e vídeos de qualidade muito superior e permitiram a edição de imagens.

Fig 2. Um exemplo de utilização do rascunho e introdução de texto do Make-A-Scene para obter uma imagem gerada.

O Movie Gen é a contribuição mais recente da Meta para a investigação em IA generativa. Combina todas as modalidades mencionadas anteriormente e permite um controlo ainda mais refinado para que as pessoas possam utilizar os modelos de formas mais criativas. O Meta Movie Gen é uma coleção de modelos fundamentais para gerar diferentes tipos de média, incluindo texto para vídeo, texto para áudio e texto para imagem. Consiste em quatro modelos, que são treinados numa combinação de conjuntos de dados licenciados e disponíveis publicamente.

Aqui está uma visão geral rápida desses modelos:

• Modelo Movie Gen Video: Um modelo de 30 bilhões de parâmetros que gera vídeos de alta qualidade a partir de prompts de texto.
• Modelo Movie Gen Audio: Um modelo de 13 bilhões de parâmetros que pode criar trilhas sonoras que sincronizam com o conteúdo do vídeo.
• Modelo Personalized Movie Gen Video: Ele gera vídeos de indivíduos específicos com base em um prompt de texto e uma única imagem, mantendo sua semelhança.
• Modelo Movie Gen Edit: O modelo permite edições de vídeo detalhadas baseadas em texto para vídeos reais e fictícios.

Treinando o modelo de vídeo Meta Movie Gen#

Vários processos fundamentais estiveram envolvidos na criação e treino do modelo Movie Gen Video. O primeiro passo envolveu a recolha e preparação de dados visuais, incluindo imagens e clipes de vídeo, principalmente de atividades humanas filtradas quanto à qualidade, movimento e relevância. Os dados foram depois emparelhados com legendas de texto que explicavam o que estava a acontecer em cada cena. As legendas, geradas com o modelo Meta LLaMa3-Video, forneceram detalhes ricos sobre o conteúdo de cada cena, melhorando as capacidades de narrativa visual do modelo.

Fig 3. Uma visão geral do pipeline de curador de dados de pré-treino do modelo Movie Gen Video.

O processo de treino começou com o modelo a aprender a transformar texto em imagens de baixa resolução. Depois, progrediu para a criação de clipes de vídeo completos através de uma combinação de treino de texto para imagem e texto para vídeo, utilizando visuais de qualidade cada vez mais elevada.

Uma ferramenta chamada Temporal Autoencoder (TAE) comprimiu os vídeos para gerir grandes volumes de dados de forma eficiente. O fine-tuning melhorou ainda mais a qualidade do vídeo, e um método chamado model averaging (que combina vários resultados de modelos para obter resultados mais suaves e consistentes) garantiu uma maior consistência nos resultados. Por fim, o vídeo, inicialmente a 768p, foi ampliado para uma resolução nítida de 1080p utilizando uma técnica de upsampler espacial, que aumenta a resolução da imagem adicionando dados de píxeis para obter visuais mais claros. O resultado foram saídas de vídeo detalhadas e de alta qualidade.

Explorando as capacidades do Meta Movie Gen#

Os modelos Meta Movie Gen suportam principalmente quatro capacidades diferentes. Vamos dar uma olhada mais de perto em cada uma delas.

Geração de vídeo e áudio#

O Meta Movie Gen consegue gerar vídeos de alta qualidade. Estes clipes de vídeo podem ter até 16 segundos de duração e correr a 16 fps (fotogramas por segundo), criando visuais realistas que captam movimentos, interações e ângulos de câmara a partir de instruções de texto. Emparelhado com o modelo de áudio de 13 mil milhões de parâmetros, pode produzir áudio sincronizado, incluindo sons ambiente, efeitos Foley e música, para corresponder aos visuais.

Esta configuração garante uma experiência fluida e realista, onde tanto os visuais como o áudio se mantêm alinhados e realistas em vários cenários e instruções. Por exemplo, estes modelos foram utilizados para criar clipes de vídeo da hipopótama pigmeu viral da Tailândia, chamada Moo Deng.

Fig 4. Um fotograma de um clipe de vídeo da Moo Deng criado com o Movie Gen da Meta.

Geração de vídeo personalizada#

Outra capacidade interessante do modelo Meta Movie Gen é a geração de vídeos personalizados. Os utilizadores podem fornecer a imagem de uma pessoa e uma instrução de texto que descreva como o clipe de vídeo deve ser gerado, resultando num vídeo que inclui a pessoa de referência e incorpora os ricos detalhes visuais especificados na instrução de texto. O modelo utiliza ambas as entradas (imagem e texto) para manter a aparência única da pessoa e os movimentos corporais naturais, seguindo com precisão a cena descrita na instrução.

Fig 5. Um exemplo da capacidade de geração de vídeo personalizado do modelo.

Edição de vídeo precisa#

Usando o modelo Movie Gen Edit, os usuários podem fornecer tanto um clipe de vídeo quanto um prompt de texto como entrada para editar o vídeo de maneiras criativas. O modelo combina a geração de vídeo com edição de imagem avançada para realizar edições muito específicas, como adicionar, remover ou substituir elementos. Ele também pode realizar alterações globais, como modificar o plano de fundo do clipe de vídeo ou o estilo geral. Mas o que torna o modelo verdadeiramente único é sua precisão: ele pode atingir apenas os pixels específicos que exigem edição e deixar o restante intocado. Isso preserva o conteúdo original o máximo possível.

Fig 6. Vários exemplos das capacidades de edição de vídeo do modelo Movie Gen Edit.

Ferramentas de benchmarking do Meta Movie Gen#

Juntamente com os modelos de IA generativa, a Meta também apresentou o Movie Gen Bench, um conjunto de ferramentas de avaliação comparativa para testar o desempenho de modelos de IA generativa. Inclui duas ferramentas principais: Movie Gen Video Bench e Movie Gen Audio Bench. Ambas foram concebidas para testar diferentes aspetos da geração de vídeo e áudio.

Aqui está um vislumbre de ambas as ferramentas:

• Movie Gen Video Bench: Consiste em 1003 instruções que abrangem uma grande variedade de categorias de teste, tais como atividades humanas, animais, paisagens naturais, física, bem como assuntos e atividades pouco comuns. O que torna esta referência de avaliação particularmente valiosa é a sua cobertura dos níveis de movimento, o que garante que o modelo de geração de vídeo é testado tanto para sequências rápidas como mais lentas.
• Movie Gen Audio Bench: Projetado para testar as capacidades de geração de áudio em 527 prompts. Esses prompts são combinados com vídeos gerados para avaliar quão bem o modelo consegue sincronizar efeitos sonoros e música com o conteúdo visual.

Fig 7. O diagrama mostra uma desagregação das instruções de avaliação, com uma lista de conceitos à esquerda e uma nuvem de palavras de nomes e verbos comunmente utilizados à direita.

Uma aplicação prática do Meta Movie Gen#

Agora que abordamos o que são os modelos Meta Movie Gen e como eles funcionam, vamos explorar uma de suas aplicações práticas.

Inovações de IA do Movie Gen no cinema#

Um dos usos mais empolgantes do Movie Gen da Meta é a forma como pode transformar a produção cinematográfica através de vídeo potenciado por IA e criação de áudio. Com o Movie Gen, os criadores podem gerar visuais e sons de alta qualidade a partir de simples instruções de texto, abrindo novas formas de contar histórias.

De facto, a Meta uniu forças com a Blumhouse e um grupo de cineastas, recolhendo o seu feedback sobre como o Movie Gen pode apoiar melhor o processo criativo. Cineastas como Aneesh Chaganty, as irmãs Spurlock e Casey Affleck testaram a capacidade da ferramenta para captar o ambiente, o tom e a direção visual. Descobriram que os modelos ajudaram a despertar ideias frescas.

Este programa piloto mostrou que, embora o Movie Gen não substitua o cinema tradicional, ele oferece aos diretores uma nova maneira de experimentar elementos visuais e de áudio de forma rápida e criativa. Os cineastas também apreciaram como os recursos de edição da ferramenta permitiram que eles brincassem com sons de fundo, efeitos e estilos visuais com mais liberdade.

Fig 8. Um fotograma de uma curta-metragem criada com o Meta Movie Gen.

Principais pontos#

O Meta Movie Gen é um passo à frente no uso de IA generativa para criar vídeos e sons de alta qualidade a partir de descrições de texto simples. A ferramenta ajuda os usuários a criar facilmente vídeos realistas e personalizados. Com capacidades como edição de vídeo precisa e geração de mídia personalizada, o Meta Movie Gen oferece um conjunto de ferramentas flexível que abre novas possibilidades para contar histórias, cinema e muito mais. Ao facilitar a criação de visuais detalhados e úteis, o Meta Movie Gen está transformando a forma como os vídeos são feitos e usados em diferentes áreas e estabelecendo um novo padrão para a criação de conteúdo orientada por IA.

Para saber mais, visite nosso repositório do GitHub e participe da nossa comunidade. Explore aplicações de IA em carros autônomos e agricultura em nossas páginas de soluções. 🚀