Meta Movie Gen: a reinventar a criação de conteúdos

Quer estejas a aspirar a ser cineasta ou sejas um criador de conteúdos que gosta de fazer vídeos para o seu público, ter ferramentas de IA que expandam a tua criatividade é sempre útil. Recentemente, a Meta lançou o seu mais recente modelo de geração de vídeo, conhecido como Meta Movie Gen.

Prevê-se que o mercado global de IA generativa nos meios de comunicação e entretenimento atinja 11,57 mil milhões de dólares até 2033, com empresas como a Runway, a OpenAI e a Meta a liderarem inovações revolucionárias. O Meta Movie Gen, em particular, é excelente para aplicações como produção cinematográfica, criação de conteúdos de vídeo e narrativa digital, tornando mais fácil do que nunca dar vida a visões criativas através de vídeos de alta qualidade gerados por IA. Neste artigo, vamos explorar o Meta Movie Gen e perceber como funciona. Também vamos analisar mais detalhadamente algumas das suas aplicações. Vamos começar!

Fig. 1. Um fotograma de um videoclipe gerado com o Meta Movie Gen.

O que é o Meta Movie Gen?#

Antes de discutirmos o que é o Meta Movie Gen, vejamos como surgiu.

Os esforços de investigação da Meta relacionados com IA generativa começaram com a sua série de modelos Make-A-Scene. Esta investigação centra-se num método de IA generativa multimodal que ajuda artistas e visionários a dar vida à sua imaginação. Os artistas podem introduzir imagens, áudio, vídeos ou animações 3D para obter a imagem pretendida. O passo seguinte na inovação surgiu com modelos de difusão, como os modelos Llama Image Foundation (Emu), que tornaram possível gerar imagens e vídeos de qualidade muito superior e permitiram a edição de imagens.

Fig. 2. Um exemplo da utilização do esboço e da entrada de texto do Make-A-Scene para obter uma imagem gerada.

O Movie Gen é o contributo mais recente da Meta para a investigação em IA generativa. Combina todas as modalidades mencionadas anteriormente e permite um controlo mais detalhado, para que as pessoas possam utilizar os modelos de formas mais criativas. O Meta Movie Gen é um conjunto de modelos fundamentais para gerar diferentes tipos de meios, incluindo texto-para-vídeo, texto-para-áudio e texto-para-imagem. É composto por quatro modelos, treinados com uma combinação de conjuntos de dados licenciados e disponíveis publicamente.

Eis uma breve visão geral destes modelos:

• Modelo Movie Gen Video: Um modelo com 30 mil milhões de parâmetros que gera vídeos de alta qualidade a partir de prompts de texto.
• Modelo Movie Gen Audio: Um modelo com 13 mil milhões de parâmetros que pode criar bandas sonoras sincronizadas com conteúdos de vídeo.
• Modelo Personalized Movie Gen Video: Gera vídeos de pessoas específicas com base num prompt de texto e numa única imagem, preservando a sua aparência.
• Modelo Movie Gen Edit: O modelo permite editar vídeos reais e fictícios detalhadamente com base em texto.

Treino do modelo de vídeo Meta Movie Gen#

Foram necessários vários processos fundamentais para criar e treinar o modelo Movie Gen Video. O primeiro passo consistiu em recolher e preparar dados visuais, incluindo imagens e videoclipes, sobretudo de atividades humanas, filtrados quanto à qualidade, ao movimento e à relevância. Os dados foram depois associados a legendas de texto que explicavam o que acontecia em cada cena. As legendas, geradas com o modelo LLaMa3-Video da Meta, forneciam detalhes ricos sobre o conteúdo de cada cena, melhorando as capacidades de narrativa visual do modelo.

Fig. 3. Uma visão geral do pipeline de curadoria de dados de pré-treino do modelo Movie Gen Video.

O processo de treino começou com o modelo a aprender a transformar texto em imagens de baixa resolução. Depois, evoluiu para a criação de videoclipes completos através de uma combinação de treino de texto-para-imagem e texto-para-vídeo, utilizando elementos visuais de qualidade progressivamente superior.

Uma ferramenta chamada Autoencoder Temporal (TAE) comprimiu os vídeos para gerir grandes volumes de dados de forma eficiente. O ajuste fino tornou a qualidade do vídeo ainda mais nítida, e um método chamado média de modelos (que combina várias saídas de modelos para obter resultados mais suaves e consistentes) garantiu uma maior consistência das saídas. Por fim, o vídeo, inicialmente em 768p, foi ampliado para uma resolução nítida de 1080p através de uma técnica de aumento espacial da resolução, que aumenta a resolução da imagem adicionando dados de píxeis para obter imagens mais claras. O resultado foram vídeos detalhados e de alta qualidade.

Explorar as capacidades do Meta Movie Gen#

Os modelos Meta Movie Gen suportam principalmente quatro capacidades diferentes. Vamos analisar cada uma delas mais detalhadamente.

Geração de vídeo e áudio#

O Meta Movie Gen pode gerar vídeos de alta qualidade. Estes videoclipes podem ter até 16 segundos de duração e ser executados a 16 fps (fotogramas por segundo), criando imagens realistas que captam movimento, interações e ângulos de câmara a partir de prompts de texto. Em conjunto com o modelo de áudio de 13 mil milhões de parâmetros, pode produzir áudio sincronizado, incluindo sons ambientes, efeitos Foley e música, em conformidade com as imagens.

Esta configuração garante uma experiência fluida e realista, na qual as imagens e o áudio permanecem alinhados e realistas em várias cenas e prompts. Por exemplo, estes modelos foram utilizados para criar videoclipes do hipopótamo-pigmeu viral da Tailândia, chamado Moo Deng.

Fig. 4. Um fotograma de um videoclipe de Moo Deng criado com o Movie Gen da Meta.

Geração de vídeo personalizada#

Outra capacidade interessante do modelo Meta Movie Gen é a geração de vídeo personalizada. Os utilizadores podem fornecer a imagem de uma pessoa e um prompt de texto que descreva como o videoclipe deve ser gerado, obtendo um vídeo que inclui a pessoa de referência e incorpora os ricos detalhes visuais especificados no prompt de texto. O modelo utiliza ambas as entradas (imagem e texto) para preservar a aparência única e os movimentos corporais naturais da pessoa, seguindo simultaneamente com precisão a cena descrita no prompt.

Fig. 5. Um exemplo da capacidade de geração de vídeo personalizada do modelo.

Edição precisa de vídeo#

Com o modelo Movie Gen Edit, os utilizadores podem fornecer um videoclipe e um prompt de texto como entrada para editar o vídeo de formas criativas. O modelo combina geração de vídeo com edição avançada de imagens para executar edições muito específicas, como adicionar, remover ou substituir elementos. Também pode efetuar alterações globais, como modificar o fundo do videoclipe ou o estilo geral. No entanto, o que torna o modelo verdadeiramente único é a sua precisão: pode visar apenas os píxeis específicos que requerem edição e deixar o resto intacto. Isto preserva o conteúdo original tanto quanto possível.

Fig. 6. Vários exemplos das capacidades de edição de vídeo do modelo Movie Gen Edit.

Ferramentas de avaliação comparativa do Meta Movie Gen#

Juntamente com os modelos de IA generativa, a Meta também apresentou o Movie Gen Bench, um conjunto de ferramentas de avaliação comparativa para testar o desempenho de modelos de IA generativa. Inclui duas ferramentas principais: Movie Gen Video Bench e Movie Gen Audio Bench. Ambas foram concebidas para testar diferentes aspetos da geração de vídeo e áudio.

Eis uma breve apresentação de ambas as ferramentas:

• Movie Gen Video Bench: É composto por 1003 prompts que abrangem uma grande variedade de categorias de teste, como atividades humanas, animais, paisagens naturais, física, bem como temas e atividades invulgares. O que torna esta avaliação comparativa especialmente valiosa é a sua cobertura de diferentes níveis de movimento, garantindo que o modelo de geração de vídeo é testado tanto em sequências rápidas como em sequências mais lentas.
• Movie Gen Audio Bench: Foi concebido para testar as capacidades de geração de áudio através de 527 prompts. Estes prompts são associados a vídeos gerados para avaliar até que ponto o modelo consegue sincronizar efeitos sonoros e música com o conteúdo visual.

Fig. 7 O diagrama apresenta uma análise dos prompts de avaliação, com uma lista de conceitos à esquerda e uma nuvem de palavras com substantivos e verbos frequentemente utilizados à direita.

Uma aplicação prática do Meta Movie Gen#

Agora que abordámos o que são os modelos Meta Movie Gen e como funcionam, vamos explorar uma das suas aplicações práticas.

Inovações do Movie Gen AI na produção cinematográfica#

Uma das utilizações mais entusiasmantes do Movie Gen da Meta é a forma como pode transformar a produção cinematográfica através da criação de vídeo e áudio com IA. Com o Movie Gen, os criadores podem gerar imagens e sons de alta qualidade a partir de simples prompts de texto, abrindo novas formas de contar histórias.

Na verdade, a Meta associou-se à Blumhouse e a um grupo de cineastas, recolhendo as suas opiniões sobre a melhor forma de o Movie Gen apoiar o processo criativo. Cineastas como Aneesh Chaganty, as Spurlock Sisters e Casey Affleck testaram a capacidade da ferramenta para captar o ambiente, o tom e a direção visual. Descobriram que os modelos ajudavam a despertar ideias novas.

Este programa-piloto demonstrou que, embora o Movie Gen não substitua a produção cinematográfica tradicional, oferece aos realizadores uma nova forma de experimentar elementos visuais e áudio de forma rápida e criativa. Os cineastas também apreciaram a forma como as funcionalidades de edição da ferramenta lhes permitiam explorar mais livremente sons de fundo, efeitos e estilos visuais.

Fig. 8. Um fotograma de uma curta-metragem criada com o Meta Movie Gen.

Principais conclusões#

O Meta Movie Gen representa um avanço na utilização de IA generativa para criar vídeos e sons de alta qualidade a partir de descrições de texto simples. A ferramenta ajuda os utilizadores a criar facilmente vídeos realistas e personalizados. Com capacidades como edição precisa de vídeo e geração de meios personalizados, o Meta Movie Gen oferece um conjunto flexível de ferramentas que abre novas possibilidades para a narrativa, a produção cinematográfica e muito mais. Ao facilitar a criação de elementos visuais detalhados e úteis, o Meta Movie Gen está a transformar a forma como os vídeos são criados e utilizados em diferentes áreas, estabelecendo um novo padrão para a criação de conteúdos orientada por IA.

Para saberes mais, visita o nosso repositório do GitHub e participa na nossa comunidade. Explora aplicações de AI em carros autónomos e agricultura nas nossas páginas de soluções. 🚀