Meta Movie Gen: reinventando la creación de contenido

Tanto si aspiras a ser cineasta como si creas contenido y disfrutas haciendo vídeos para tu audiencia, siempre resulta útil disponer de herramientas de IA que amplíen tu creatividad. Recientemente, Meta lanzó su último modelo de generación de vídeo, conocido como Meta Movie Gen.

Se prevé que el mercado de la IA generativa en los medios y el entretenimiento alcance los 11,57 mil millones de dólares en 2033, con empresas como Runway, OpenAI y Meta liderando innovaciones revolucionarias. En particular, Meta Movie Gen es ideal para aplicaciones como la producción cinematográfica, la creación de contenido de vídeo y la narración digital, ya que facilita más que nunca dar vida a visiones creativas mediante vídeos de alta calidad generados por IA. En este artículo, exploraremos Meta Movie Gen y su funcionamiento. También analizaremos algunas de sus aplicaciones. ¡Empecemos!

Fig 1. Un fotograma de un clip de vídeo generado con Meta Movie Gen.

¿Qué es Meta Movie Gen?#

Antes de explicar qué es Meta Movie Gen, veamos cómo surgió.

Los esfuerzos de investigación de Meta relacionados con la IA generativa comenzaron con su serie de modelos Make-A-Scene. Esta investigación se centra en un método de IA generativa multimodal que ayuda a artistas y visionarios a dar vida a su imaginación. Los artistas pueden introducir imágenes, audio, vídeos o animaciones 3D para obtener la imagen que desean. El siguiente gran salto en innovación llegó con los modelos de difusión, como los modelos Llama Image Foundation (Emu), que hicieron posible generar imágenes y vídeos de mucha mayor calidad y permitieron editar imágenes.

Fig 2. Un ejemplo del uso del boceto y la entrada de texto de Make-A-Scene para obtener una imagen generada.

Movie Gen es la última aportación de Meta a la investigación sobre IA generativa. Combina todas las modalidades mencionadas anteriormente y permite un control más detallado para que las personas puedan utilizar los modelos de formas más creativas. Meta Movie Gen es una colección de modelos fundacionales para generar distintos tipos de medios, incluidos texto a vídeo, texto a audio y texto a imagen. Consta de cuatro modelos, entrenados con una combinación de conjuntos de datos con licencia y disponibles públicamente.

Aquí tienes un resumen rápido de estos modelos:

• Modelo Movie Gen Video: Un modelo de 30 mil millones de parámetros que genera vídeos de alta calidad a partir de indicaciones de texto.
• Modelo Movie Gen Audio: Un modelo de 13 mil millones de parámetros capaz de crear bandas sonoras sincronizadas con el contenido de vídeo.
• Modelo de vídeo personalizado Movie Gen: Genera vídeos de personas concretas a partir de una indicación de texto y una sola imagen, conservando su parecido.
• Modelo Movie Gen Edit: Permite realizar ediciones de vídeo detalladas basadas en texto, tanto en vídeos reales como ficticios.

Entrenamiento del modelo de vídeo Meta Movie Gen#

La creación y el entrenamiento del modelo Movie Gen Video implicaron varios procesos clave. El primer paso consistió en recopilar y preparar datos visuales, incluidas imágenes y clips de vídeo, principalmente de actividades humanas, filtrados por calidad, movimiento y relevancia. A continuación, los datos se combinaron con subtítulos de texto que explicaban lo que ocurría en cada escena. Los subtítulos, generados mediante el modelo LLaMa3-Video de Meta, proporcionaban información detallada sobre el contenido de cada escena y mejoraban las capacidades de narración visual del modelo.

Fig 3. Descripción general de la canalización de selección de datos de preentrenamiento del modelo Movie Gen Video.

El proceso de entrenamiento comenzó con el aprendizaje del modelo para transformar texto en imágenes de baja resolución. Después, pasó a crear clips de vídeo completos mediante una combinación de entrenamiento de texto a imagen y de texto a vídeo, utilizando imágenes visuales de calidad cada vez mayor.

Una herramienta llamada codificador automático temporal (TAE) comprimía los vídeos para gestionar grandes volúmenes de datos de forma eficiente. El ajuste fino mejoró aún más la calidad del vídeo, y un método llamado promediado de modelos (combina las salidas de varios modelos para obtener resultados más fluidos y coherentes) garantizó una mayor coherencia en las salidas. Por último, el vídeo, inicialmente en 768p, se amplió a una resolución nítida de 1080p mediante una técnica de sobremuestreo espacial, que aumenta la resolución de la imagen añadiendo datos de píxeles para obtener imágenes más claras. El resultado fueron vídeos de alta calidad y gran nivel de detalle.

Exploración de las capacidades de Meta Movie Gen#

Los modelos Meta Movie Gen admiten principalmente cuatro capacidades diferentes. Veamos cada una con más detalle.

Generación de vídeo y audio#

Meta Movie Gen puede generar vídeos de alta calidad. Estos clips de vídeo pueden durar hasta 16 segundos y reproducirse a 16 fps (fotogramas por segundo), creando imágenes realistas que capturan el movimiento, las interacciones y los ángulos de cámara a partir de indicaciones de texto. Combinado con el modelo de audio de 13 mil millones de parámetros, puede producir audio sincronizado, incluidos sonidos ambientales, efectos Foley y música, que coincida con las imágenes.

Esta configuración garantiza una experiencia fluida y realista, en la que las imágenes y el audio permanecen sincronizados y realistas en distintas escenas e indicaciones. Por ejemplo, estos modelos se utilizaron para crear clips de vídeo del hipopótamo pigmeo de Tailandia que se hizo viral, llamado Moo Deng.

Fig 4. Un fotograma de un clip de vídeo de Moo Deng creado con Movie Gen de Meta.

Generación de vídeos personalizados#

Otra capacidad interesante del modelo Meta Movie Gen es la generación de vídeos personalizados. Los usuarios pueden proporcionar la imagen de una persona y una indicación de texto que describa cómo debe generarse el clip de vídeo, lo que da lugar a un vídeo que incluye a la persona de referencia e incorpora los abundantes detalles visuales especificados en la indicación de texto. El modelo utiliza ambas entradas (imagen y texto) para conservar el aspecto único y los movimientos corporales naturales de la persona, al tiempo que sigue con precisión la escena descrita en la indicación.

Fig 5. Un ejemplo de la capacidad de generación de vídeos personalizados del modelo.

Edición precisa de vídeo#

Con el modelo Movie Gen Edit, los usuarios pueden proporcionar un clip de vídeo y una indicación de texto como entrada para editar el vídeo de forma creativa. El modelo combina la generación de vídeo con la edición avanzada de imágenes para realizar ediciones muy específicas, como añadir, eliminar o sustituir elementos. También puede realizar cambios globales, como modificar el fondo del clip de vídeo o el estilo general. Sin embargo, lo que hace que el modelo sea realmente único es su precisión: puede dirigirse únicamente a los píxeles concretos que requieren edición y dejar intacto el resto. Esto conserva el contenido original en la medida de lo posible.

Fig 6. Varios ejemplos de las capacidades de edición de vídeo del modelo Movie Gen Edit.

Herramientas de evaluación comparativa de Meta Movie Gen#

Junto con los modelos de IA generativa, Meta también presentó Movie Gen Bench, un conjunto de herramientas de evaluación comparativa para probar el rendimiento de los modelos de IA generativa. Incluye dos herramientas principales: Movie Gen Video Bench y Movie Gen Audio Bench. Ambas están diseñadas para probar distintos aspectos de la generación de vídeo y audio.

Aquí tienes un vistazo a ambas herramientas:

• Movie Gen Video Bench: Consta de 1003 indicaciones que abarcan una amplia variedad de categorías de prueba, como actividades humanas, animales, paisajes naturales, física, así como temas y actividades inusuales. Lo que hace especialmente valioso este punto de referencia de evaluación es su cobertura de distintos niveles de movimiento, que garantiza que el modelo de generación de vídeo se pruebe tanto con secuencias rápidas como lentas.
• Movie Gen Audio Bench: Está diseñado para probar las capacidades de generación de audio mediante 527 indicaciones. Estas indicaciones se combinan con vídeos generados para evaluar hasta qué punto el modelo puede sincronizar efectos de sonido y música con el contenido visual.

Fig 7. El diagrama muestra un desglose de las indicaciones de evaluación, con una lista de conceptos a la izquierda y una nube de palabras con sustantivos y verbos de uso frecuente a la derecha.

Una aplicación práctica de Meta Movie Gen#

Ahora que hemos explicado qué son los modelos Meta Movie Gen y cómo funcionan, exploremos una de sus aplicaciones prácticas.

Innovaciones de Movie Gen AI en la producción cinematográfica#

Uno de los usos más interesantes de Movie Gen de Meta es su capacidad para transformar la producción cinematográfica mediante la creación de vídeo y audio basada en IA. Con Movie Gen, los creadores pueden generar imágenes y sonidos de alta calidad a partir de simples indicaciones de texto, lo que abre nuevas formas de contar historias.

De hecho, Meta colaboró con Blumhouse y un grupo de cineastas para recopilar sus opiniones sobre cómo Movie Gen puede apoyar mejor el proceso creativo. Cineastas como Aneesh Chaganty, las hermanas Spurlock y Casey Affleck probaron la capacidad de la herramienta para capturar el ambiente, el tono y la dirección visual. Descubrieron que los modelos ayudaban a estimular ideas nuevas.

Este programa piloto ha demostrado que, aunque Movie Gen no sustituye a la producción cinematográfica tradicional, ofrece a los directores una nueva forma de experimentar con elementos visuales y de audio de manera rápida y creativa. Los cineastas también valoraron que las funciones de edición de la herramienta les permitieran jugar con sonidos de fondo, efectos y estilos visuales con mayor libertad.

Fig 8. Un fotograma de un cortometraje creado con Meta Movie Gen.

Conclusiones clave#

Meta Movie Gen supone un paso adelante en el uso de la IA generativa para crear vídeos y sonidos de alta calidad a partir de simples descripciones de texto. La herramienta ayuda a los usuarios a crear fácilmente vídeos realistas y personalizados. Con capacidades como la edición precisa de vídeo y la generación de contenido multimedia personalizado, Meta Movie Gen ofrece un conjunto flexible de herramientas que abre nuevas posibilidades para la narración, la producción cinematográfica y mucho más. Al facilitar la creación de imágenes detalladas y útiles, Meta Movie Gen está transformando la forma en que se crean y utilizan los vídeos en distintos sectores y estableciendo un nuevo estándar para la creación de contenido impulsada por IA.

Para obtener más información, visita nuestro repositorio de GitHub y participa en nuestra comunidad. Explora las aplicaciones de AI en coches autónomos y agricultura en nuestras páginas de soluciones. 🚀