Meta Movie Gen: una nueva forma de crear contenido

Tanto si aspiras a ser cineasta como si creas contenido y disfrutas haciendo vídeos para tu audiencia, siempre viene bien contar con herramientas de IA que amplíen tu creatividad. Hace poco, Meta lanzó su último modelo de generación de vídeo, conocido como Meta Movie Gen.

Se prevé que el mercado mundial de la IA generativa en los medios y el entretenimiento alcance los 11.570 millones de dólares en 2033, con empresas como Runway, OpenAI y Meta a la cabeza. Meta Movie Gen, en particular, es ideal para aplicaciones como la producción cinematográfica, la creación de contenido de vídeo y la narración digital, pues facilita más que nunca dar vida a ideas creativas mediante vídeos de alta calidad generados por IA. En este artículo, exploraremos Meta Movie Gen y su funcionamiento. También examinaremos algunas de sus aplicaciones.

Fig. 1. Fotograma de un vídeo generado con Meta Movie Gen.

¿Qué es Meta Movie Gen?#

Antes de hablar de qué es Meta Movie Gen, veamos cómo surgió.

Los esfuerzos de investigación de Meta relacionados con la IA generativa comenzaron con su serie de modelos Make-A-Scene. Esta investigación se centra en un método de IA generativa multimodal que ayuda a artistas y visionarios a dar vida a su imaginación. Los artistas pueden introducir imágenes, audio, vídeos o animaciones 3D para obtener la imagen que desean. El siguiente gran avance llegó con los modelos de difusión, como los modelos fundacionales de imagen Llama (Emu), que hicieron posible generar imágenes y vídeos de mucha más calidad y editar imágenes.

Fig. 2. Ejemplo del uso de un boceto y una entrada de texto de Make-A-Scene para generar una imagen.

Movie Gen es la última contribución de Meta a la investigación en IA generativa. Combina todas las modalidades mencionadas anteriormente y permite un control más preciso para que las personas puedan utilizar los modelos de formas más creativas. Meta Movie Gen es una colección de modelos fundacionales para generar distintos tipos de contenido multimedia, como texto a vídeo, texto a audio y texto a imagen. Consta de cuatro modelos, entrenados con una combinación de conjuntos de datos con licencia y de acceso público.

Aquí tienes un breve resumen de estos modelos:

• Modelo Movie Gen Video: modelo de 30.000 millones de parámetros que genera vídeos de alta calidad a partir de indicaciones de texto.
• Modelo Movie Gen Audio: modelo de 13.000 millones de parámetros que puede crear bandas sonoras sincronizadas con el contenido de vídeo.
• Modelo Movie Gen Video personalizado: genera vídeos de personas concretas a partir de una indicación de texto y una única imagen, conservando su aspecto.
• Modelo Movie Gen Edit: permite realizar ediciones de vídeo detalladas basadas en texto, tanto en vídeos reales como ficticios.

Entrenamiento del modelo de vídeo Meta Movie Gen#

Para crear y entrenar el modelo Movie Gen Video se llevaron a cabo varios procesos clave. El primer paso consistió en recopilar y preparar datos visuales, incluidas imágenes y secuencias de vídeo, principalmente de actividades humanas, filtradas por calidad, movimiento y relevancia. A continuación, los datos se emparejaron con descripciones de texto que explicaban lo que ocurría en cada escena. Las descripciones, generadas con el modelo Llama 3-Video de Meta, aportaban detalles abundantes sobre el contenido de cada escena y mejoraban la capacidad narrativa visual del modelo.

Fig. 3. Descripción general del flujo de selección de datos de preentrenamiento del modelo Movie Gen Video.

El proceso de entrenamiento comenzó con el aprendizaje del modelo para transformar texto en imágenes de baja resolución. Después, pasó a crear secuencias de vídeo completas mediante una combinación de entrenamiento de texto a imagen y de texto a vídeo, utilizando imágenes visuales de calidad cada vez mayor.

Una herramienta llamada autocodificador temporal (TAE) comprimió los vídeos para gestionar grandes volúmenes de datos de forma eficiente. El ajuste fino mejoró aún más la calidad del vídeo, y un método llamado promediado de modelos (promedia varios modelos ajustados con distintos datos, hiperparámetros y puntos de control) garantizó una mayor coherencia en los resultados. Por último, el vídeo, que inicialmente tenía una resolución de 768p, se amplió a una nítida resolución de 1080p mediante una técnica de sobremuestreo espacial, que aumenta la resolución de la imagen añadiendo datos de píxeles para obtener imágenes más claras. El resultado fueron vídeos de gran calidad y muy detallados.

Exploración de las capacidades de Meta Movie Gen#

Los modelos Meta Movie Gen admiten principalmente cuatro capacidades distintas. Veamos cada una de ellas con más detalle.

Generación de vídeo y audio#

Meta Movie Gen puede generar vídeos de alta calidad. Estas secuencias pueden durar hasta 16 segundos y reproducirse a 16 fps (fotogramas por segundo), creando imágenes realistas que reflejan el movimiento, las interacciones y los ángulos de cámara descritos en las instrucciones de texto. Junto con el modelo de audio de 13.000 millones de parámetros, puede generar audio sincronizado, incluidos sonidos ambientales, efectos Foley y música, que encaja con las imágenes.

Esta configuración mantiene sincronizados y realistas tanto el vídeo como el audio en distintas escenas e instrucciones. Por ejemplo, estos modelos se utilizaron para crear secuencias de vídeo del hipopótamo pigmeo tailandés que se hizo viral, llamado Moo Deng.

Fig. 4. Fotograma de un clip de vídeo de Moo Deng creado con Movie Gen de Meta.

Generación de vídeo personalizado#

Otra capacidad interesante del modelo Meta Movie Gen es la generación de vídeos personalizados. Los usuarios pueden proporcionar la imagen de una persona y una instrucción de texto que describa cómo debe generarse el vídeo, para obtener una secuencia que incluya a esa persona y recoja los abundantes detalles visuales especificados en la instrucción. El modelo utiliza ambas entradas (imagen y texto) para conservar la apariencia única y los movimientos corporales naturales de la persona, a la vez que sigue con precisión la escena descrita en la instrucción.

Fig. 5. Ejemplo de la capacidad del modelo para generar vídeos personalizados.

Edición precisa de vídeo#

Con el modelo Movie Gen Edit, los usuarios pueden introducir un vídeo y una instrucción de texto para editarlo de forma creativa. El modelo combina la generación de vídeo con la edición avanzada de imágenes para realizar cambios muy específicos, como añadir, eliminar o sustituir elementos. También puede aplicar cambios globales, como modificar el fondo del vídeo o su estilo general. Lo que distingue al modelo es su precisión: puede modificar únicamente los píxeles concretos que necesitan edición y dejar intacto el resto. Así conserva el contenido original en la medida de lo posible.

Fig. 6. Varios ejemplos de las capacidades de edición de vídeo del modelo Movie Gen Edit.

Herramientas de evaluación comparativa de Meta Movie Gen#

Junto con los modelos de IA generativa, Meta también presentó Movie Gen Bench, un conjunto de herramientas de evaluación comparativa para probar el rendimiento de modelos de IA generativa. Incluye dos herramientas principales: Movie Gen Video Bench y Movie Gen Audio Bench. Ambas están diseñadas para probar distintos aspectos de la generación de vídeo y audio.

Aquí tienes un resumen de ambas herramientas:

• Movie Gen Video Bench: consta de 1.003 instrucciones que abarcan una gran variedad de categorías de prueba, como actividades humanas, animales, paisajes naturales, física y temas y actividades inusuales. Lo que hace que este conjunto de evaluación comparativa sea especialmente valioso es que cubre distintos niveles de movimiento, lo que garantiza que el modelo de generación de vídeo se pruebe tanto con secuencias rápidas como lentas.
• Movie Gen Audio Bench: está diseñado para probar las capacidades de generación de audio con 527 indicaciones. Estas se emparejan con vídeos generados para evaluar hasta qué punto el modelo puede sincronizar los efectos de sonido y la música con el contenido visual.

Fig. 7. El diagrama muestra un desglose de las indicaciones de evaluación, con una lista de conceptos a la izquierda y una nube de palabras con los sustantivos y verbos más utilizados a la derecha.

Una aplicación práctica de Meta Movie Gen#

Ahora que hemos visto qué son los modelos Meta Movie Gen y cómo funcionan, exploremos una de sus aplicaciones prácticas.

Innovaciones de Movie Gen AI en la producción cinematográfica#

Uno de los usos más interesantes de Movie Gen de Meta es su capacidad para transformar la producción cinematográfica mediante la creación de vídeo y audio con IA. Con Movie Gen, los creadores pueden generar imágenes y sonidos de alta calidad a partir de instrucciones de texto sencillas, lo que abre nuevas formas de contar historias.

De hecho, Meta colaboró con Blumhouse y un grupo de cineastas para recabar sus opiniones sobre cómo Movie Gen puede apoyar mejor el proceso creativo. Cineastas como Aneesh Chaganty, las hermanas Spurlock y Casey Affleck probaron la capacidad de la herramienta para plasmar el ambiente, el tono y la dirección visual. Descubrieron que los modelos ayudaban a generar ideas nuevas.

Este programa piloto ha demostrado que, aunque Movie Gen no sustituye a la producción cinematográfica tradicional, ofrece a los directores una nueva forma de experimentar rápida y creativamente con elementos visuales y de audio. Los cineastas también valoraron que las funciones de edición de la herramienta les permitieran jugar con mayor libertad con los sonidos de fondo, los efectos y los estilos visuales.

Fig. 8. Fotograma de un cortometraje creado con Meta Movie Gen.

Conclusiones clave#

Meta Movie Gen supone un avance en el uso de la IA generativa para crear vídeos y sonidos de alta calidad a partir de descripciones de texto sencillas. La herramienta ayuda a los usuarios a crear fácilmente vídeos realistas y personalizados. Gracias a capacidades como la edición precisa de vídeo y la generación de contenido multimedia personalizado, Meta Movie Gen ofrece un conjunto flexible de herramientas que abre nuevas posibilidades para contar historias, producir películas y mucho más. Al facilitar la creación de imágenes detalladas y útiles, Meta Movie Gen está cambiando la forma de crear y utilizar vídeos en distintos ámbitos.

Para obtener más información, visita nuestro repositorio de GitHub y participa en nuestra comunidad. Descubre aplicaciones de IA para coches autónomos y agricultura en nuestras páginas de soluciones.