Meta Movie Gen: una nueva forma de crear contenido

Tanto si aspiras a ser cineasta como si creas contenido y disfrutas haciendo vídeos para tu audiencia, siempre viene bien disponer de herramientas de IA que potencien tu creatividad. Hace poco, Meta lanzó su último modelo de generación de vídeo, conocido como Meta Movie Gen.

Se prevé que el mercado mundial de la IA generativa en los medios y el entretenimiento alcance los 11.570 millones de dólares en 2033, con empresas como Runway, OpenAI y Meta a la cabeza de innovaciones revolucionarias. Meta Movie Gen, en particular, es ideal para aplicaciones como la producción cinematográfica, la creación de contenido de vídeo y la narración digital, ya que hace que dar vida a ideas creativas mediante vídeos de alta calidad generados por IA sea más fácil que nunca. En este artículo, exploraremos Meta Movie Gen y su funcionamiento. También veremos más de cerca algunas de sus aplicaciones. ¡Empecemos!

Fig. 1. Fotograma de un vídeo generado con Meta Movie Gen.

¿Qué es Meta Movie Gen?#

Antes de hablar de qué es Meta Movie Gen, veamos cómo surgió.

La investigación de Meta relacionada con la IA generativa comenzó con su serie de modelos Make-A-Scene. Esta investigación se centra en un método de IA generativa multimodal que ayuda a artistas y visionarios a dar vida a su imaginación. Los artistas pueden introducir imágenes, audio, vídeos o animaciones 3D para obtener la imagen que desean. El siguiente gran avance llegó con los modelos de difusión, como los modelos fundacionales Llama Image (Emu), que hicieron posible generar imágenes y vídeos de mucha más calidad y permitieron editar imágenes.

Fig. 2. Ejemplo del uso de un boceto y una entrada de texto de Make-A-Scene para generar una imagen.

Movie Gen es la última aportación de Meta a la investigación sobre IA generativa. Combina todas las modalidades mencionadas anteriormente y permite un control más preciso, para que las personas puedan utilizar los modelos de formas más creativas. Meta Movie Gen es un conjunto de modelos fundacionales para generar distintos tipos de contenido multimedia, incluidos texto a vídeo, texto a audio y texto a imagen. Consta de cuatro modelos, entrenados con una combinación de conjuntos de datos con licencia y de acceso público.

Aquí tienes un breve resumen de estos modelos:

• Modelo Movie Gen Video: modelo de 30.000 millones de parámetros que genera vídeos de alta calidad a partir de indicaciones de texto.
• Modelo Movie Gen Audio: modelo de 13.000 millones de parámetros que puede crear bandas sonoras sincronizadas con el contenido de vídeo.
• Modelo Movie Gen Video personalizado: genera vídeos de personas concretas a partir de una indicación de texto y una única imagen, conservando su aspecto.
• Modelo Movie Gen Edit: permite realizar ediciones de vídeo detalladas basadas en texto, tanto en vídeos reales como ficticios.

Entrenamiento del modelo de vídeo Meta Movie Gen#

En la creación y el entrenamiento del modelo Movie Gen Video intervinieron varios procesos clave. El primer paso consistió en recopilar y preparar datos visuales, incluidas imágenes y clips de vídeo, principalmente de actividades humanas filtradas por calidad, movimiento y relevancia. Después, los datos se emparejaron con descripciones de texto que explicaban lo que ocurría en cada escena. Las descripciones, generadas con el modelo LLaMa3-Video de Meta, proporcionaban información detallada sobre el contenido de cada escena y mejoraban la capacidad del modelo para contar historias visuales.

Fig. 3. Descripción general del flujo de selección de datos de preentrenamiento del modelo Movie Gen Video.

El proceso de entrenamiento comenzó con el modelo aprendiendo a transformar texto en imágenes de baja resolución. Después, pasó a crear clips de vídeo completos mediante una combinación de entrenamiento de texto a imagen y de texto a vídeo, utilizando imágenes de calidad cada vez mayor.

Una herramienta llamada autocodificador temporal (TAE) comprimió los vídeos para gestionar grandes volúmenes de datos de forma eficiente. El ajuste mejoró aún más la calidad del vídeo, y un método llamado promedio de modelos (que combina las salidas de varios modelos para obtener resultados más fluidos y uniformes) garantizó una mayor coherencia en los resultados. Por último, el vídeo, inicialmente a 768p, se amplió a una resolución nítida de 1080p mediante una técnica de sobremuestreo espacial, que aumenta la resolución de la imagen añadiendo datos de píxeles para lograr imágenes más claras. El resultado fueron vídeos de alta calidad y gran nivel de detalle.

Exploración de las capacidades de Meta Movie Gen#

Los modelos Meta Movie Gen admiten principalmente cuatro capacidades distintas. Veamos cada una de ellas con más detalle.

Generación de vídeo y audio#

Meta Movie Gen puede generar vídeos de alta calidad. Estos clips pueden durar hasta 16 segundos y reproducirse a 16 fps (fotogramas por segundo), creando imágenes realistas que capturan el movimiento, las interacciones y los ángulos de cámara a partir de indicaciones de texto. Combinado con el modelo de audio de 13.000 millones de parámetros, puede producir audio sincronizado —incluidos sonidos ambientales, efectos de sonido y música— que encaja con las imágenes.

Esta configuración garantiza una experiencia fluida y realista, en la que las imágenes y el audio se mantienen sincronizados y verosímiles en distintas escenas e indicaciones. Por ejemplo, estos modelos se utilizaron para crear clips de vídeo del hipopótamo pigmeo tailandés que se hizo viral, llamado Moo Deng.

Fig. 4. Fotograma de un clip de vídeo de Moo Deng creado con Movie Gen de Meta.

Generación de vídeo personalizado#

Otra capacidad interesante del modelo Meta Movie Gen es la generación de vídeo personalizado. Los usuarios pueden proporcionar la imagen de una persona y una indicación de texto que describa cómo debe generarse el clip de vídeo. El resultado es un vídeo que incluye a la persona de referencia e incorpora los ricos detalles visuales especificados en la indicación de texto. El modelo utiliza ambas entradas (imagen y texto) para conservar el aspecto único y los movimientos corporales naturales de la persona, al tiempo que sigue con precisión la escena descrita en la indicación.

Fig. 5. Ejemplo de la capacidad del modelo para generar vídeos personalizados.

Edición precisa de vídeo#

Con el modelo Movie Gen Edit, los usuarios pueden introducir un clip de vídeo y una indicación de texto para editar el vídeo de forma creativa. El modelo combina la generación de vídeo con la edición avanzada de imágenes para realizar cambios muy concretos, como añadir, eliminar o sustituir elementos. También puede aplicar cambios globales, como modificar el fondo del clip o el estilo general. Sin embargo, lo que hace que el modelo sea realmente único es su precisión: puede actuar únicamente sobre los píxeles concretos que hay que editar y dejar intacto el resto. Así, conserva el contenido original en la medida de lo posible.

Fig. 6. Varios ejemplos de las capacidades de edición de vídeo del modelo Movie Gen Edit.

Herramientas de evaluación comparativa de Meta Movie Gen#

Junto con los modelos de IA generativa, Meta también presentó Movie Gen Bench, un conjunto de herramientas de evaluación comparativa para probar el rendimiento de los modelos de IA generativa. Incluye dos herramientas principales: Movie Gen Video Bench y Movie Gen Audio Bench. Ambas están diseñadas para probar distintos aspectos de la generación de vídeo y audio.

Aquí tienes un resumen de ambas herramientas:

• Movie Gen Video Bench: consta de 1003 indicaciones que abarcan una amplia variedad de categorías de prueba, como actividades humanas, animales, paisajes naturales, física, además de temas y actividades inusuales. Este benchmark de evaluación resulta especialmente valioso por la variedad de niveles de movimiento que cubre, lo que garantiza que el modelo de generación de vídeo se pruebe tanto con secuencias rápidas como lentas.
• Movie Gen Audio Bench: está diseñado para probar las capacidades de generación de audio con 527 indicaciones. Estas se emparejan con vídeos generados para evaluar hasta qué punto el modelo puede sincronizar los efectos de sonido y la música con el contenido visual.

Fig. 7. El diagrama muestra un desglose de las indicaciones de evaluación, con una lista de conceptos a la izquierda y una nube de palabras con los sustantivos y verbos más utilizados a la derecha.

Una aplicación práctica de Meta Movie Gen#

Ahora que hemos visto qué son los modelos Meta Movie Gen y cómo funcionan, exploremos una de sus aplicaciones prácticas.

Innovaciones de Movie Gen AI en la producción cinematográfica#

Uno de los usos más interesantes de Movie Gen de Meta es su capacidad para transformar la producción cinematográfica mediante la creación de audio y vídeo con IA. Con Movie Gen, los creadores pueden generar imágenes y sonidos de alta calidad a partir de sencillas indicaciones de texto, lo que abre nuevas formas de contar historias.

De hecho, Meta colaboró con Blumhouse y un grupo de cineastas para recabar su opinión sobre cómo Movie Gen podía respaldar mejor el proceso creativo. Cineastas como Aneesh Chaganty, las hermanas Spurlock y Casey Affleck probaron la capacidad de la herramienta para plasmar el ambiente, el tono y la dirección visual. Descubrieron que los modelos ayudaban a generar nuevas ideas.

Este programa piloto ha demostrado que, aunque Movie Gen no sustituye a la producción cinematográfica tradicional, ofrece a los directores una nueva forma de experimentar rápida y creativamente con elementos visuales y de audio. Los cineastas también valoraron que las funciones de edición de la herramienta les permitieran jugar con mayor libertad con los sonidos de fondo, los efectos y los estilos visuales.

Fig. 8. Fotograma de un cortometraje creado con Meta Movie Gen.

Conclusiones clave#

Meta Movie Gen supone un avance en el uso de la IA generativa para crear vídeos y sonidos de alta calidad a partir de descripciones de texto sencillas. La herramienta ayuda a los usuarios a crear fácilmente vídeos realistas y personalizados. Con capacidades como la edición precisa de vídeo y la generación de contenido multimedia personalizado, Meta Movie Gen ofrece un conjunto flexible de herramientas que abre nuevas posibilidades para la narración, la producción cinematográfica y mucho más. Al facilitar la creación de imágenes detalladas y útiles, Meta Movie Gen está transformando la forma en que se crean y utilizan los vídeos en distintos ámbitos, y establece un nuevo estándar para la creación de contenido basada en IA.

Para obtener más información, visita nuestro repositorio de GitHub y participa en nuestra comunidad. Descubre aplicaciones de IA en coches autónomos y agricultura en nuestras páginas de soluciones. 🚀