Meta Movie Gen: Reimaginando la creación de contenido

Tanto si eres un aspirante a cineasta como un creador de contenido que disfruta haciendo vídeos para su audiencia, contar con herramientas de inteligencia artificial que amplíen tu creatividad siempre es útil. Recientemente, Meta ha lanzado su modelo de vídeo generativo más reciente, conocido como Meta Movie Gen.

Se proyecta que el mercado global de IA generativa en medios y entretenimiento alcance los 11.570 millones de dólares para 2033, con empresas como Runway, OpenAI y Meta liderando el camino en innovaciones revolucionarias. Meta Movie Gen, en particular, es ideal para aplicaciones como la realización de cine, la creación de contenidos en vídeo y la narrativa digital, lo que facilita más que nunca dar vida a visiones creativas mediante vídeos de alta calidad generados por IA. En este artículo, exploraremos Meta Movie Gen y cómo funciona. También echaremos un vistazo más de cerca a algunas de sus aplicaciones. ¡Empecemos!

Fig 1. Un fotograma de un clip de vídeo generado utilizando Meta Movie Gen.

¿Qué es Meta Movie Gen?#

Antes de hablar de qué es Meta Movie Gen, echemos un vistazo a cómo surgió.

Los esfuerzos de investigación de Meta relacionados con la IA generativa comenzaron con su serie de modelos Make-A-Scene. Esta investigación se centra en un método de IA generativa multimodal que ayuda a los artistas y visionarios a dar vida a su imaginación. Los artistas pueden introducir imágenes, audio, vídeos o animaciones 3D para obtener la salida de imagen deseada. El siguiente gran salto en la innovación llegó con los modelos de difusión como los modelos Llama Image Foundation (Emu), que hicieron posible generar imágenes y vídeos de mucha mayor calidad y permitieron la edición de imágenes.

Fig 2. Un ejemplo del uso del boceto y la entrada de texto de Make-A-Scene para obtener una imagen generada.

Movie Gen es la contribución más reciente de Meta a la investigación sobre IA generativa. Combina todas las modalidades mencionadas anteriormente y permite un control aún más preciso para que las personas puedan utilizar los modelos de formas más creativas. Meta Movie Gen es una colección de modelos fundamentales para generar diferentes tipos de medios, incluyendo texto a vídeo, texto a audio y texto a imagen. Consta de cuatro modelos, los cuales están entrenados con una combinación de conjuntos de datos con licencia y de acceso público.

Aquí tienes un breve resumen de estos modelos:

• Modelo Movie Gen Video: Un modelo de 30 mil millones de parámetros que genera vídeos de alta calidad a partir de mensajes de texto.
• Modelo Movie Gen Audio: Un modelo de 13 mil millones de parámetros que puede crear bandas sonoras que se sincronizan con el contenido de vídeo.
• Modelo Personalized Movie Gen Video: Genera vídeos de personas específicas basándose en un mensaje de texto y una sola imagen, conservando su parecido.
• Modelo Movie Gen Edit: El modelo permite realizar ediciones de vídeo detalladas basadas en texto tanto para vídeos reales como ficticios.

Entrenando el modelo de vídeo Meta Movie Gen#

Several key processes were involved in creating and training the Movie Gen Video model. The first step involved collecting and preparing visual data, including images and video clips, primarily of human activities filtered for quality, motion, and relevance. The data was then paired with text captions that explained what was happening within each scene. The captions, generated using Meta’s LLaMa3-Video model, provided rich details about the content of each scene, enhancing the model’s visual storytelling capabilities.

Fig 3. Una visión general de la canalización de curación de datos de preentrenamiento del modelo Movie Gen Video.

El proceso de entrenamiento comenzó con el aprendizaje del modelo para transformar texto en imágenes de baja resolución. A continuación, avanzó hacia la creación de clips de vídeo completos mediante una combinación de entrenamiento de texto a imagen y texto a vídeo, utilizando elementos visuales de calidad cada vez mayor.

Una herramienta llamada Codificador Temporal Automático (TAE) comprimió los vídeos para gestionar grandes volúmenes de datos de forma eficiente. El ajuste fino perfeccionó aún más la calidad del vídeo, y un método denominado promediado de modelos (que combina varias salidas de modelos para obtener resultados más fluidos y consistentes) garantizó una mayor coherencia en los resultados. Por último, el vídeo, inicialmente a 768p, se escaló a una nítida resolución de 1080p utilizando una técnica de muestreo espacial superior, que aumenta la resolución de la imagen añadiendo datos de píxeles para obtener imágenes más claras. El resultado fueron salidas de vídeo detalladas y de alta calidad.

Explorando las capacidades de Meta Movie Gen#

Los modelos de Meta Movie Gen admiten principalmente cuatro habilidades diferentes. Analicemos cada una de ellas más de cerca.

Generación de vídeo y audio#

Meta Movie Gen puede generar vídeos de alta calidad. Estos clips de vídeo pueden durar hasta 16 segundos y reproducirse a 16 fps (fotogramas por segundo), creando imágenes realistas que capturan el movimiento, las interacciones y los ángulos de cámara a partir de indicaciones de texto. Combinado con el modelo de audio de 13 mil millones de parámetros, puede producir audio sincronizado, incluyendo sonidos ambientales, efectos Foley y música, para que coincida con las imágenes.

Esta configuración garantiza una experiencia fluida y realista, en la que tanto las imágenes como el audio se mantienen alineados y realistas en diversas escenas e indicaciones. Por ejemplo, estos modelos se utilizaron para crear clips de vídeo del hipopótamo pigmeo viral de Tailandia, llamado Moo Deng.

Fig 4. Un fotograma de un clip de vídeo de Moo Deng realizado con el Movie Gen de Meta.

Generación de vídeo personalizado#

Otra capacidad interesante del modelo Meta Movie Gen es la generación de vídeo personalizada. Los usuarios pueden proporcionar la imagen de una persona y una indicación de texto que describa cómo debe generarse el clip de vídeo, lo que da como resultado un vídeo que incluye a la persona de referencia e incorpora los ricos detalles visuales especificados en la indicación de texto. El modelo utiliza ambas entradas (imagen y texto) para mantener la apariencia única de la persona y sus movimientos corporales naturales, al tiempo que sigue con precisión la escena descrita en la indicación.

Fig 5. Un ejemplo de la capacidad de generación de vídeo personalizada del modelo.

Edición de vídeo precisa#

Usando el modelo Movie Gen Edit, los usuarios pueden proporcionar tanto un videoclip como un mensaje de texto como entrada para editar el vídeo de formas creativas. El modelo combina la generación de vídeo con la edición de imágenes avanzada para realizar ediciones muy específicas, como añadir, eliminar o reemplazar elementos. También puede realizar cambios globales como modificar el fondo del videoclip o el estilo general. Pero lo que hace que el modelo sea verdaderamente único es su precisión: puede dirigirse solo a los píxeles específicos que requieren edición y dejar el resto intacto. Esto preserva el contenido original tanto como sea posible.

Fig 6. Varios ejemplos de las capacidades de edición de vídeo del modelo Movie Gen Edit.

Herramientas de evaluación comparativa de Meta Movie Gen#

Junto con los modelos de IA generativa, Meta también presentó Movie Gen Bench, un conjunto de herramientas de evaluación comparativa para probar el rendimiento de los modelos de IA generativa. Viene con dos herramientas principales: Movie Gen Video Bench y Movie Gen Audio Bench. Ambas están diseñadas para probar diferentes aspectos de la generación de vídeo y audio.

Aquí tienes un vistazo de ambas herramientas:

• Movie Gen Video Bench: Consta de 1003 indicaciones que cubren una amplia variedad de categorías de pruebas como actividades humanas, animales, paisajes naturales, física, así como temas y actividades inusuales. Lo que hace que este banco de pruebas de evaluación sea especialmente valioso es su cobertura de los niveles de movimiento, lo que garantiza que el modelo de generación de vídeo se pruebe tanto para secuencias de ritmo rápido como más lento.
• Movie Gen Audio Bench: Está diseñado para probar las capacidades de generación de audio en 527 mensajes. Estos mensajes se combinan con vídeos generados para evaluar qué tan bien el modelo puede sincronizar efectos de sonido y música con el contenido visual.

Fig 7. El diagrama muestra un desglose de las indicaciones de evaluación, con una lista de conceptos a la izquierda y una nube de palabras de los nombres y verbos más utilizados a la derecha.

Una aplicación práctica de Meta Movie Gen#

Ahora que hemos cubierto qué son los modelos Meta Movie Gen y cómo funcionan, exploremos una de sus aplicaciones prácticas.

Innovaciones de la IA de Movie Gen en la cinematografía#

Uno de los usos más emocionantes del Movie Gen de Meta es cómo puede transformar la realización de cine a través de la creación de vídeo y audio impulsada por IA. Con Movie Gen, los creadores pueden generar imágenes y sonidos de alta calidad a partir de simples indicaciones de texto, abriendo nuevas formas de contar historias.

De hecho, Meta se asoció con Blumhouse y un grupo de cineastas, recopilando sus comentarios sobre cómo Movie Gen puede apoyar mejor el proceso creativo. Cineastas como Aneesh Chaganty, las hermanas Spurlock y Casey Affleck probaron la capacidad de la herramienta para capturar el estado de ánimo, el tono y la dirección visual. Descubrieron que los modelos ayudaban a avivar ideas frescas.

Este programa piloto ha demostrado que, si bien Movie Gen no reemplaza la cinematografía tradicional, ofrece a los directores una nueva forma de experimentar con elementos visuales y sonoros de manera rápida y creativa. Los cineastas también apreciaron cómo las funciones de edición de la herramienta les permitían jugar con sonidos de fondo, efectos y estilos visuales con mayor libertad.

Fig 8. Un fotograma de un cortometraje creado utilizando Meta Movie Gen.

Conclusiones clave#

Meta Movie Gen es un paso adelante en el uso de la IA generativa para realizar vídeos y sonidos de alta calidad a partir de simples descripciones de texto. La herramienta ayuda a los usuarios a crear fácilmente vídeos realistas y personalizados. Con capacidades como la edición de vídeo precisa y la generación de medios personalizados, Meta Movie Gen ofrece un conjunto de herramientas flexible que abre nuevas posibilidades para la narración, la cinematografía y más allá. Al facilitar la creación de imágenes detalladas y útiles, Meta Movie Gen está transformando la forma en que se hacen y utilizan los vídeos en diferentes campos y estableciendo un nuevo estándar para la creación de contenido impulsada por IA.

Para obtener más información, visita nuestro repositorio de GitHub e interactúa con nuestra comunidad. Explora las aplicaciones de IA en coches autónomos y agricultura en nuestras páginas de soluciones. 🚀