Generar vídeos con Veo de Google DeepMind

Durante la presentación de Google I/O 2024, el 14 de mayo, se compartieron las últimas novedades de DeepMind, la división de IA de Google. Uno de los anuncios más destacados fue Veo, un nuevo modelo generativo de vídeo. Veo puede crear vídeos de alta calidad en 1080p a partir de instrucciones de texto, imágenes y vídeos. Incluso permite editar los vídeos generados mediante instrucciones posteriores. Veamos más de cerca las funciones que ofrece Veo.

Descubre las capacidades de Veo#

Veo es un modelo generativo de vídeo que utiliza una comprensión profunda del lenguaje y las imágenes para crear vídeos que se ajustan fielmente a la visión creativa del usuario. Puede captar con precisión el tono y los detalles de instrucciones más largas, lo que lo convierte en una potente herramienta para los creadores que quieren transformar sus ideas en contenido de vídeo preciso.

El usuario puede ejercer un control creativo muy preciso sobre el vídeo generado, ya que Veo entiende técnicas cinematográficas como «cámara rápida» y «tomas aéreas de un paisaje». Este control creativo permite crear vídeos en los que las personas, los animales y los objetos se mueven de forma natural. Los vídeos generados por Veo son atractivos y visualmente llamativos, porque cuesta darse cuenta de que los ha generado un modelo de IA.

Veo va más allá de crear vídeos a partir de instrucciones. Si proporcionas un vídeo generado previamente y una petición de edición concreta, como insertar kayaks en una vista aérea de la costa, Veo puede incorporar el cambio al vídeo original y producir una versión actualizada.

Fig. 1. Ejemplo de edición de vídeo con Veo.

Estas son otras funciones que ofrece Veo:

• Edición con máscaras: Veo puede ayudarte a editar zonas definidas de un vídeo.
• Creación de vídeos a partir de imágenes: con una imagen y una instrucción de texto, Veo puede generar vídeos que imitan el estilo de la imagen y siguen las indicaciones de la instrucción.
• Ampliación de clips de vídeo: Veo puede crear y ampliar clips de vídeo hasta 60 segundos o más, ya sea a partir de una sola instrucción o de una secuencia de instrucciones que, en conjunto, cuentan una historia.

Vídeos impresionantes generados por Veo#

Veamos algunos de los vídeos que ha generado Veo y qué los hace destacar.

Generar un vídeo en cámara rápida a partir de una instrucción de texto breve es difícil. Por lo general, una instrucción de texto breve no puede describir con precisión los cambios y movimientos de una escena en cámara rápida. Por eso resulta notable que Veo pueda entender qué esperar de una secuencia en cámara rápida sin necesidad de entrar en detalles.

Fig. 2. Fotograma del vídeo time-lapse generado por Veo.

Del mismo modo, no es fácil generar vídeos con una física precisa. El modelo de IA debe comprender y simular las leyes de la física, como la gravedad, el momento y las colisiones, para que los movimientos y las interacciones parezcan realistas. Es impresionante que Veo pueda modelar estas dinámicas con precisión sin recibir instrucciones de texto detalladas.

Fig. 3. Un fotograma de un vídeo generado con Veo capta con precisión la física del movimiento de una medusa.

Hasta ahora, solo habíamos visto vídeos cortos generados por IA debido a las limitaciones computacionales y a la complejidad de mantener la coherencia en secuencias más largas. En la presentación de Google I/O 2024 se mostró la capacidad de Veo para crear vídeos más largos y complejos.

Fig. 4. Fotogramas del vídeo más largo de Veo mostrado en la presentación de Google I/O 2024.

¿Cómo funciona Veo?#

Como muchos otros modelos de IA, Veo se apoya en los avances de otros. Se basa en desarrollos anteriores como Generative Query Network (GQN), DVD-GAN, Imagen-Video, Phenaki, WALT, VideoPoet y Lumiere, así como en la arquitectura Transformer de Google y Gemini. Además, para mejorar la capacidad de Veo de interpretar correctamente las instrucciones, los pies de vídeo de su conjunto de entrenamiento eran más detallados.

Según el flujo de trabajo general del modelo que compartió Google, así funciona Veo:

• Instrucciones de entrada: proporcionas una instrucción de texto y, opcionalmente, una imagen.
• Codificación: un codificador UL2 procesa la instrucción de texto y un codificador de imágenes procesa la imagen.
• Instrucción integrada: se combinan las salidas de los codificadores de texto e imagen para formar una única instrucción integrada.
• Modelo de difusión latente: se introducen en este modelo la instrucción integrada y un vídeo comprimido con ruido, que genera un vídeo comprimido a partir de ambos. Veo utiliza representaciones de vídeo comprimidas de alta calidad, conocidas como latentes, para mejorar la eficiencia sin perder calidad.
• Decodificación: el último paso decodifica la salida de vídeo de 1080p a partir del vídeo comprimido.

Fig. 5. Cómo funciona Veo.

Un estudio de caso convincente sobre producción cinematográfica#

Para poner a prueba las capacidades de Veo, Google colaboró con el cineasta Donald Glover y su estudio creativo, Gilga. Utilizaron Veo para explorar diversas técnicas creativas, como los planos de seguimiento dinámicos, que requieren movimientos precisos y un encuadre constante.

Fig. 6. Uso de Veo en el proceso de producción cinematográfica.

Tradicionalmente, los cineastas se enfrentan a limitaciones de tiempo y recursos. Con Veo, Glover y su equipo pudieron experimentar rápidamente y generar planos complejos, lo que les dio más flexibilidad y les permitió innovar en el proceso de realización cinematográfica.

Por ejemplo, antes del rodaje, podían probar distintos planos de seguimiento dinámicos, ver cómo quedarían y hacer los ajustes necesarios. Este proceso de previsualización les ayudó a perfeccionar sus ideas y a asegurarse de que los planos funcionarían como estaba previsto, lo que redujo el número de tomas necesarias durante el rodaje. Pudieron crear un estudio de caso convincente para demostrar el potencial de Veo para transformar la industria cinematográfica. Esta herramienta ofrece una forma más rápida y eficiente de dar vida a las ideas creativas.

Usos prácticos de Veo en distintos sectores#

Las avanzadas capacidades de generación de vídeo de Veo tienen aplicaciones prácticas en muchos sectores. En publicidad, puede producir rápidamente anuncios personalizados de alta calidad para públicos específicos, lo que ahorra tiempo y costes de producción. En educación, Veo puede crear vídeos didácticos atractivos que facilitan la comprensión de conceptos complejos.

Las empresas pueden utilizar Veo para formación y comunicación corporativa. Los profesionales de la sanidad podrían usar Veo para simular procedimientos médicos con fines formativos. Para eventos virtuales y conferencias, Veo puede crear simulaciones realistas de recintos y escenarios, ofreciendo a los asistentes una experiencia atractiva e interactiva desde cualquier lugar. Los organizadores se benefician de un mayor alcance y de información valiosa para futuros eventos.

Cuando un modelo de IA puede influir en distintos sectores, es importante tener en cuenta la seguridad y la ética de la IA. Para facilitar una adopción más amplia y garantizar un uso responsable, Google ha implementado varias medidas de seguridad. Los vídeos creados por Veo llevan una marca de agua de SynthID, una herramienta para añadir marcas de agua e identificar contenido generado por IA. SynthID fomenta la transparencia y ayuda a mitigar los riesgos relacionados con la privacidad, los derechos de autor y los sesgos. Además, todos los vídeos generados pasan por filtros de seguridad y procesos de comprobación de memorización. Estas medidas están diseñadas para fomentar una producción de vídeo responsable.

Dónde acceder a Veo#

En el lanzamiento, Google anunció que empezaría a ofrecer algunas funciones de Veo a creadores seleccionados a través de VideoFX, una nueva herramienta disponible en labs.google que les permitiría experimentar pronto con sus capacidades de generación de vídeo. Se abrió una lista de espera para Veo para que los creadores interesados pudieran apuntarse.

Más información sobre las novedades de IA generativa de DeepMind en 2024#

Además de Veo, DeepMind presentó varias novedades de IA generativa para 2024. Una de ellas fue Imagen 3, su modelo de texto a imagen más avanzado hasta ese momento. Imagen 3 destaca por crear imágenes fotorrealistas y realistas. Comprende en profundidad las instrucciones en lenguaje natural y captura detalles complejos, al tiempo que minimiza los artefactos visuales.

Fig. 7. Imagen generada con Imagen 3.

DeepMind también ha desarrollado Lyria, su modelo más avanzado para generar música con IA. Como parte de esta iniciativa, DeepMind ha creado un conjunto de herramientas de IA musical llamado Music AI Sandbox. Estas herramientas permiten a músicos y productores explorar nuevas posibilidades creativas en la composición musical y la transformación del sonido.

Fig. 8. Ejemplo de interfaz de usuario de las herramientas de música con IA de DeepMind.

Al igual que con Veo, DeepMind también ha implementado varias medidas de seguridad para sus otras novedades. SynthID se utilizará en todas ellas como herramienta para añadir marcas de agua e identificar contenido generado por IA. Estas novedades de DeepMind prometen transformar distintos sectores al ofrecer herramientas avanzadas, eficientes y responsables para crear contenido visual y de audio de alta calidad.

Cómo afrontar la próxima etapa de la IA generativa#

Los avances de DeepMind en IA generativa durante 2024, incluidos Veo, Imagen 3 y Lyria, representan un gran salto en las capacidades de la IA. Veo transforma la creación de vídeo al generar vídeos de alta calidad en 1080p a partir de instrucciones sencillas, lo que lo convierte en una herramienta versátil para cineastas y creadores de contenido. Imagen 3 destaca por producir imágenes fotorrealistas, mientras que Lyria abre nuevas posibilidades en la generación musical con herramientas avanzadas de IA.

Estas tecnologías prometen transformar distintos sectores al proporcionar herramientas eficientes y responsables para crear contenido visual y de audio de alta calidad. Con medidas de seguridad como SynthID, que garantizan un uso ético, DeepMind sigue ampliando los límites de la IA y allanando el camino para aplicaciones innovadoras en el futuro.

Adéntrate en el mundo de la IA visitando nuestro repositorio de GitHub y uniéndote a nuestra comunidad. Explora nuestras páginas de soluciones para descubrir cómo se aplica la IA en la fabricación y la agricultura.