Generación de vídeos con Veo de Google DeepMind

Durante la presentación I/O 2024 de Google el 14 de mayo, compartieron las últimas actualizaciones de DeepMind, su división de IA. Uno de los avances más interesantes que compartieron fue su nuevo modelo de vídeo generativo, Veo. Veo puede crear vídeos de alta calidad a 1080P basados en indicaciones de texto, imagen y vídeo. Incluso te permite editar los vídeos generados con indicaciones posteriores. Veo lleva la IA generativa al siguiente nivel. Echemos un vistazo más de cerca a las características que ofrece Veo. 

Comprender las capacidades de Veo

Veo es un modelo de vídeo generativo que utiliza una profunda comprensión del lenguaje y las imágenes para crear vídeos que coinciden estrechamente con la visión creativa de un usuario. Puede capturar el tono y los detalles de indicaciones más largas con precisión, lo que la convierte en una herramienta poderosa para los creadores que desean transformar sus ideas en contenido de vídeo preciso.

El usuario puede tener un control creativo innovador sobre el video generado porque Veo puede entender técnicas cinematográficas como "cámara rápida" y "tomas aéreas de un paisaje". Este control creativo permite a los usuarios crear videos donde personas, animales y objetos se mueven de forma natural. Los videos generados por Veo son atractivos y visualmente atractivos porque es difícil detectar que son generados por un modelo de IA.

Veo va más allá de simplemente crear vídeos a partir de indicaciones. Si proporciona un vídeo generado previamente y una solicitud de edición específica, como insertar kayaks en una vista aérea de una costa, Veo puede integrar sin problemas este cambio en el vídeo original, produciendo una versión actualizada.

Estas son algunas características más que ofrece Veo:

• Edición Enmascarada: Veo puede ayudarte a editar áreas definidas de un video.
  ‍
• Creación de videos inspirados en imágenes: Usando una imagen y una instrucción de texto, Veo puede generar videos que reflejen el estilo de la imagen y sigan las indicaciones de la instrucción.
  ‍
• Clips de video extendidos: Veo puede crear y extender clips de video a 60 segundos o más, ya sea desde un solo prompt o una secuencia de prompts que juntos cuentan una historia.

Vídeos impresionantes generados por Veo

Repasemos algunos de los videos que Veo ha generado y por qué son tan impresionantes. 

Generar un vídeo de un timelapse a partir de un breve texto es un desafío. Normalmente, el breve texto no puede transmitir con precisión los cambios y movimientos dentro de la escena del timelapse. Por lo tanto, es asombroso que Veo pueda entender lo que se espera de un timelapse sin entrar en detalles. 

‍

De manera similar, generar videos con una física precisa no es fácil. El modelo de IA necesita comprender y simular las leyes de la física, como la gravedad, el momento y las colisiones, para que los movimientos y las interacciones parezcan realistas. Es impresionante que Veo sea capaz de modelar con precisión estas dinámicas sin una guía detallada de las indicaciones de texto.

‍

Hasta ahora, solo hemos visto videos más cortos generados por IA debido a las limitaciones computacionales y la complejidad de mantener la coherencia en secuencias más largas. En la presentación I/O 2024 de Google, se mostró la asombrosa capacidad de Veo para crear videos más largos e intrincados.

‍

¿Cómo funciona Veo?

Como muchos otros modelos de IA, Veo se apoya en hombros de gigantes. Se basa en avances anteriores como Generative Query Network (GQN), DVD-GAN, Imagen-Video, Phenaki, WALT, VideoPoet y Lumiere, así como en la arquitectura Transformer patentada de Google y Gemini. Además, para mejorar la capacidad de Veo para interpretar las indicaciones con precisión, los subtítulos de cada video en su conjunto de datos de entrenamiento fueron más detallados. 

Basado en el flujo de trabajo del modelo aproximado compartido por Google, así es como funciona Veo:

• Indicaciones de entrada: Proporciona una indicación de texto y, opcionalmente, una indicación de imagen.
  ‍
• Codificación: El prompt de texto es procesado por un codificador UL2, y el prompt de imagen es procesado por un codificador de imagen.
  ‍
• Embedded Prompt: Las salidas de los codificadores de texto e imagen se combinan para formar un único embedded prompt.
  ‍
• Modelo de difusión latente: El prompt incrustado y un vídeo comprimido con ruido se pasan a este modelo que genera un vídeo comprimido utilizándolos. Veo utiliza representaciones de vídeo comprimidas de alta calidad, conocidas como latentes, para mejorar la eficiencia manteniendo la calidad.
  ‍
• Decodificación: El paso final decodifica la salida de video de 1080p del video comprimido.

‍

Un caso práctico convincente en la cinematografía

Para probar las habilidades de Veo, Google se asoció con el cineasta Donald Glover y su estudio creativo, Gilga. Utilizaron Veo para explorar diversas técnicas creativas, incluidos los planos de seguimiento dinámicos, que requieren un movimiento preciso y un encuadre consistente. 

‍

Tradicionalmente, los cineastas enfrentan limitaciones debido a las restricciones de tiempo y recursos. Con Veo, Glover y su equipo pudieron experimentar y generar rápidamente tomas complejas, lo que, a su vez, proporcionó más flexibilidad e innovación en el proceso de filmación.

Con Veo, Glover y su equipo pudieron experimentar y generar rápidamente tomas complejas antes de la filmación real. Por ejemplo, podían probar varias tomas de seguimiento dinámico para ver cómo se verían y hacer los ajustes necesarios. Este proceso de previsualización les ayudó a refinar sus ideas y a asegurarse de que las tomas funcionarían como se pretendía, lo que en última instancia redujo el número de tomas necesarias durante la filmación real. Pudieron crear un caso de estudio convincente para demostrar el potencial de Veo para cambiar la industria cinematográfica. Ofrece una forma más rápida y eficiente de dar vida a las visiones creativas.

Usos prácticos de Veo en diversas industrias 

Las capacidades avanzadas de generación de vídeo de Veo tienen aplicaciones prácticas en muchas industrias. En publicidad, puede producir rápidamente anuncios personalizados de alta calidad para audiencias específicas, ahorrando tiempo y costes de producción. En educación, Veo puede crear vídeos instructivos atractivos, facilitando la comprensión de conceptos complejos. 

Las empresas pueden utilizar Veo para la formación y las comunicaciones corporativas. Los profesionales de la salud podrían utilizar Veo para simular procedimientos médicos con fines formativos. En cuanto a eventos y conferencias virtuales, Veo puede crear simulaciones realistas de lugares y escenarios, ofreciendo a los asistentes una experiencia atractiva e interactiva desde cualquier lugar. Los organizadores se benefician de un mayor alcance y de valiosos conocimientos para futuros eventos. Gracias a Veo, se han abierto innumerables oportunidades.

Cuando un modelo de IA tiene el potencial de impactar en diferentes industrias, es importante tener en cuenta la seguridad y la ética de la IA. Para permitir una adopción más amplia y garantizar un uso responsable, Google ha implementado varias medidas de seguridad. Los vídeos creados por Veo están marcados con SynthID, una herramienta para marcar e identificar contenido generado por IA. SynthId garantiza la transparencia y ayuda a mitigar los riesgos de privacidad, derechos de autor y sesgos. Aparte de esto, todos los vídeos generados pasan por filtros de seguridad y procesos de comprobación de memorización. Estas salvaguardias hacen de Veo una herramienta valiosa y ética que apoya la producción de vídeo responsable e innovadora.

Dónde acceder a Veo

En las próximas semanas, Google comenzará a ofrecer algunas de las innovadoras funciones de Veo a creadores seleccionados a través de VideoFX, una nueva herramienta disponible en labs.google. Esta iniciativa permite el acceso anticipado a las capacidades avanzadas de generación de vídeo de Veo, dando a los creadores la oportunidad de experimentar con sus innovadoras funciones. La lista de espera para Veo está actualmente abierta, invitando a los creadores interesados a registrarse y utilizar las potentes herramientas de Veo en sus proyectos.

Más información sobre las actualizaciones de IA generativa de DeepMind de 2024

Además de Veo, DeepMind ha introducido varias actualizaciones de vanguardia en IA generativa para 2024. Una de estas actualizaciones es Imagen 3, su modelo de texto a imagen más avanzado hasta el momento. Imagen 3 sobresale en la creación de imágenes fotorrealistas y realistas. Comprende las indicaciones del lenguaje natural profundamente y captura detalles intrincados al tiempo que minimiza los artefactos visuales.

‍

DeepMind también ha desarrollado Lyria, su modelo más avanzado para la generación de música con IA. Como parte de este esfuerzo, DeepMind ha creado un conjunto de herramientas de IA musical llamado Music AI Sandbox. Estas herramientas permiten a los músicos y productores explorar nuevas posibilidades creativas en la composición musical y la transformación del sonido.

‍

Al igual que Veo, DeepMind ha implementado varias medidas de seguridad con respecto a sus otras actualizaciones también. El SynthID se utilizará en todas estas actualizaciones como una herramienta para marcar e identificar el contenido generado por la IA. Estas actualizaciones de DeepMind prometen transformar varias industrias ofreciendo herramientas avanzadas, eficientes y responsables para crear contenido visual y de audio de alta calidad.

Navegando por la siguiente fase de la IA Generativa

Los avances de DeepMind en IA generativa en 2024, incluidos Veo, Imagen 3 y Lyria, marcan un salto considerable en las capacidades de la IA. Veo transforma la creación de video con su capacidad para generar videos de alta calidad de 1080p a partir de indicaciones simples, lo que la convierte en una herramienta versátil para cineastas y creadores de contenido. Imagen 3 destaca en la producción de imágenes fotorrealistas, mientras que Lyria introduce nuevas posibilidades en la generación de música con herramientas avanzadas de IA.

Estas tecnologías prometen transformar diversas industrias al proporcionar herramientas eficientes y responsables para crear contenido visual y de audio de alta calidad. Con medidas de seguridad como SynthID que garantizan un uso ético, DeepMind continúa expandiendo los límites de la IA, allanando el camino para aplicaciones innovadoras en el futuro.

Sumérjase en la IA visitando nuestro repositorio de GitHub y uniéndose a nuestra comunidad. Explore nuestras páginas de soluciones para descubrir cómo se aplica la IA en la fabricación y la agricultura.