Gerando vídeos com o Veo do Google DeepMind

Durante a apresentação Google I/O 2024, a 14 de maio, a Google partilhou as atualizações mais recentes da DeepMind, a sua divisão de IA. Um dos principais anúncios foi o Veo, um novo modelo de geração de vídeo. O Veo consegue criar vídeos 1080p de alta qualidade com base em instruções de texto, imagem e vídeo. Também permite editar os vídeos gerados com instruções posteriores. Vamos analisar mais de perto as funcionalidades do Veo.

Entendendo os recursos do Veo#

O Veo é um modelo de geração de vídeos que usa uma compreensão profunda da linguagem e de elementos visuais para criar vídeos que correspondem de perto à visão criativa de cada usuário. Ele consegue captar com precisão o tom e os detalhes de comandos mais longos, tornando-se uma ferramenta poderosa para criadores que querem transformar suas ideias em conteúdo de vídeo preciso.

O utilizador pode exercer um controlo criativo detalhado sobre o vídeo gerado, porque o Veo compreende técnicas cinematográficas como «timelapse» e «vistas aéreas de uma paisagem». Este controlo criativo permite criar vídeos em que pessoas, animais e objetos se movem naturalmente. Os vídeos gerados pelo Veo são envolventes e visualmente atraentes, pois é difícil perceber que foram criados por um modelo de IA.

O Veo faz mais do que simplesmente criar vídeos a partir de instruções. Se forneceres um vídeo gerado anteriormente e um pedido de edição específico, como inserir caiaques numa vista aérea da costa, o Veo consegue integrar essa alteração no vídeo original e produzir uma versão atualizada.

Fig. 1. Exemplo de edição de vídeo usando o Veo.

Veja mais alguns recursos oferecidos pelo Veo:

• Edição com máscara: o Veo pode ajudar você a editar áreas específicas de um vídeo.
• Criação de vídeos inspirados em imagens: usando uma imagem e um comando de texto, o Veo pode gerar vídeos que reproduzem o estilo da imagem e seguem as instruções do comando.
• Clipes de vídeo estendidos: o Veo pode criar e estender clipes de vídeo para 60 segundos ou mais, seja a partir de um único comando ou de uma sequência de comandos que, juntos, contam uma história.

Vídeos impressionantes gerados pelo Veo#

Vamos analisar alguns dos vídeos gerados pelo Veo e perceber o que os distingue.

Gerar um vídeo em timelapse a partir de uma instrução de texto curta é um desafio. Normalmente, uma instrução curta não consegue transmitir com precisão as mudanças e os movimentos na cena do timelapse. Por isso, é notável que o Veo consiga compreender o que esperar de um timelapse sem precisar de detalhes.

Fig. 2. Um quadro do vídeo em timelapse gerado pelo Veo.

Da mesma forma, não é fácil gerar vídeos com física precisa. O modelo de IA precisa entender e simular leis da física, como gravidade, momento e colisões, para que os movimentos e as interações pareçam realistas. É impressionante que o Veo consiga modelar essas dinâmicas com precisão sem receber orientações detalhadas nos comandos de texto.

Fig. 3. Um quadro de um vídeo gerado com o Veo que captura com precisão a física dos movimentos de uma água-viva.

Até agora, só vimos vídeos curtos gerados por IA devido às limitações computacionais e à complexidade de manter a coerência em sequências mais longas. Na apresentação Google I/O 2024, foi demonstrada a capacidade do Veo para criar vídeos mais longos e complexos.

Fig. 4. Quadros do vídeo mais longo do Veo exibido na apresentação Google I/O de 2024.

Como o Veo funciona?#

Como muitos outros modelos de IA, o Veo se apoia no trabalho de quem veio antes. Ele se baseia em avanços anteriores, como Generative Query Network (GQN), DVD-GAN, Imagen-Video, Phenaki, WALT, VideoPoet e Lumiere, além da arquitetura Transformer e do Gemini, do Google. Além disso, para aprimorar a capacidade do Veo de interpretar prompts com precisão, as legendas de cada vídeo no conjunto de dados de treinamento eram mais detalhadas.

Com base no fluxo de trabalho geral do modelo compartilhado pelo Google, veja como o Veo funciona:

• Comandos de entrada: você fornece um comando de texto e, opcionalmente, um comando de imagem.
• Codificação: o comando de texto é processado por um codificador UL2, e o comando de imagem é processado por um codificador de imagem.
• Comando incorporado: as saídas dos codificadores de texto e de imagem são combinadas para formar um único comando incorporado.
• Modelo de difusão latente: o comando incorporado e um vídeo comprimido com ruído são enviados a esse modelo, que gera um vídeo comprimido com base neles. O Veo usa representações comprimidas de vídeo de alta qualidade, conhecidas como latentes, para aumentar a eficiência sem comprometer a qualidade.
• Decodificação: na etapa final, a saída de vídeo em 1080p é decodificada a partir do vídeo comprimido.

Fig. 5. Como o Veo funciona.

Um estudo de caso envolvente sobre produção cinematográfica#

Para testar os recursos do Veo, o Google se uniu ao cineasta Donald Glover e ao seu estúdio criativo, Gilga. Eles usaram o Veo para explorar várias técnicas criativas, incluindo movimentos dinâmicos de câmera de acompanhamento, que exigem movimentos precisos e enquadramento consistente.

Fig. 6. Uso do Veo no processo de produção cinematográfica.

Tradicionalmente, os cineastas enfrentam limitações de tempo e recursos. Com o Veo, Glover e a sua equipa puderam experimentar e gerar rapidamente planos complexos, o que, por sua vez, proporcionou mais flexibilidade e inovação no processo de realização cinematográfica.

Por exemplo, antes das filmagens propriamente ditas, podiam experimentar vários planos de seguimento dinâmicos para ver o resultado e fazer os ajustes necessários. Este processo de pré-visualização ajudou-os a aperfeiçoar as ideias e a garantir que os planos funcionariam como previsto, reduzindo, em última análise, o número de tomadas necessárias durante as filmagens. Conseguiram criar um estudo de caso convincente para demonstrar o potencial do Veo para transformar a indústria cinematográfica. O Veo oferece uma forma mais rápida e eficiente de dar vida a visões criativas.

Usos práticos do Veo em diversos setores#

Os recursos avançados de geração de vídeos do Veo têm aplicações práticas em muitos setores. Na publicidade, ele pode produzir rapidamente comerciais personalizados e de alta qualidade para públicos específicos, economizando tempo e custos de produção. Na educação, o Veo pode criar vídeos didáticos envolventes, facilitando a compreensão de conceitos complexos.

As empresas podem usar o Veo para formação e comunicação empresarial. Os profissionais de saúde podem usar o Veo para simular procedimentos médicos para fins de formação. Para eventos e conferências virtuais, o Veo pode criar simulações realistas de espaços e palcos, proporcionando aos participantes uma experiência envolvente e interativa a partir de qualquer lugar. Os organizadores beneficiam de um alcance mais amplo e de informações valiosas para eventos futuros.

Quando um modelo de IA pode afetar diferentes setores, é importante ter em conta a segurança e a ética da IA. Para permitir uma adoção mais ampla e garantir uma utilização responsável, a Google implementou várias medidas de segurança. Os vídeos criados pelo Veo são marcados com uma marca de água através do SynthID, uma ferramenta para adicionar marcas de água e identificar conteúdo gerado por IA. O SynthID promove a transparência e ajuda a mitigar os riscos relacionados com a privacidade, os direitos de autor e os enviesamentos. Além disso, todos os vídeos gerados passam por filtros de segurança e processos de verificação de memorização. Estas salvaguardas foram concebidas para promover a produção responsável de vídeos.

Onde acessar o Veo#

No lançamento, a Google afirmou que começaria a disponibilizar algumas funcionalidades do Veo a criadores selecionados através do VideoFX, uma nova ferramenta disponível em labs.google, dando-lhes acesso antecipado para experimentar as capacidades de geração de vídeo. Foi aberta uma lista de espera para o Veo para os criadores interessados se inscreverem.

Mais novidades sobre IA generativa do DeepMind em 2024#

Além do Veo, a DeepMind apresentou várias atualizações de IA generativa para 2024. Uma delas é o Imagen 3, o seu modelo de texto para imagem mais avançado na altura. O Imagen 3 destaca-se na criação de imagens fotorrealistas e realistas. Compreende profundamente as instruções em linguagem natural e capta detalhes complexos, minimizando os artefactos visuais.

Fig. 7. Uma imagem gerada com o Imagen 3.

O DeepMind também desenvolveu o Lyria, seu modelo mais avançado de geração de música com IA. Como parte desse esforço, o DeepMind criou um conjunto de ferramentas de IA para música chamado Music AI Sandbox. Essas ferramentas permitem que músicos e produtores explorem novas possibilidades criativas na composição musical e na transformação de sons.

Fig. 8. Exemplo da interface de usuário das ferramentas de música com IA do DeepMind.

Assim como fez com o Veo, o DeepMind implementou várias medidas de segurança para suas outras novidades. O SynthID será usado em todas essas novidades como ferramenta para marcar e identificar conteúdo gerado por IA. Essas novidades do DeepMind prometem transformar diversos setores, oferecendo ferramentas avançadas, eficientes e responsáveis para criar conteúdo visual e de áudio de alta qualidade.

Navegando pela próxima fase da IA generativa#

Os avanços em IA generativa do DeepMind em 2024, incluindo Veo, Imagen 3 e Lyria, representam um salto considerável nos recursos de IA. O Veo transforma a criação de vídeos com sua capacidade de gerar vídeos 1080p de alta qualidade a partir de comandos simples, tornando-se uma ferramenta versátil para cineastas e criadores de conteúdo. O Imagen 3 se destaca na produção de imagens fotorrealistas, enquanto o Lyria abre novas possibilidades para a geração de música com ferramentas avançadas de IA.

Essas tecnologias prometem transformar diversos setores ao oferecer ferramentas eficientes e responsáveis para criar conteúdo visual e de áudio de alta qualidade. Com medidas de segurança como o SynthID garantindo o uso ético, o DeepMind continua ampliando os limites da IA e abrindo caminho para aplicações inovadoras no futuro.

Explore a IA visitando nosso repositório no GitHub e participando da nossa comunidade. Explore nossas páginas de soluções para saber como a IA é aplicada na manufatura e na agricultura.