Создание видеороликов с помощью Veo от Google DeepMind

Во время презентации Google 2024 I/O 14 мая они рассказали о последних обновлениях DeepMind, своего подразделения искусственного интеллекта. Одним из наиболее интересных достижений стала новейшая генеративная видеомодель Veo. Veo может создавать высококачественные видеоролики с разрешением 1080P на основе текста, изображений и видеоподсказок. Она даже позволяет редактировать созданные видео с последующими подсказками. Veo выводит генеративный ИИ на новый уровень. Давайте подробнее рассмотрим возможности Veo. 

Понимание возможностей Veo

Veo — это генеративная видеомодель, которая использует глубокое понимание языка и визуальных эффектов для создания видео, точно соответствующих творческому замыслу пользователя. Она может точно передавать тон и детали длинных подсказок, что делает ее мощным инструментом для авторов, которые хотят преобразовать свои идеи в точный видеоконтент.

Пользователь может получить беспрецедентный творческий контроль над сгенерированным видео, поскольку Veo может понимать такие кинематографические приемы, как «замедленная съемка» и «аэросъемка пейзажа». Этот творческий контроль позволяет пользователям создавать видео, в которых люди, животные и объекты двигаются естественно. Видео, сгенерированные Veo, привлекательны и визуально привлекательны, потому что трудно заметить, что они сгенерированы моделью ИИ.

Veo выходит за рамки простого создания видео по запросу. Если вы предоставите ранее сгенерированное видео и конкретный запрос на редактирование, например, вставку байдарок в аэрофотосъемку береговой линии, Veo сможет плавно интегрировать это изменение в исходное видео, создав обновленную версию.

Вот еще несколько функций, которые предлагает Veo:

• Редактирование с маской: Veo может помочь вам редактировать определенные области видео.
  ‍
• Создание видео на основе изображений: используя изображение и текстовый запрос, Veo может создавать видео, которые отражают стиль изображения и следуют указаниям запроса.
  ‍
• Расширенные видеоклипы: Veo может создавать и расширять видеоклипы до 60 секунд и более, либо из одного запроса, либо из последовательности запросов, которые вместе рассказывают историю.

Захватывающие видео, сгенерированные Veo

Давайте посмотрим несколько видеороликов, созданных Veo, и узнаем, почему они так захватывают дух. 

Создание видео таймлапса из короткого текстового запроса — сложная задача. Как правило, короткий текстовый запрос не может точно передать изменения и движения в сцене таймлапса. Поэтому удивительно, что Veo может понять, чего ожидать от таймлапса, не вдаваясь в подробности. 

‍

Аналогично, генерировать видео с точной физикой непросто. Модель ИИ должна понимать и имитировать законы физики, такие как гравитация, импульс и столкновения, чтобы движения и взаимодействия казались реалистичными. Впечатляет, что Veo может точно моделировать эту динамику без подробных указаний из текстовых запросов.

‍

До сих пор мы видели только короткие видеоролики, созданные искусственным интеллектом из-за вычислительных ограничений и сложности сохранения целостности длинных последовательностей. На презентации Google2024 I/O была продемонстрирована потрясающая способность Veo создавать более длинные и сложные видео.

‍

Как работает Veo?

Как и многие другие модели ИИ, Veo стоит на плечах гигантов. Она опирается на предыдущие разработки, такие как Generative Query Network (GQN), DVD-GAN, Imagen-Video, Phenaki, WALT, VideoPoet и Lumiere, а также на собственную архитектуру Transformer и Gemini от Google. Кроме того, для улучшения способности Veo точно интерпретировать подсказки, титры к каждому видео в обучающем наборе данных были более подробными. 

Вот как работает Veo, основываясь на примерной модели рабочего процесса, которой поделилась компания Google:

• Входные запросы: Вы предоставляете текстовый запрос и, при необходимости, запрос изображения.
  ‍
• Кодирование: Текстовый запрос обрабатывается UL2 Encoder, а запрос изображения обрабатывается кодировщиком изображений.
  ‍
• Встроенный запрос: Выходы из текстового и графического кодировщиков объединяются для формирования единого встроенного запроса.
  ‍
• Модель латентной диффузии: встроенный запрос и зашумленное сжатое видео передаются этой модели, которая генерирует сжатое видео с их использованием. Veo использует высококачественные сжатые представления видео, известные как латентные, для повышения эффективности при сохранении качества.
  ‍
• Декодирование: Заключительный этап декодирует видеовыход 1080p из сжатого видео.

‍

Убедительный пример использования в кинопроизводстве

Чтобы проверить возможности Veo, Google объединилась с режиссером Дональдом Гловером и его творческой студией Gilga. С помощью Veo они исследовали различные творческие приемы, в том числе динамичные кадры со слежением, которые требуют точного движения и последовательного кадрирования. 

‍

Традиционно режиссеры сталкиваются с ограничениями по времени и ресурсам. С Veo Гловер и его команда смогли быстро экспериментировать и создавать сложные кадры, что, в свою очередь, обеспечило большую гибкость и инновации в процессе кинопроизводства.

С помощью Veo Гловер и его команда могли быстро экспериментировать и генерировать сложные кадры до начала фактической съемки. Например, они могли протестировать различные динамические кадры слежения, чтобы увидеть, как они будут выглядеть, и внести необходимые корректировки. Этот процесс предварительной визуализации помог им усовершенствовать свои идеи и убедиться, что кадры будут работать должным образом, что в конечном итоге сократило количество дублей, необходимых во время фактической съемки. Они смогли создать убедительное тематическое исследование, чтобы продемонстрировать потенциал Veo для изменения киноиндустрии. Он предлагает более быстрый и эффективный способ воплощения творческих замыслов в жизнь.

Практическое применение Veo в различных отраслях 

Расширенные возможности создания видео Veo имеют практическое применение во многих отраслях. В рекламе он может быстро создавать персонализированные высококачественные рекламные ролики для целевой аудитории, экономя время и производственные затраты. В образовании Veo может создавать увлекательные обучающие видеоролики, облегчая понимание сложных концепций. 

Предприятия могут использовать Veo для обучения и корпоративных коммуникаций. Специалисты здравоохранения могут использовать Veo для имитации медицинских процедур в целях обучения. Что касается виртуальных мероприятий и конференций, Veo может создавать реалистичные симуляции мест проведения и сцен, предлагая участникам увлекательный и интерактивный опыт из любой точки мира. Организаторы получают выгоду от расширения охвата и ценной информации для будущих мероприятий. Благодаря Veo открылись бесчисленные возможности.

Когда модель ИИ способна затронуть различные отрасли, важно помнить о безопасности и этичности ИИ. Чтобы обеспечить более широкое внедрение и ответственное использование, Google приняла ряд мер безопасности. Видеоролики, созданные Veo, помечены водяными знаками с помощью SynthID - инструмента для нанесения водяных знаков и идентификации контента, созданного искусственным интеллектом. SynthID обеспечивает прозрачность и помогает снизить риски, связанные с конфиденциальностью, авторскими правами и предвзятостью. Кроме того, все созданные видео проходят через фильтры безопасности и процессы проверки запоминания. Эти меры защиты делают Veo ценным и этичным инструментом, поддерживающим ответственное и инновационное видеопроизводство.

Где получить доступ к Veo

В ближайшие недели Google начнет предлагать некоторые из революционных функций Veo избранным создателям с помощью VideoFX - нового инструмента, доступного на сайте labsgoogle. Эта инициатива открывает ранний доступ к расширенным возможностям Veo по созданию видео, давая создателям возможность поэкспериментировать с его инновационными функциями. В настоящее время открыт список ожидания для Veo, в котором заинтересованные авторы могут зарегистрироваться и использовать мощные инструменты Veo в своих проектах.

Подробнее об обновлениях генеративного ИИ от DeepMind в 2024 году

Помимо Veo, DeepMind представила несколько передовых обновлений в области генеративного ИИ на 2024 год. Одним из этих обновлений является Imagen 3, их самая передовая модель преобразования текста в изображение на сегодняшний день. Imagen 3 превосходно создает фотореалистичные, живые изображения. Она глубоко понимает подсказки на естественном языке и улавливает сложные детали, сводя к минимуму визуальные артефакты.

‍

DeepMind также разработала Lyria — свою самую передовую модель для генерации музыки с помощью ИИ. В рамках этой работы DeepMind создала набор музыкальных инструментов на основе ИИ под названием Music AI Sandbox. Эти инструменты позволяют музыкантам и продюсерам исследовать новые творческие возможности в музыкальной композиции и преобразовании звука.

‍

Как и Veo, DeepMind реализовала несколько мер безопасности в отношении других своих обновлений. SynthID будет использоваться во всех этих обновлениях в качестве инструмента для нанесения водяных знаков и идентификации контента, сгенерированного ИИ. Эти обновления от DeepMind обещают преобразовать различные отрасли, предлагая передовые, эффективные и ответственные инструменты для создания высококачественного визуального и аудиоконтента.

Навигация по следующему этапу генеративного ИИ

Достижения DeepMind в области генеративного ИИ в 2024 году, включая Veo, Imagen 3 и Lyria, знаменуют собой значительный скачок в возможностях ИИ. Veo преобразует создание видео благодаря своей способности генерировать высококачественные видео в формате 1080p из простых подсказок, что делает его универсальным инструментом для кинематографистов и создателей контента. Imagen 3 превосходно создает фотореалистичные изображения, а Lyria открывает новые возможности в создании музыки с помощью передовых инструментов ИИ.

Эти технологии обещают преобразовать различные отрасли, предоставив эффективные и ответственные инструменты для создания высококачественного визуального и аудиоконтента. Благодаря мерам безопасности, таким как SynthID, обеспечивающим этичное использование, DeepMind продолжает расширять границы ИИ, открывая путь для инновационных приложений в будущем.

Погрузитесь в мир ИИ, посетив наш репозиторий на GitHub и присоединившись к нашему сообществу. Изучите страницы с нашими решениями, чтобы узнать, как применяется ИИ в производстве и сельском хозяйстве.