Создание видео с помощью Veo от Google DeepMind

На презентации Google I/O 2024 14 мая компания представила последние обновления DeepMind — своего подразделения, занимающегося ИИ. Одним из главных анонсов стала новая генеративная видеомодель Veo. Veo создаёт высококачественные видео с разрешением 1080p по текстовым, графическим и видеоподсказкам. Модель также позволяет редактировать созданные видео с помощью последующих подсказок. Рассмотрим подробнее возможности Veo.

Возможности Veo#

Veo — это модель генерации видео, которая глубоко понимает язык и визуальные образы и создаёт видео, точно соответствующие творческому замыслу пользователя. Модель точно передаёт тон и детали длинных подсказок, что делает её мощным инструментом для авторов, которые хотят воплощать свои идеи в видеороликах с нужными деталями.

Пользователь может точно управлять творческим процессом создания видео, поскольку Veo понимает кинематографические приёмы, например «таймлапс» и «аэросъёмку пейзажа». Такой контроль позволяет создавать видео, в которых люди, животные и предметы движутся естественно. Видео, созданные Veo, увлекательны и визуально привлекательны, а определить, что их сгенерировала модель ИИ, сложно.

Veo умеет не только создавать видео по подсказкам. Если предоставить модели ранее сгенерированное видео и конкретный запрос на редактирование, например добавить каяки в аэросъёмку побережья, Veo внесёт это изменение в исходное видео и создаст обновлённую версию.

Рис. 1. Пример редактирования видео с помощью Veo.

Вот ещё несколько возможностей Veo:

• Редактирование по маске: Veo помогает редактировать заданные области видео.
• Создание видео по изображению: используя изображение и текстовую подсказку, Veo создаёт видео в стиле изображения и выполняет указания из подсказки.
• Удлинение видеоклипов: Veo может создавать и удлинять видеоклипы до 60 секунд и более — как по одной подсказке, так и по последовательности подсказок, вместе рассказывающих историю.

Потрясающие видео, созданные Veo#

Рассмотрим несколько видео, созданных Veo, и разберём, чем они примечательны.

Создать таймлапс-видео по короткой текстовой подсказке непросто. Обычно короткая текстовая подсказка не может точно передать изменения и движения в сцене таймлапса. Поэтому примечательно, что Veo понимает, чего ожидать от таймлапса, даже без подробных инструкций.

Рис. 2. Кадр из таймлапс-видео, созданного Veo.

Создавать видео с точной физикой тоже непросто. Чтобы движения и взаимодействия выглядели реалистично, модель ИИ должна понимать и моделировать законы физики, такие как гравитация, импульс и столкновения. Впечатляет, что Veo может точно моделировать такую динамику без подробных указаний в текстовых подсказках.

Рис. 3. Кадр из видео, созданного Veo и точно передающего физику движения медузы.

До сих пор из-за ограниченных вычислительных ресурсов и сложностей с сохранением связности длинных последовательностей ИИ создавал только короткие видео. На презентации Google I/O 2024 показали, что Veo способна создавать более длинные и сложные видео.

Рис. 4. Кадры из длинного видео Veo, показанного на презентации Google I/O 2024.

Как работает Veo?#

Как и многие другие модели ИИ, Veo опирается на работу предшественников. Она использует достижения таких разработок, как Generative Query Network (GQN), DVD-GAN, Imagen-Video, Phenaki, WALT, VideoPoet и Lumiere, а также архитектуру Transformer от Google и Gemini. Кроме того, чтобы улучшить способность Veo точно интерпретировать запросы, описания видеороликов в обучающем наборе сделали более подробными.

Согласно упрощённой схеме работы модели, опубликованной Google, Veo работает так:

• Входные подсказки: ты задаёшь текстовую подсказку и, при желании, изображение.
• Кодирование: текстовая подсказка обрабатывается кодировщиком UL2, а изображение — кодировщиком изображений.
• Векторное представление подсказки: выходные данные кодировщиков текста и изображения объединяются в одну подсказку с векторным представлением.
• Модель диффузии в латентном пространстве: в эту модель передаются подсказка с векторным представлением и зашумлённое сжатое видео; на их основе она создаёт сжатое видео. Для повышения эффективности без потери качества Veo использует высококачественные сжатые представления видео, называемые латентными представлениями.
• Декодирование: на последнем этапе из сжатого видео декодируется итоговое видео в разрешении 1080p.

Рис. 5. Как работает Veo.

Убедительный пример использования в кинопроизводстве#

Чтобы проверить возможности Veo, Google объединилась с режиссёром Дональдом Гловером и его творческой студией Gilga. Они использовали Veo для экспериментов с различными творческими приёмами, в том числе с динамической следящей съёмкой, которая требует точного движения камеры и постоянного кадрирования.

Рис. 6. Использование Veo в процессе кинопроизводства.

Традиционно кинематографисты ограничены нехваткой времени и ресурсов. С Veo Гловер и его команда могли быстро экспериментировать и создавать сложные кадры, что обеспечило большую гибкость и новые возможности для съёмочного процесса.

Например, до начала съёмок команда могла протестировать различные динамичные кадры с движением камеры, посмотреть, как они будут выглядеть, и при необходимости внести изменения. Такая предварительная визуализация помогла доработать идеи и убедиться, что кадры будут выглядеть как задумано, а также сократить количество дублей во время съёмок. Команда подготовила убедительный пример, демонстрирующий потенциал Veo изменить киноиндустрию. Veo позволяет быстрее и эффективнее воплощать творческие замыслы.

Практическое применение Veo в разных отраслях#

Передовые возможности Veo по генерации видео находят практическое применение во многих отраслях. В рекламе модель может быстро создавать персонализированные высококачественные ролики для целевой аудитории, экономя время и средства на производство. В образовании Veo может создавать увлекательные обучающие видео, помогающие лучше понять сложные понятия.

Компании могут использовать Veo для обучения и корпоративных коммуникаций. Специалисты в сфере здравоохранения могут применять Veo для симуляции медицинских процедур в учебных целях. Для виртуальных мероприятий и конференций Veo может создавать реалистичные симуляции площадок и сцен, обеспечивая участникам увлекательный интерактивный опыт из любой точки мира. Организаторы получают возможность охватить более широкую аудиторию и собрать ценные сведения для будущих мероприятий.

Если модель ИИ способна повлиять на разные отрасли, важно помнить о безопасности и этичном использовании ИИ. Чтобы обеспечить более широкое внедрение и ответственное использование, Google приняла несколько мер безопасности. Видео, созданные Veo, получают водяные знаки с помощью SynthID — инструмента для маркировки и идентификации контента, созданного ИИ. SynthID повышает прозрачность и помогает снизить риски, связанные с конфиденциальностью, авторским правом и предвзятостью. Кроме того, все созданные видео проходят проверку фильтрами безопасности и процедуры выявления запоминания обучающих данных. Эти меры призваны обеспечить ответственное создание видео.

Где получить доступ к Veo#

На момент запуска Google сообщила, что начнёт предоставлять некоторые функции Veo отдельным авторам через VideoFX — новый инструмент на сайте labs.google, который даёт авторам ранний доступ для экспериментов с возможностями генерации видео. Для заинтересованных авторов открыли список ожидания Veo.

Другие обновления генеративного ИИ от DeepMind за 2024 год#

Помимо Veo, в 2024 году DeepMind представила несколько обновлений в области генеративного ИИ. Одно из них — Imagen 3, на тот момент самая продвинутая модель преобразования текста в изображение. Imagen 3 отлично создаёт фотореалистичные изображения. Она глубоко понимает подсказки на естественном языке и передаёт сложные детали, сводя к минимуму визуальные артефакты.

Рис. 7. Изображение, созданное с помощью Imagen 3.

DeepMind также разработала Lyria — свою самую продвинутую модель для генерации музыки с помощью ИИ. В рамках этой работы DeepMind создала набор инструментов для работы с музыкой на основе ИИ под названием Music AI Sandbox. Эти инструменты помогают музыкантам и продюсерам открывать новые творческие возможности в сочинении музыки и преобразовании звука.

Рис. 8. Пример интерфейса музыкальных инструментов DeepMind на основе ИИ.

Как и для Veo, DeepMind предусмотрела несколько мер безопасности и для других своих разработок. Во всех этих разработках будет использоваться SynthID — инструмент для маркировки и выявления контента, созданного ИИ. Эти разработки DeepMind обещают преобразовать разные отрасли, предоставив передовые, эффективные и ответственные инструменты для создания высококачественного визуального и аудиоконтента.

Следующий этап развития генеративного ИИ#

Достижения DeepMind в области генеративного ИИ за 2024 год, включая Veo, Imagen 3 и Lyria, означают значительный скачок в возможностях ИИ. Veo меняет подход к созданию видео: модель генерирует высококачественные ролики в разрешении 1080p по простым подсказкам, становясь универсальным инструментом для кинематографистов и авторов контента. Imagen 3 впечатляет фотореалистичными изображениями, а Lyria открывает новые возможности для генерации музыки с помощью передовых инструментов ИИ.

Эти технологии обещают преобразовать разные отрасли, предоставляя эффективные и ответственные инструменты для создания высококачественного визуального и аудиоконтента. Благодаря мерам безопасности, таким как SynthID, обеспечивающим этичное использование, DeepMind продолжает расширять границы возможностей ИИ и открывает путь для инновационных приложений в будущем.

Погрузись в мир ИИ: загляни в наш репозиторий GitHub и присоединяйся к нашему сообществу. Изучи страницы с нашими решениями, чтобы узнать, как ИИ применяют в производстве и сельском хозяйстве.