Генерация видео с помощью Veo от Google DeepMind

Во время презентации Google's 2024 I/O 14 мая они поделились последними новостями от DeepMind, своего подразделения ИИ. Одним из самых захватывающих достижений стал их новейший генеративный видеомодель Veo. Veo может создавать высококачественные видео в разрешении 1080P на основе текстовых, графических и видеозапросов. Она даже позволяет редактировать сгенерированные видео с помощью последующих запросов. Veo выводит генеративный ИИ на новый уровень. Давай поближе познакомимся с функциями, которые предлагает Veo.

Понимание возможностей Veo#

Veo — это генеративная видеомодель, которая использует глубокое понимание языка и визуальных образов для создания видео, максимально соответствующих творческому замыслу пользователя. Она точно улавливает тон и детали длинных промптов, что делает ее мощным инструментом для создателей, желающих воплотить свои идеи в точный видеоконтент.

Ты получаешь революционный творческий контроль над сгенерированным видео, поскольку Veo понимает такие кинематографические приемы, как «таймлапс» и «съемка с воздуха». Этот контроль позволяет создавать видео, в которых люди, животные и объекты движутся естественно. Видео, созданные Veo, выглядят привлекательно и увлекательно, ведь порой сложно заметить, что они сгенерированы моделью ИИ.

Veo выходит за рамки простого создания видео по промптам. Если ты предоставишь ранее сгенерированное видео и конкретный запрос на редактирование, например, «добавить каяки на панорамный вид береговой линии», Veo сможет органично вписать эти изменения в исходное видео, создав обновленную версию.

Рис. 1. Пример редактирования видео с помощью Veo.

Вот еще несколько функций, которые предлагает Veo:

• Масочное редактирование: Veo поможет тебе редактировать определенные области видео.
• Создание видео на основе изображений: Используя изображение и текстовый промпт, Veo может генерировать видео, которые повторяют стиль изображения и следуют указаниям промпта.
• Расширенные видеоклипы: Veo может создавать и продлевать видеоклипы до 60 секунд и дольше, используя как один промпт, так и последовательность промптов, которые в совокупности рассказывают историю.

Захватывающие видео, созданные Veo#

Давай рассмотрим некоторые из видео, созданных Veo, и разберемся, почему они так впечатляют.

Создание таймлапса по короткому текстовому промпту — задача непростая. Обычно короткий текст не может точно передать изменения и движения внутри сцены таймлапса. Поэтому удивительно, что Veo понимает, чего ожидать от таймлапса, не вдаваясь в подробные инструкции.

Рис. 2. Кадр из таймлапс-видео, сгенерированного Veo.

Точно так же генерация видео с реалистичной физикой — нелегкая задача. Модели ИИ необходимо понимать и имитировать законы физики, такие как гравитация, инерция и столкновения, чтобы движения и взаимодействия выглядели правдоподобно. Впечатляет, что Veo способна точно моделировать эти динамические процессы без детальных указаний в текстовых промптах.

Рис. 3. Кадр из видео, сгенерированного с помощью Veo, точно передает физику движения медуз.

До сих пор мы видели лишь короткие видео, сгенерированные ИИ, из-за вычислительных ограничений и сложности поддержания связности на протяжении длинных последовательностей. На презентации Google I/O 2024 была продемонстрирована потрясающая способность Veo создавать более длинные и сложные видеоролики.

Рис. 4. Кадры из более длинного видео Veo, показанного на презентации Google 2024 I/O.

Как работает Veo?#

Как и многие другие модели ИИ, Veo стоит на плечах гигантов. Она опирается на предыдущие разработки, такие как Generative Query Network (GQN), DVD-GAN, Imagen-Video, Phenaki, WALT, VideoPoet и Lumiere, а также на проприетарную архитектуру Transformer от Google и Gemini. Кроме того, чтобы улучшить интерпретацию промптов, подписи к каждому видео в обучающем наборе данных стали более подробными.

Основываясь на рабочем процессе модели, представленном Google, вот как работает Veo:

• Входные промпты: ты предоставляешь текстовый промпт и, по желанию, изображение.
• Кодирование: текстовый промпт обрабатывается энкодером UL2, а изображение — энкодером изображений.
• Встроенный промпт: выходные данные от обоих энкодеров объединяются в единый встроенный промпт.
• Диффузионная латентная модель: встроенный промпт и шумное сжатое видео передаются в модель, которая генерирует сжатое видео на их основе. Veo использует высококачественные сжатые представления видео, известные как латентные переменные, для повышения эффективности при сохранении высокого качества.
• Декодирование: на конечном этапе сжатое видео преобразуется в финальный выходной видеофайл в формате 1080p.

Рис. 5. Как работает Veo.

Впечатляющий пример использования в кинопроизводстве#

Чтобы проверить способности Veo, Google объединилась с режиссером Дональдом Гловером и его творческой студией Gilga. Они использовали Veo для исследования различных творческих приемов, включая динамические трекинг-шоты, требующие точных движений и постоянства кадрирования.

Рис. 6. Использование Veo в процессе создания фильмов.

Традиционно кинорежиссеры ограничены во времени и ресурсах. С Veo Гловер и его команда могли быстро экспериментировать и создавать сложные кадры, что дало им больше гибкости и возможностей для инноваций.

С помощью Veo Гловер и его команда могли быстро экспериментировать и генерировать сложные кадры до начала реальных съемок. Например, они могли тестировать различные динамические трекинг-шоты, чтобы увидеть результат и внести необходимые коррективы. Этот процесс превизуализации помог им отточить идеи и убедиться, что кадры будут работать как задумано, что в конечном итоге сократило количество дублей на реальных съемках. Они смогли создать убедительный пример того, как Veo может изменить киноиндустрию. Это предлагает более быстрый и эффективный способ воплощения творческих идей.

Практическое применение Veo в различных отраслях#

Передовые возможности Veo по генерации видео имеют практическое применение во многих отраслях. В рекламе она позволяет быстро создавать кастомизированные высококачественные ролики для целевой аудитории, экономя время и производственные затраты. В образовании Veo может создавать увлекательные обучающие видео, облегчая понимание сложных концепций.

Компании могут использовать Veo для обучения и корпоративных коммуникаций. Специалисты в области здравоохранения могут применять Veo для симуляции медицинских процедур в учебных целях. Что касается виртуальных мероприятий и конференций, Veo может создавать реалистичные симуляции площадок и сцен, предлагая участникам увлекательный и интерактивный опыт из любой точки мира. Организаторы получают выгоду в виде расширения аудитории и ценных выводов для будущих мероприятий. Благодаря Veo открылись бесчисленные возможности.

Когда модель ИИ потенциально может быть использована в разных отраслях, важно помнить о безопасности и этике ИИ. Чтобы обеспечить более широкое внедрение и ответственное использование, Google реализовала несколько мер безопасности. Видео, созданные Veo, помечаются водяными знаками с помощью SynthID — инструмента для маркировки и идентификации контента, сгенерированного ИИ. SynthID обеспечивает прозрачность и помогает снизить риски, связанные с конфиденциальностью, авторскими правами и предвзятостью. Кроме того, все сгенерированные видео проходят через фильтры безопасности и проверку на запоминание данных. Эти меры защиты делают Veo ценным и этичным инструментом, поддерживающим ответственное и инновационное видеопроизводство.

Как получить доступ к Veo#

В предстоящие недели Google начнет предоставлять некоторые из революционных функций Veo избранным создателям контента через VideoFX — новый инструмент, доступный на labs.google. Эта инициатива обеспечивает ранний доступ к передовым возможностям генерации видео от Veo, давая создателям возможность экспериментировать с его инновационными функциями. Список ожидания Veo в настоящее время открыт, приглашая заинтересованных авторов зарегистрироваться и использовать мощные инструменты Veo в своих проектах.

Подробнее об обновлениях генеративного ИИ от DeepMind в 2024 году#

Помимо Veo, компания DeepMind представила несколько передовых обновлений в области генеративного ИИ на 2024 год. Одним из таких обновлений является Imagen 3, их самая продвинутая модель преобразования текста в изображение на сегодняшний день. Imagen 3 превосходно справляется с созданием фотореалистичных, живых изображений. Она глубоко понимает запросы на естественном языке и фиксирует сложные детали, сводя к минимуму визуальные артефакты.

Рис. 7. Изображение, сгенерированное с помощью Imagen 3.

DeepMind также разработала Lyria, свою самую продвинутую модель для генерации музыки с помощью ИИ. В рамках этой работы DeepMind создала набор инструментов музыкального ИИ под названием Music AI Sandbox. Эти инструменты позволяют музыкантам и продюсерам исследовать новые творческие возможности в сочинении музыки и трансформации звука.

Рис. 8. Пример пользовательского интерфейса музыкальных инструментов ИИ от DeepMind.

Как и в случае с Veo, DeepMind внедрила ряд мер безопасности и для своих других обновлений. SynthID будет использоваться во всех этих обновлениях как инструмент для маркировки и идентификации сгенерированного ИИ контента. Эти обновления от DeepMind обещают изменить различные отрасли, предлагая продвинутые, эффективные и ответственные инструменты для создания высококачественного визуального и аудиоконтента.

Навигация по следующему этапу генеративного ИИ#

Достижения DeepMind в области генеративного ИИ 2024 года, включая Veo, Imagen 3 и Lyria, знаменуют собой значительный скачок в возможностях ИИ. Veo преображает создание видео благодаря способности генерировать качественные 1080p видео из простых промптов, что делает ее универсальным инструментом для режиссеров и создателей контента. Imagen 3 преуспевает в создании фотореалистичных изображений, а Lyria открывает новые возможности в создании музыки с помощью передовых ИИ-инструментов.

Эти технологии обещают трансформировать различные индустрии, предоставляя эффективные и ответственные инструменты для создания высококачественного визуального и аудиоконтента. Благодаря таким мерам безопасности, как SynthID, гарантирующим этичное использование, DeepMind продолжает расширять границы ИИ, прокладывая путь к инновационным применениям в будущем.

Погрузись в мир ИИ, посетив наш репозиторий GitHub и присоединившись к нашему сообществу. Изучи страницы наших решений, чтобы узнать, как ИИ применяется в производстве и сельском хозяйстве.