Meta Movie Gen: новый взгляд на создание контента

Будь ты начинающим режиссёром или создателем контента, который любит снимать видео для своей аудитории, инструменты ИИ, расширяющие творческие возможности, всегда полезны. Недавно Meta представила свою последнюю генеративную видеомодель под названием Meta Movie Gen.

Ожидается, что мировой рынок генеративного ИИ в сфере медиа и развлечений достигнет 11,57 млрд долларов к 2033 году, а такие компании, как Runway, OpenAI и Meta, будут лидировать в создании передовых инноваций. Meta Movie Gen особенно хорошо подходит для таких задач, как кинопроизводство, создание видеоконтента и цифровый сторителлинг, помогая как никогда легко воплощать творческие замыслы в высококачественных видео, созданных с помощью ИИ. В этой статье мы рассмотрим Meta Movie Gen и принцип её работы. Также подробно разберём некоторые варианты её применения. Давай начнём!

Рис. 1. Кадр видеоклипа, созданного с помощью Meta Movie Gen.

Что такое Meta Movie Gen?#

Прежде чем обсуждать, что такое Meta Movie Gen, давай разберёмся, как она появилась.

Исследования Meta, связанные с генеративным ИИ, начались с серии моделей Make-A-Scene. Это направление посвящено мультимодальному методу генеративного ИИ, который помогает художникам и творческим людям воплощать воображение в жизнь. Художники могут вводить изображения, аудио, видео или 3D-анимацию, чтобы получить желаемое изображение. Следующим прорывом стали диффузионные модели, такие как базовые модели Llama Image Foundation (Emu), которые сделали возможным создание изображений и видео гораздо более высокого качества, а также редактирование изображений.

Рис. 2. Пример использования эскиза и текстового ввода Make-A-Scene для создания изображения.

Movie Gen — последний вклад Meta в исследования генеративного ИИ. Она объединяет все ранее упомянутые модальности и обеспечивает более точный контроль, чтобы люди могли использовать модели для решения более творческих задач. Meta Movie Gen — это набор базовых моделей для создания разных типов медиа, включая преобразование текста в видео, текста в аудио и текста в изображение. В него входят четыре модели, обученные на комбинации лицензированных и общедоступных наборов данных.

Вот краткий обзор этих моделей:

• Модель Movie Gen Video: модель с 30 миллиардами параметров, создающая высококачественные видео по текстовым запросам.
• Модель Movie Gen Audio: модель с 13 миллиардами параметров, способная создавать звуковые дорожки, синхронизированные с видеоконтентом.
• Персонализированная модель Movie Gen Video: создаёт видео с конкретными людьми на основе текстового запроса и одного изображения, сохраняя их внешность.
• Модель Movie Gen Edit: позволяет подробно редактировать реальные и вымышленные видео с помощью текста.

Обучение видеомодели Meta Movie Gen#

Для создания и обучения модели Movie Gen Video потребовалось несколько ключевых процессов. Сначала собирались и подготавливались визуальные данные, включая изображения и видеоклипы, преимущественно с действиями людей, отфильтрованные по качеству, движению и релевантности. Затем данные сопоставлялись с текстовыми описаниями, объясняющими происходящее в каждой сцене. Описания, созданные с помощью видеомодели Meta LLaMa3, содержали подробную информацию о содержимом каждой сцены, расширяя возможности модели в области визуального сторителлинга.

Рис. 3. Обзор конвейера подготовки данных для предобучения модели Movie Gen Video.

Процесс обучения начался с того, что модель училась преобразовывать текст в изображения низкого разрешения. Затем она перешла к созданию полноценных видеоклипов благодаря сочетанию обучения преобразованию текста в изображение и текста в видео с использованием визуальных данных всё более высокого качества.

Инструмент под названием Temporal Autoencoder (TAE) сжимал видео, чтобы эффективно обрабатывать большие объёмы данных. Дообучение дополнительно повышало качество видео, а метод усреднения моделей (он объединяет выходы нескольких моделей для получения более плавных и согласованных результатов) обеспечивал большую стабильность результатов. Наконец, видео, изначально имевшее разрешение 768p, масштабировалось до чёткого разрешения 1080p с помощью метода пространственного повышения разрешения, который увеличивает разрешение изображения за счёт добавления данных о пикселях для большей чёткости. В результате получались высококачественные подробные видео.

Изучаем возможности Meta Movie Gen#

Модели Meta Movie Gen в основном поддерживают четыре разные возможности. Давай подробнее рассмотрим каждую из них.

Создание видео и аудио#

Meta Movie Gen может создавать высококачественные видео. Эти видеоклипы могут длиться до 16 секунд и воспроизводиться со скоростью 16 fps (кадров в секунду), создавая реалистичные визуальные сцены с движением, взаимодействиями и ракурсами камеры на основе текстовых запросов. В сочетании с аудиомоделью на 13 миллиардов параметров она может создавать синхронизированный звук, включая окружающие звуки, эффекты Foley и музыку, соответствующие визуальному ряду.

Такая конфигурация обеспечивает плавное и реалистичное восприятие: визуальные и звуковые элементы остаются согласованными и правдоподобными в разных сценах и при разных запросах. Например, эти модели использовались для создания видеоклипов с вирусным карликовым бегемотом из Таиланда по имени Му Дэн.

Рис. 4. Кадр видеоклипа о Му Дэн, созданного с помощью Movie Gen от Meta.

Персонализированное создание видео#

Ещё одна интересная возможность модели Meta Movie Gen — персонализированное создание видео. Пользователь может предоставить изображение человека и текстовый запрос с описанием того, как нужно создать видеоклип, в результате чего получится видео с этим человеком и подробными визуальными характеристиками, указанными в текстовом запросе. Модель использует оба входных источника (изображение и текст), чтобы сохранить уникальную внешность человека и естественные движения тела, точно следуя описанию сцены в запросе.

Рис. 5. Пример возможности модели по созданию персонализированного видео.

Точное редактирование видео#

С помощью модели Movie Gen Edit пользователи могут предоставить видеоклип и текстовый запрос, чтобы творчески отредактировать видео. Модель объединяет создание видео с продвинутым редактированием изображений и выполняет очень точечные изменения, например добавляет, удаляет или заменяет элементы. Она также может вносить глобальные изменения, например менять фон видеоклипа или общий стиль. Но по-настоящему уникальной модель делает её точность: она может изменять только конкретные пиксели, требующие редактирования, оставляя остальные нетронутыми. Это позволяет максимально сохранить исходное содержимое.

Рис. 6. Различные примеры возможностей модели Movie Gen Edit по редактированию видео.

Инструменты бенчмаркинга Meta Movie Gen#

Вместе с моделями генеративного ИИ Meta также представила Movie Gen Bench — набор инструментов для тестирования производительности моделей генеративного ИИ. В него входят два основных инструмента: Movie Gen Video Bench и Movie Gen Audio Bench. Оба предназначены для проверки разных аспектов создания видео и аудио.

Вот краткий обзор обоих инструментов:

• Movie Gen Video Bench: включает 1003 запроса, охватывающих широкий спектр категорий тестирования, таких как действия людей, животные, природные пейзажи, физика, а также необычные объекты и действия. Особенно ценным этот оценочный бенчмарк делает охват разных уровней движения, благодаря чему видеомодель тестируется как на быстрых, так и на медленных последовательностях.
• Movie Gen Audio Bench: предназначен для проверки возможностей создания аудио на 527 запросах. Эти запросы сопоставляются с созданными видео, чтобы оценить, насколько хорошо модель синхронизирует звуковые эффекты и музыку с визуальным содержимым.

Рис. 7. На диаграмме показана структура оценочных запросов: слева приведён список понятий, а справа — облако часто используемых существительных и глаголов.

Практическое применение Meta Movie Gen#

Теперь, когда мы рассмотрели, что представляют собой модели Meta Movie Gen и как они работают, давай изучим один из вариантов их практического применения.

Инновации Movie Gen AI в кинопроизводстве#

Одно из самых впечатляющих применений Movie Gen от Meta — возможность преобразить кинопроизводство с помощью создания видео и аудио на базе ИИ. С Movie Gen создатели могут получать высококачественные изображения и звуки из простых текстовых запросов, открывая новые способы рассказывать истории.

Фактически Meta объединилась с Blumhouse и группой кинематографистов, чтобы собрать их отзывы о том, как Movie Gen лучше всего может поддержать творческий процесс. Такие кинематографисты, как Аниш Чаганти, сёстры Сперлок и Кейси Аффлек, тестировали способность инструмента передавать настроение, тон и визуальное направление. Они обнаружили, что модели помогали находить свежие идеи.

Эта пилотная программа показала, что Movie Gen не заменяет традиционное кинопроизводство, но предлагает режиссёрам новый способ быстро и творчески экспериментировать с визуальными и звуковыми элементами. Кинематографисты также оценили, что функции редактирования инструмента позволяют свободнее работать с фоновыми звуками, эффектами и визуальными стилями.

Рис. 8. Кадр короткометражного фильма, созданного с помощью Meta Movie Gen.

Основные выводы#

Meta Movie Gen — шаг вперёд в использовании генеративного ИИ для создания высококачественных видео и звуков на основе простых текстовых описаний. Инструмент помогает пользователям легко создавать реалистичные и индивидуализированные видео. Благодаря таким возможностям, как точное редактирование видео и персонализированное создание медиа, Meta Movie Gen предлагает гибкий набор инструментов, открывающий новые возможности для сторителлинга, кинопроизводства и не только. Упрощая создание подробных и полезных визуальных материалов, Meta Movie Gen меняет способы создания и использования видео в разных сферах и устанавливает новый стандарт создания контента с помощью ИИ.

Чтобы узнать больше, посетите наш репозиторий GitHub и присоединяйся к нашему сообществу. Изучи применения AI в беспилотных автомобилях и сельском хозяйстве на страницах наших решений. 🚀