Meta Movie Gen: переосмысление создания контента

Будь ты начинающим кинематографистом или автором контента, который любит создавать видео для своей аудитории, инструменты ИИ, расширяющие возможности для творчества, всегда пригодятся. Недавно Meta представила свою новейшую генеративную видеомодель Meta Movie Gen.

По прогнозам, к 2033 году мировой рынок генеративного ИИ в сфере медиа и развлечений достигнет 11,57 млрд долларов, а лидерами станут такие компании, как Runway, OpenAI и Meta. Meta Movie Gen особенно хорошо подходит для таких задач, как кинопроизводство, создание видеоконтента и цифровое повествование, — с её помощью воплощать творческие замыслы в высококачественных видео, созданных ИИ, проще, чем когда-либо. В этой статье мы расскажем о Meta Movie Gen и принципе её работы. Также подробнее рассмотрим некоторые варианты применения модели.

Рис. 1. Кадр видеоклипа, созданного с помощью Meta Movie Gen.

Что такое Meta Movie Gen?#

Прежде чем обсуждать, что такое Meta Movie Gen, давай разберёмся, как она появилась.

Исследования Meta в области генеративного ИИ начались с серии моделей Make-A-Scene. В этих исследованиях изучается мультимодальный метод генеративного ИИ, который помогает художникам и творческим людям воплощать свои идеи. Художники могут вводить изображения, аудио, видео или 3D-анимацию и получать нужное им изображение. Следующий шаг в развитии этой технологии — диффузионные модели, например базовые модели Llama Image (Emu), которые позволили создавать изображения и видео гораздо более высокого качества, а также редактировать изображения.

Рис. 2. Пример создания изображения с помощью эскиза и текстового запроса Make-A-Scene.

Movie Gen — это новый вклад Meta в исследования генеративного ИИ. Модель объединяет все упомянутые ранее модальности и обеспечивает более тонкое управление, позволяя создавать контент более творческими способами. Meta Movie Gen — это набор базовых моделей для создания разных типов медиа, в том числе видео по текстовому описанию, аудио по тексту и изображений по тексту. В него входят четыре модели, обученные на сочетании лицензированных и общедоступных наборов данных.

Кратко рассмотрим эти модели:

• Видеомодель Movie Gen: модель с 30 миллиардами параметров, которая создаёт высококачественные видео по текстовым запросам.
• Аудиомодель Movie Gen: модель с 13 миллиардами параметров, способная создавать звуковые дорожки, синхронизированные с видеоконтентом.
• Персонализированная видеомодель Movie Gen: создаёт видео с конкретными людьми по текстовому запросу и одному изображению, сохраняя их внешность.
• Модель редактирования Movie Gen: позволяет подробно редактировать реальные и вымышленные видео с помощью текста.

Обучение видеомодели Meta Movie Gen#

При создании и обучении видеомодели Movie Gen использовалось несколько ключевых процессов. Сначала собрали и подготовили визуальные данные, включая изображения и видеоклипы, преимущественно с участием людей; данные фильтровали по качеству, движению и релевантности. Затем к данным добавили текстовые описания происходящего в каждой сцене. Описания, созданные видеомоделью Meta’s Llama 3, подробно передавали содержание каждой сцены и расширяли возможности модели в области визуального повествования.

Рис. 3. Обзор конвейера подготовки данных для предварительного обучения видеомодели Movie Gen.

В процессе обучения модель сначала училась преобразовывать текст в изображения низкого разрешения. Затем она перешла к созданию полноценных видеоклипов благодаря сочетанию обучения преобразованию текста в изображение и текста в видео с использованием визуальных материалов всё более высокого качества.

Для эффективной работы с большими объёмами данных видео сжимали с помощью инструмента Temporal Autoencoder (TAE). Тонкая настройка дополнительно повысила чёткость видео, а метод усреднения моделей (он усредняет несколько моделей, настроенных на разных данных, гиперпараметрах и контрольных точках) обеспечил большую согласованность результатов. Наконец, исходное видео с разрешением 768p увеличили до чёткого разрешения 1080p с помощью метода пространственной суперсэмплизации, который повышает разрешение изображения, добавляя пиксельные данные для большей чёткости. В результате получилось детализированное видео высокого качества.

Возможности Meta Movie Gen#

Модели Meta Movie Gen поддерживают четыре основные возможности. Рассмотрим каждую подробнее.

Генерация видео и аудио#

Meta Movie Gen умеет создавать высококачественные видео. Длина видеоклипов может достигать 16 секунд, а частота кадров — 16 кадров в секунду. По текстовым запросам модель создаёт реалистичные изображения, передающие движение, взаимодействия и ракурсы камеры. В сочетании с аудиомоделью на 13 миллиардов параметров она может генерировать синхронизированное аудио, включая окружающие звуки, эффекты Фоли и музыку, соответствующие видео.

Такая архитектура сохраняет согласованность и реалистичность видео и аудио в разных сценах и по разным запросам. Например, с помощью этих моделей создали видеоклипы с карликовым бегемотом из Таиланда, ставшим вирусным в интернете, по кличке Му Денг.

Рис. 4. Кадр видеоклипа с Му Денг, созданного с помощью Movie Gen от Meta.

Персонализированная генерация видео#

Ещё одна интересная возможность Meta Movie Gen — создание персонализированных видео. Пользователи могут загрузить изображение человека и текстовый запрос с описанием того, как нужно создать видеоклип. В результате получается видео с этим человеком, в котором учтены подробности из текстового запроса. Модель использует оба входных элемента — изображение и текст, — чтобы сохранить уникальную внешность человека и его естественные движения, точно следуя описанию сцены в запросе.

Рис. 5. Пример возможности модели создавать персонализированные видео.

Точное редактирование видео#

С помощью модели Movie Gen Edit пользователи могут вводить видеоклип и текстовый запрос, чтобы творчески редактировать видео. Модель объединяет генерацию видео с продвинутым редактированием изображений и выполняет точечные изменения, например добавляет, удаляет или заменяет элементы. Она также может вносить глобальные изменения — менять фон видеоклипа или его общий стиль. Отличительная особенность модели — точность: она может изменять только конкретные пиксели, которые требуют редактирования, оставляя остальное нетронутым. Благодаря этому исходное содержимое сохраняется максимально полно.

Рис. 6. Различные примеры возможностей редактирования видео модели Movie Gen Edit.

Инструменты оценки Meta Movie Gen#

Вместе с моделями генеративного ИИ Meta представила Movie Gen Bench — набор инструментов для тестирования производительности генеративных моделей ИИ. В него входят два основных инструмента: Movie Gen Video Bench и Movie Gen Audio Bench. Оба предназначены для тестирования разных аспектов генерации видео и аудио.

Кратко рассмотрим оба инструмента:

• Movie Gen Video Bench: набор включает 1 003 запроса, охватывающих самые разные категории тестирования: действия людей, животных, природные пейзажи, физические явления, а также необычные объекты и действия. Особую ценность этому тесту придаёт охват разных уровней движения: он позволяет проверять модель генерации видео и на динамичных, и на более медленных последовательностях.
• Movie Gen Audio Bench: предназначен для проверки возможностей генерации аудио на 527 запросах. Запросы объединяются со сгенерированными видео, чтобы оценить, насколько хорошо модель синхронизирует звуковые эффекты и музыку с визуальным содержимым.

Рис. 7. На схеме показана разбивка оценочных запросов: слева перечислены понятия, а справа облако часто используемых существительных и глаголов.

Практическое применение Meta Movie Gen#

Теперь, когда мы разобрались, что представляют собой модели Meta Movie Gen и как они работают, давай рассмотрим один из вариантов их практического применения.

Инновации Movie Gen в кинопроизводстве#

Одно из самых впечатляющих применений Movie Gen от Meta — то, как эта модель преобразует кинопроизводство с помощью создания видео и аудио на основе ИИ. Movie Gen позволяет авторам создавать высококачественные изображения и звуки по простым текстовым запросам, открывая новые способы рассказывать истории.

Meta даже объединила усилия с Blumhouse и группой кинематографистов, чтобы узнать, как Movie Gen лучше всего может поддержать творческий процесс. Кинематографисты, в том числе Аниш Чаганти, сёстры Сперлок и Кейси Аффлек, проверили, насколько хорошо инструмент передаёт настроение, тон и визуальную задумку. Они обнаружили, что модели помогли им найти свежие идеи.

Эта пилотная программа показала, что Movie Gen не заменяет традиционное кинопроизводство, но даёт режиссёрам новый способ быстро и творчески экспериментировать с визуальными и аудиоэлементами. Кинематографисты также оценили, что функции редактирования инструмента позволяют свободнее работать с фоновыми звуками, эффектами и визуальными стилями.

Рис. 8. Кадр короткометражного фильма, созданного с помощью Meta Movie Gen.

Главные выводы#

Meta Movie Gen — это шаг вперёд в использовании генеративного ИИ для создания высококачественных видео и звуков по простым текстовым описаниям. Этот инструмент позволяет легко создавать реалистичные видео с заданными параметрами. Благодаря таким возможностям, как точное редактирование видео и создание персонализированных медиа, Meta Movie Gen предлагает гибкий набор инструментов, открывающий новые возможности для повествования, кинопроизводства и не только. Упрощая создание подробных и полезных визуальных материалов, Meta Movie Gen меняет способы создания и использования видео в самых разных областях.

Чтобы узнать больше, загляни в наш репозиторий на GitHub и присоединяйся к нашему сообществу. Изучи решения на основе ИИ для беспилотных автомобилей и сельского хозяйства на страницах наших решений.