Meta Movie Gen: переосмысление создания контента

Независимо от того, начинающий ты кинематографист или создатель контента, которому нравится делать видео для своей аудитории, инструменты ИИ, расширяющие твою креативность, всегда полезны. Недавно Meta запустила свою новейшую генеративную модель видео, известную как Meta Movie Gen.

Глобальный рынок генеративного ИИ в сфере медиа и развлечений к 2033 году, по прогнозам, достигнет 11,57 млрд долларов, а такие компании, как Runway, OpenAI и Meta, лидируют в прорывных инновациях. В частности, Meta Movie Gen отлично подходит для таких задач, как создание фильмов, видеоконтента и цифровой сторителлинг, делая воплощение творческих задумок с помощью высококачественных видео на базе ИИ проще, чем когда-либо. В этой статье мы рассмотрим Meta Movie Gen и принципы его работы. Мы также подробнее изучим некоторые сферы его применения. Давай начнем!

Рис. 1. Кадр видеоролика, сгенерированного с помощью Meta Movie Gen.

Что такое Meta Movie Gen?#

Прежде чем обсуждать, что такое Meta Movie Gen, давай посмотрим, как она появилась.

Исследования Meta в области генеративного ИИ начались с серии моделей Make-A-Scene. Эти исследования сосредоточены на мультимодальном методе генеративного ИИ, который помогает художникам и визионерам воплощать воображение в жизнь. Художники могут вводить изображения, аудио, видео или 3D-анимацию, чтобы получить желаемый результат изображения. Следующим скачком в инновациях стали диффузионные модели, такие как базовые модели Llama Image (Emu), которые сделали возможной генерацию изображений и видео гораздо более высокого качества и открыли возможности редактирования изображений.

Рис. 2. Пример использования скетча и текстового ввода Make-A-Scene для получения сгенерированного изображения.

Movie Gen — это новейший вклад Meta в исследования генеративного ИИ. Она объединяет все упомянутые ранее модальности и обеспечивает еще более точное управление, позволяя людям использовать модели более творческими способами. Meta Movie Gen представляет собой набор базовых моделей для генерации различных типов медиа, включая преобразование текста в видео, текста в аудио и текста в изображение. Она состоит из четырех моделей, которые обучены на комбинации лицензированных и общедоступных наборов данных.

Вот краткий обзор этих моделей:

• Модель Movie Gen Video: модель с 30 миллиардами параметров, которая генерирует высококачественные видео по текстовым описаниям.
• Модель Movie Gen Audio: модель с 13 миллиардами параметров, которая может создавать саундтреки, синхронизированные с видеоконтентом.
• Персонализированная модель Movie Gen Video: она генерирует видео с конкретными людьми на основе текстового описания и одного изображения, сохраняя их внешность.
• Модель Movie Gen Edit: эта модель позволяет выполнять детальное текстовое редактирование видео как для реальных, так и для вымышленных роликов.

Обучение модели Meta Movie Gen Video#

Создание и обучение модели Movie Gen Video включало несколько ключевых процессов. Первый шаг заключался в сборе и подготовке визуальных данных, включая изображения и видеоклипы, в основном посвященные деятельности человека, отфильтрованные по качеству, движению и релевантности. Затем данные были сопоставлены с текстовыми подписями, объясняющими происходящее в каждой сцене. Подписи, созданные с помощью модели Meta LLaMa3-Video, предоставили богатые детали о содержимом каждой сцены, расширив возможности визуального сторителлинга модели.

Рис. 3. Обзор конвейера отбора предварительных обучающих данных для модели Movie Gen Video.

Процесс обучения начался с того, что модель научилась преобразовывать текст в изображения низкого разрешения. Затем он перешел к созданию полноценных видеороликов с помощью комбинации обучения текст-в-изображение и текст-в-видео с использованием все более качественных визуальных эффектов.

Инструмент под названием Temporal Autoencoder (TAE) сжимал видео для эффективного управления большими объемами данных. Тонкая настройка еще больше повысила качество видео, а метод усреднения моделей (он объединяет несколько результатов модели для получения более плавных и стабильных результатов) обеспечил большую стабильность вывода. Наконец, видео, изначально имевшее разрешение 768p, было масштабировано до четкого разрешения 1080p с помощью метода пространственного апсемплера, который увеличивает разрешение изображения путем добавления пиксельных данных для более четкого отображения. Результатом стали высококачественные и детальные видеоматериалы.

Изучение возможностей Meta Movie Gen#

Модели Meta Movie Gen поддерживают четыре основные способности. Давай рассмотрим каждую из них подробнее.

Генерация видео и аудио#

Meta Movie Gen способна генерировать высококачественные видео. Эти видеоклипы могут длиться до 16 секунд и воспроизводиться со скоростью 16 кадров в секунду (fps), создавая реалистичные визуальные эффекты, которые передают движение, взаимодействия и углы камеры на основе текстовых запросов. В сочетании с аудиомоделью на 13 миллиардов параметров она может создавать синхронизированное аудио, включая звуки окружающей среды, эффекты Фоли и музыку, соответствующие визуальному ряду.

Эта установка обеспечивает плавный и реалистичный опыт, при котором как визуальные эффекты, так и звук остаются согласованными и правдоподобными в различных сценах и запросах. Например, эти модели использовались для создания видеоклипов с вирусным карликовым бегемотом из Таиланда по кличке Moo Deng.

Рис. 4. Кадр видеоролика с Moo Deng, созданного с помощью Movie Gen от Meta.

Персонализированная генерация видео#

Еще одна интересная возможность модели Meta Movie Gen — генерация персонализированного видео. Пользователи могут предоставить изображение человека и текстовый запрос, описывающий, как должен быть создан видеоролик, в результате чего получается видео, в котором присутствует этот человек и учтены богатые визуальные детали, указанные в текстовом запросе. Модель использует оба входа (изображение и текст), чтобы сохранить уникальную внешность человека и естественные движения тела, одновременно точно следуя сцене, описанной в запросе.

Рис. 5. Пример возможностей модели по генерации персонализированного видео.

Точное редактирование видео#

Используя модель Movie Gen Edit, ты можешь предоставить в качестве входных данных видеоклип и текстовый промпт для творческого редактирования видео. Модель объединяет генерацию видео с продвинутым редактированием изображений для выполнения очень специфических правок, таких как добавление, удаление или замена элементов. Она также может выполнять глобальные изменения, например, менять фон видеоклипа или его общий стиль. Но что делает модель по-настоящему уникальной, так это ее точность: она может воздействовать только на конкретные пиксели, требующие редактирования, оставляя остальное нетронутым. Это максимально сохраняет оригинальный контент.

Рис. 6. Различные примеры возможностей редактирования видео модели Movie Gen Edit.

Инструменты бенчмаркинга Meta Movie Gen#

Наряду с моделями генеративного ИИ Meta также представила Movie Gen Bench, набор инструментов бенчмаркинга для тестирования производительности моделей генеративного ИИ. В него входят два основных инструмента: Movie Gen Video Bench и Movie Gen Audio Bench. Оба они предназначены для тестирования различных аспектов генерации видео и аудио.

Вот краткий обзор обоих инструментов:

• Movie Gen Video Bench: он состоит из 1003 запросов, охватывающих самые разные категории тестирования, такие как деятельность человека, животные, природные пейзажи, физика, а также необычные темы и действия. Что делает этот оценочный бенчмарк особенно ценным, так это охват уровней движения, который гарантирует, что модель генерации видео протестирована как для динамичных, так и для более медленных сцен.
• Movie Gen Audio Bench: разработан для тестирования возможностей генерации аудио на основе 527 промптов. Эти запросы сопровождаются сгенерированными видео, чтобы оценить, насколько хорошо модель может синхронизировать звуковые эффекты и музыку с визуальным содержанием.

Рис. 7. На диаграмме показана разбивка оценочных запросов со списком концепций слева и облаком слов часто используемых существительных и глаголов справа.

Практическое применение Meta Movie Gen#

Теперь, когда мы разобрались, что такое модели Meta Movie Gen и как они работают, давай рассмотрим одно из их практических применений.

Инновации Movie Gen AI в кинопроизводстве#

Одно из самых захватывающих применений Movie Gen от Meta заключается в том, как она может преобразить кинематограф с помощью видео и создания аудио на базе ИИ. С помощью Movie Gen создатели могут генерировать высококачественные визуальные эффекты и звуки из простых текстовых запросов, открывая новые способы рассказывать истории.

Фактически, Meta объединила усилия с Blumhouse и группой кинематографистов, собрав их отзывы о том, как Movie Gen может лучше всего поддержать творческий процесс. Такие режиссеры, как Аниш Чаганти, сестры Спурлок и Кейси Аффлек, протестировали способность инструмента передавать настроение, тон и визуальное направление. Они обнаружили, что модели помогли породить свежие идеи.

Эта пилотная программа показала, что, хотя Movie Gen не заменяет традиционное кинопроизводство, она предлагает режиссерам новый способ быстро и творчески экспериментировать с визуальными и аудиоэлементами. Режиссеры также оценили, как функции редактирования позволяют им свободнее работать с фоновыми звуками, эффектами и визуальными стилями.

Рис. 8. Кадр короткометражного фильма, созданного с помощью Meta Movie Gen.

Основные выводы#

Meta Movie Gen — это шаг вперед в использовании генеративного ИИ для создания высококачественных видео и звуков из простых текстовых описаний. Инструмент помогает тебе легко создавать реалистичные и кастомные видео. Обладая такими возможностями, как точное редактирование видео и создание персонализированного медиа, Meta Movie Gen предлагает гибкий набор инструментов, открывающий свежие возможности для сторителлинга, кинопроизводства и многого другого. Делая создание детализированных и полезных визуальных материалов проще, Meta Movie Gen трансформирует способы создания и использования видео в разных сферах и устанавливает новый стандарт для создания контента с помощью ИИ.

Чтобы узнать больше, посетите наш репозиторий на GitHub и присоединяйтесь к нашему сообществу. Изучите приложения ИИ в беспилотных автомобилях и сельском хозяйстве на наших страницах решений. 🚀