Искусственный интеллект в кинопроизводстве: новые творческие возможности

Фильм «Здесь» (2023) вышел несколько недель назад и стал отличным примером того, как искусственный интеллект (AI) меняет процесс кинопроизводства. Режиссёр Роберт Земекис использовал в фильме передовую технологию омоложения на основе AI, чтобы показать актёров Тома Хэнкса и Робин Райт в образах своих персонажей на протяжении 60 лет. В отличие от традиционной CGI (компьютерной генерируемой графики), доводка которой может занимать месяцы, этот подход позволил мгновенно видеть изменения прямо на съёмочной площадке, экономя время и деньги. AI не только расширяет возможности повествования, но и делает производство фильмов более эффективным и инновационным.

На самом деле Голливуд уже экспериментирует с такими инновационными методами, как замена лиц с помощью AI, улучшение персонажей в стиле дипфейков, автоматическая генерация фонов и виртуальные среды в реальном времени. Эти инновации делают визуальные эффекты более реалистичными, а производство — более эффективным. Согласно отчётам, внедрение генеративного AI в киноиндустрии стремительно растёт: впечатляющий среднегодовой темп роста составляет 27,2%.

Рис. 1. Обзор рынка генеративного AI в кино.

В последние годы CGI стала стандартной составляющей многих фильмов. Практически каждый фильм Marvel Studios использует технологию омоложения, чтобы вернуть любимых зрителями персонажей, вызвать ностальгию и улучшить впечатления от просмотра. Теперь AI играет ключевую роль в кинопроизводстве, помогая во всём: от создания историй и видеомонтажа до написания сценариев. Давай рассмотрим, как киноиндустрия использует искусственный интеллект, чтобы сделать фильмы более захватывающими, эффективными и визуально впечатляющими.

Создание историй с помощью AI в кино#

От омоложения актёров до создания совершенно новых персонажей — AI помогает кинематографистам воплощать творческие замыслы. Давай подробнее рассмотрим некоторые из этих применений AI.

Использование AI для визуальных эффектов в кино#

Визуальные эффекты и CGI уже много лет играют важную роль в кинопроизводстве. Впервые их широко применили в фильме «Мир Дикого Запада» (1973), где пикселизированное изображение показывало перспективу робота. Со временем эти технологии стали более продвинутыми и реалистичными.

Интеграция искусственного интеллекта позволила ещё больше их усовершенствовать. Такие методы, как омоложение, морфинг лица и захват движений с помощью AI, теперь делают цифровые эффекты более естественными. Например, в фильме «Гемини» (2019) технология омоложения превратила 50-летнего Уилла Смита в убедительную 23-летнюю версию самого себя. Так персонаж Джуниор стал живым.

Рис. 2. Уилла Смита омолодили с 50 до 23 лет.

Вот как работает технология омоложения с использованием AI:

• Сканирование лица: сканы высокого разрешения используются для захвата мельчайших деталей лица актёра, таких как текстура кожи, поры и контуры лица.
• Модели AI: модели машинного обучения анализируют архивные записи или эталонные изображения, чтобы воссоздать черты лица, выражения и движения.
• Захват исполнения: движения и выражения лиц актёров записываются с помощью технологии захвата движений, чтобы обеспечить естественную и реалистичную игру.
• CGI реконструкция: создаётся цифровая модель, которая бесшовно объединяется с отснятым материалом, перенося выражения лица актёра на цифрового персонажа.
• Коррекция освещения и текстур: сложные методы рендеринга корректируют оттенок кожи, освещение и взаимодействие с окружающей средой, чтобы цифровой персонаж естественно вписывался в сцену.

Этот процесс позволяет кинематографистам добиваться потрясающего реализма — будь то создание молодых версий актёров, совершенно новых персонажей или улучшение сложных визуальных эффектов.

Роль Vision AI в улучшении визуальных эффектов в кино#

Важно помнить, что AI в визуальных эффектах и CGI — это обширная область, включающая широкий спектр методов и подходов. Например, одной из ключевых технологий, лежащих в основе этих инноваций, является компьютерное зрение — направление AI, помогающее машинам анализировать и понимать визуальные данные. Хотя одно лишь компьютерное зрение не делает визуальные эффекты возможными, оно играет важнейшую роль в повышении их реалистичности и интеграции.

Рассмотрим отслеживание объектов — это задача компьютерного зрения, которая помогает отслеживать движения объектов или актёров в сцене, обеспечивая соответствие цифровых эффектов отснятому материалу. Отслеживание объектов работает путём анализа кадров видео для определения положения объекта и его движения. Эта информация используется для закрепления цифровых элементов, например персонажей или эффектов CGI, чтобы они естественно двигались вместе с отслеживаемым объектом. Например, в сцене с экшеном система может отслеживать руку актёра и бесшовно добавлять оружие CGI или светящийся эффект, создавая впечатление, что они являются частью физического окружения.

Персонажи, созданные с помощью AI, в кино#

Созданные с помощью AI персонажи меняют подход кинематографистов к таким задачам, как завершение съёмок после смерти актёра. В фильме «Форсаж 7» AI сыграл важнейшую роль в возвращении персонажа Пола Уокера, Брайана О’Коннера, после его безвременной смерти. Кинематографисты использовали CGI и AI, чтобы в цифровом виде воссоздать лицо Уокера, а его братья Калеб и Коди, а также актёр Джон Бразертон выступили в качестве дублёров. AI проанализировал предыдущие выступления Уокера, чтобы точно воспроизвести выражения его лица и движения, а для создания диалогов использовались существующие аудиозаписи. Инновационное применение AI позволило завершить фильм и отдать дань наследию Уокера.

Рис. 3. Наложение лица Пола Уокера на тело Коди Уокера.

Написание сценариев с помощью AI#

Генеративный AI ускоряет этап подготовки к съёмкам, помогая выполнять творческие задачи, такие как написание сценариев и разработка историй. Модели AI способны анализировать сценарии и диалоги из разных фильмов, а также генерировать сценарии или истории на основе заданных запросов. Эти инструменты AI могут выявлять закономерности в повествовании, предлагать сюжетные ходы и даже создавать диалоги, соответствующие определённым жанрам или настроениям. Это экономит время и даёт кинематографистам уникальную отправную точку для их творческого процесса.

Интересным примером творческого применения AI в кинопроизводстве стал короткометражный фильм «Sunspring» 2016 года, созданный компанией End Cue. Уникальность этого 9-минутного научно-фантастического фильма в том, что его сценарий полностью написал AI-бот по имени Бенджамин. Обученный на сотнях сценариев, диалогов и субтитров из фильмов 1980-х и 1990-х годов, Бенджамин продемонстрировал, как AI может привнести свежий взгляд в повествование.

Рис. 4. Сценарий, созданный Бенджамином.

AI в видеомонтаже и постпродакшне#

Передовые технологии уже много лет используются на этапе постпродакшна фильмов, но часто требуют значительных затрат времени и усилий. AI меняет ситуацию, упрощая процесс и внедряя новые творческие инструменты, такие как автоматизированный монтаж и синтез речи, благодаря чему кинопроизводство становится быстрее, проще и инновационнее.

Использование AI для автоматизированного видеомонтажа#

Монтаж — один из самых трудоёмких процессов в кинопроизводстве. Монтажёры обычно часами просматривают отснятый материал, анализируют кадры, выбирают лучшие дубли и соединяют их. Например, в фильме «Забирая жизни 3» (2014) шестисекундная сцена, в которой Лиам Нисон (Брайан Миллс) перепрыгивает через забор, включает 14 склеек с нескольких камер. Чтобы создать этот короткий эпизод, съёмочной группе пришлось внимательно просмотреть записи с разных камер, внести несколько корректировок и завершить монтаж сцены.

Чтобы ускорить эти процессы, можно использовать инструменты монтажа на основе AI, которые анализируют записи с разных камер и создают цельный итоговый материал. Компьютерное зрение играет важную роль в таких инструментах благодаря, например, классификации сцен, которая помогает определять и организовывать разные части отснятого материала: экшен-сцены, диалоги или переходы. Это помогает инструментам AI понимать структуру фильма и лучше решать, какие клипы использовать и как их расположить.

Рис. 5. AI может ускорить процесс видеомонтажа.

AI для создания саундтреков#

В фильме тематическая музыка и фоновая партитура играют важнейшую роль в усилении сцен и установлении связи между фильмом и зрителями. Точная настройка высоты тона и тембра в соответствии с напряжённостью сцены — будь то усиление звучания в экшен-эпизодах или его смягчение в эмоциональные моменты — всегда была сложной задачей для композиторов.

Чтобы упростить этот процесс, многие композиторы теперь используют инструменты генерации музыки с помощью AI. Например, Майкл Джаккино, лауреат премий «Оскар», «Золотой глобус» и «Грэмми», использовал инструменты AI для создания некоторых мрачных и атмосферных композиций в фильме «Бэтмен» (2022).

Роль AI в синтезе речи и дубляже#

Раньше звукорежиссёры использовали различные звуковые характеристики, чтобы имитировать звуки в сцене. Например, рёв тираннозавра в фильме «Парк юрского периода» (1993) представляет собой сочетание звуков разных животных. Гэри Райдстром, обладатель «Оскара» за работу со звуком в этом фильме, объединил визг слонёнка, рычание тигра и бульканье аллигатора, создав незабываемый рёв. Запись этих звуков из разных источников требует времени и продвинутых систем звукозаписи.

Рис. 6. AI может упростить постпродакшн звука.

Однако с помощью инструментов AI, способных генерировать различные звуки, их можно легко создавать. Например, в фильме «Топ Ган: Мэверик» (2022) актёр Вэл Килмер, сыгравший Тома Казански, потерял голос из-за рака горла. Съёмочная группа использовала передовой AI, чтобы воссоздать его голос.

Этические аспекты использования AI в кинопроизводстве#

Хотя AI может повысить эффективность и открыть новые творческие возможности, его растущая роль в индустрии также поднимает важные этические вопросы, например:

• Право собственности: контент, созданный с помощью AI, вызывает вопросы о праве собственности, оригинальности и правах на интеллектуальную собственность. Когда инструменты AI используются для создания сценариев, персонажей, музыки или визуальных эффектов, становится сложно определить, кого следует указать в качестве автора и кому выплачивать вознаграждение.
• Дезинформация в дипфейках: технология дипфейков на основе AI может создавать чрезвычайно реалистичный контент. Однако она также может распространять ложную информацию, способную повлечь серьёзные юридические последствия.
• Проблемы конфиденциальности: процесс обучения AI, используемый в кинопроизводстве, требует сбора огромного объёма персональных данных, таких как изображения, видео и записи голосов актёров. Это вызывает опасения относительно конфиденциальности и защиты данных.

Следующая глава кинопроизводства с AI#

AI стал эффективным инструментом в киноиндустрии. От улучшения визуальных эффектов и оптимизации постпродакшна до создания творческого контента и персонализации зрительского опыта — AI меняет то, как мы смотрим и создаём фильмы.

Хотя потенциальные преимущества AI огромны, крайне важно решать этические проблемы, связанные с его использованием. Развивая ответственный AI и отдавая приоритет человеческому творчеству, мы можем создать будущее, в котором технологии и искусство органично переплетаются, улучшая восприятие историй и одновременно уважая художественные ценности.

Узнай больше об AI в нашем репозитории GitHub и присоединяйся к нашему активному сообществу. Изучи различные применения AI в таких сферах, как производство и беспилотное вождение.