Искусственный интеллект в кинопроизводстве: новые творческие возможности

Фильм «Здесь» (2024) вышел несколько недель назад и наглядно показывает, как искусственный интеллект (AI) меняет процесс создания фильмов. В картине режиссера Роберта Земекиса с помощью передовой технологии омоложения на основе ИИ актеры Том Хэнкс и Робин Райт сыграли своих персонажей на протяжении 60 лет их жизни. В отличие от традиционной компьютерной графики (CGI), доводка которой может занимать месяцы, этот подход позволил мгновенно менять внешность актеров прямо на съемочной площадке, экономя время и деньги. ИИ не просто обогащает повествование, но и делает кинопроизводство эффективнее и инновационнее.

На самом деле Голливуд уже экспериментирует с инновационными методами, такими как замена лиц с помощью ИИ, улучшение персонажей в стиле дипфейков, автоматическая генерация фонов и виртуальные среды в реальном времени. Эти инновации повышают реалистичность визуальных эффектов и эффективность производства. По имеющимся данным, генеративный ИИ в киноиндустрии быстро набирает популярность, а его впечатляющий среднегодовой темп роста составляет 27,2%.

Рис. 1. Обзор рынка генеративного ИИ в кино.

В последние годы CGI стала привычной частью многих фильмов. Почти в каждом фильме Marvel Studios используют технологию омоложения, чтобы вернуть на экран любимых зрителями персонажей, пробудить ностальгию и улучшить впечатления от просмотра. ИИ стал важной частью кинопроизводства и помогает во всем: от создания историй и видеомонтажа до написания сценариев. Давай посмотрим, как киноиндустрия использует искусственный интеллект, чтобы делать фильмы увлекательнее, эффективнее и зрелищнее.

Создание историй в кино с помощью ИИ#

ИИ помогает кинематографистам воплощать творческие замыслы: от омоложения актеров до создания совершенно новых персонажей. Рассмотрим подробнее некоторые варианты применения ИИ.

Использование ИИ для создания визуальных эффектов в кино#

Визуальные эффекты и CGI уже много лет играют важную роль в кинопроизводстве. Впервые их активно использовали в фильме «Мир Дикого Запада» (1973), где пикселизированное изображение показывало мир глазами робота. Со временем эти технологии стали совершеннее и реалистичнее.

Искусственный интеллект помог развить эти технологии еще больше. Такие методы, как омоложение, преобразование лица и захват движений с помощью ИИ, делают цифровые эффекты естественнее. Например, в фильме «Гемини» (2019) технология омоложения превратила 50-летнего на тот момент Уилла Смита в убедительного 23-летнего двойника. Так на экране ожил персонаж по имени Джуниор.

Рис. 2. Уилла Смита омолодили: из 50-летнего он превратился в 23-летнего.

Вот как работает технология омоложения на основе ИИ:

• Сканирование лица: Сканирование высокого разрешения позволяет зафиксировать мельчайшие детали лица актера, например текстуру кожи, поры и контуры лица.
• Модели ИИ: Модели машинного обучения анализируют архивные кадры или эталонные изображения, чтобы воссоздать черты лица, мимику и движения.
• Захват исполнения: Движения и мимику актеров записывают с помощью технологии захвата движения, чтобы добиться естественной и реалистичной игры.
• Реконструкция с помощью CGI: Создается цифровая модель, которую объединяют с кадрами с живыми актерами и переносят на цифрового персонажа мимику актера.
• Настройка освещения и текстур: Передовые методы рендеринга корректируют тон кожи, освещение и взаимодействие с окружающей средой, чтобы цифровой персонаж естественно вписывался в сцену.

Этот процесс позволяет добиваться поразительного реализма: создавать молодые версии актеров, совершенно новых персонажей или совершенствовать сложные визуальные эффекты.

Роль Vision AI в создании визуальных эффектов в кино#

Важно помнить, что ИИ в визуальных эффектах и CGI — это широкая область, охватывающая множество методов и подходов. Например, одна из ключевых технологий, лежащих в основе этих инноваций, — компьютерное зрение, область ИИ, которая помогает машинам анализировать и понимать визуальные данные. Одного компьютерного зрения недостаточно для создания визуальных эффектов, но оно играет важную роль в повышении их реалистичности и интеграции.

Рассмотрим отслеживание объектов — это задача компьютерного зрения, которая помогает следить за перемещением объектов или актеров в сцене, чтобы цифровые эффекты оставались согласованы с кадрами с живыми актерами. Отслеживание объектов работает за счет анализа видеокадров, позволяющего определить положение объекта и его движение. Эти данные используют, чтобы закрепить цифровые элементы, например персонажей CGI или визуальные эффекты, и заставить их естественно двигаться вместе с отслеживаемым объектом. Например, в сцене с дракой можно отслеживать руку актера, чтобы добавить оружие CGI или светящийся эффект и создать впечатление, будто они являются частью физического окружения.

Персонажи, созданные с помощью ИИ, в кино#

Персонажи, созданные ИИ, меняют подход кинематографистов к таким задачам, как завершение съёмок после смерти актёра. В фильме «Форсаж 7» ИИ сыграл ключевую роль в том, чтобы вернуть на экран персонажа Пола Уокера, Брайана О’Коннора, после его безвременной смерти. Создатели фильма использовали CGI и ИИ, чтобы воссоздать лицо Уокера в цифровом виде, а его братья Калеб и Коди, а также актёр Джон Бразертон выступили в роли дублёров. ИИ проанализировал предыдущие выступления Уокера, чтобы точно воспроизвести выражение его лица и движения, а для создания диалогов использовали существующие аудиозаписи. Благодаря инновационному использованию ИИ фильм удалось завершить и отдать дань памяти Уокеру.

Рис. 3. Наложение лица Пола Уокера на тело Коди Уокера.

Написание сценариев с помощью ИИ#

Генеративный ИИ ускоряет этап подготовки к съемкам, помогая выполнять творческие задачи, такие как написание сценариев и разработка сюжета. Модели ИИ анализируют сценарии и диалоги из разных фильмов, а также могут создавать сценарии или истории по заданным запросам. Эти инструменты выявляют закономерности в повествовании, предлагают сюжетные повороты и даже создают диалоги, соответствующие определенным жанрам или настроению. Это экономит время и дает кинематографистам оригинальную отправную точку для творческого процесса.

Интересный пример творческого применения ИИ в кинопроизводстве — короткометражный фильм «Санспринг» 2016 года, созданный компанией End Cue. Уникальность этой девятиминутной научно-фантастической картины в том, что ее сценарий целиком написал бот с ИИ по имени Бенджамин. Обученный на сотнях сценариев, диалогов и субтитров из фильмов 1980-х и 1990-х годов, Бенджамин показал, как ИИ может привнести свежий взгляд в повествование.

Рис. 4. Сценарий, созданный Бенджамином.

ИИ в видеомонтаже и постпродакшене#

Передовые технологии уже много лет используют на этапе постпроизводства, но они часто требуют много времени и усилий. ИИ меняет ситуацию: он упрощает процесс и добавляет новые творческие инструменты, такие как автоматический монтаж и синтез речи, делая кинопроизводство быстрее, проще и инновационнее.

Автоматический видеомонтаж с помощью ИИ#

Монтаж — один из самых трудоемких этапов кинопроизводства. Обычно монтажеры часами просматривают отснятый материал, анализируют кадры, выбирают лучшие дубли и соединяют их. Например, в фильме «Заложница 3» (2014) шестисекундная сцена, в которой Лиам Нисон (Брайан Миллс) перепрыгивает через забор, состоит из 14 склеек с нескольких камер. Чтобы создать этот короткий эпизод, монтажерам пришлось внимательно изучить записи с разных камер, внести несколько правок и смонтировать окончательный вариант.

Чтобы ускорить эти процессы, монтажеры могут использовать инструменты монтажа на базе ИИ: они анализируют съемки с разных камер и помогают получить целостный финальный результат. В этих инструментах важную роль играет компьютерное зрение: например, классификация сцен помогает распознавать и упорядочивать разные части отснятого материала, такие как эпизоды с действием, диалоги или переходы. Это помогает инструментам ИИ понимать структуру фильма и лучше выбирать фрагменты и определять их последовательность.

Рис. 5. ИИ может ускорить видеомонтаж.

ИИ для создания музыки к фильму#

В фильме главная музыкальная тема и фоновая музыка помогают усилить воздействие сцен и установить связь со зрителями. Композиторам всегда было непросто подобрать высоту и тон звучания в соответствии с интенсивностью сцены — сделать музыку мощнее для боевых эпизодов или тише для эмоциональных моментов.

Чтобы упростить этот процесс, многие композиторы теперь используют инструменты для создания музыки с помощью ИИ. Например, Майкл Джаккино, лауреат премий «Оскар», «Золотой глобус» и «Грэмми», использовал инструменты ИИ для создания нескольких мрачных, атмосферных композиций для фильма «Бэтмен» (2022).

Роль ИИ в синтезе речи и дубляже#

Раньше звукорежиссеры полагались на смешивание разных записанных звуков, чтобы создавать звуковое оформление сцен. Например, рев тираннозавра в фильме «Парк юрского периода» (1993) составлен из звуков разных животных. Гэри Райдстром, удостоенный премии «Оскар» звукорежиссер фильма, объединил писк слоненка, рычание тигра и бульканье аллигатора, чтобы создать незабываемый рев. Запись звуков из разных источников требует времени и передового оборудования.

Рис. 6. ИИ может упростить постобработку звука.

Сегодня инструменты ИИ позволяют создавать такие звуки с гораздо меньшими усилиями. Например, при работе над фильмом «Топ Ган: Мэверик» (2022) актер Вэл Килмер, сыгравший Тома Казански, потерял голос из-за рака горла. Съемочная группа использовала передовой ИИ, чтобы воссоздать его голос.

Этические аспекты использования ИИ в кинопроизводстве#

Хотя ИИ повышает эффективность и открывает новые творческие возможности, его растущая роль в индустрии также поднимает важные этические вопросы, например:

• Право собственности: Контент, созданный ИИ, вызывает вопросы о праве собственности, оригинальности и правах на интеллектуальную собственность. Когда инструменты ИИ используют для создания сценариев, персонажей, музыки или визуальных эффектов, бывает сложно определить, кого следует указать автором и кому выплачивать вознаграждение.
• Дезинформация в дипфейках: Технология дипфейков на основе ИИ может создавать очень реалистичный контент. Однако с ее помощью также можно распространять ложную информацию, что может повлечь серьезные юридические последствия.
• Вопросы конфиденциальности: Для обучения ИИ в кинопроизводстве требуется огромный объем персональных данных, например изображения, видео и голоса актеров. Это вызывает опасения по поводу конфиденциальности и защиты данных.

Новый этап развития ИИ#

ИИ стал эффективным инструментом в киноиндустрии. Он улучшает визуальные эффекты, упрощает постпродакшен, помогает создавать творческий контент и персонализировать впечатления зрителей, меняя способы просмотра и создания фильмов.

Потенциальные преимущества ИИ огромны, но важно решать этические проблемы, связанные с его использованием. Развивая ответственный ИИ и отдавая приоритет человеческому творчеству, мы можем создать будущее, в котором технологии и искусство будут переплетаться, улучшая впечатления от повествования и сохраняя уважение к художественным ценностям.

Узнай больше об ИИ в нашем репозитории GitHub и присоединяйся к нашему активному сообществу. Изучи разные варианты применения ИИ в таких областях, как производство и беспилотное вождение.