Искусственный интеллект в кинопроизводстве: новые творческие возможности

Фильм Here (2023) вышел несколько недель назад и стал отличным примером того, как искусственный интеллект (ИИ) меняет процесс кинопроизводства. В фильме режиссера Роберта Земекиса использовалась передовая технология омоложения на базе ИИ, чтобы показать актеров Тома Хэнкса и Робин Райт в образах их персонажей на протяжении 60 лет. В отличие от традиционной CGI (Computer-Generated Imagery), на доработку которой могут уйти месяцы, этот подход позволил видеть мгновенные преображения прямо на съемочной площадке, экономя время и деньги. ИИ не просто расширяет возможности сторителлинга, но и делает кинопроизводство более эффективным и инновационным.

На самом деле, Голливуд сейчас экспериментирует с инновационными методами, такими как замена лиц с помощью ИИ, улучшение персонажей в стиле дипфейков, автоматическая генерация фона и виртуальные среды в реальном времени. Эти инновации делают визуальные эффекты более реалистичными, а производство — эффективным. Отчеты показывают, что внедрение генеративного ИИ в киноиндустрии быстро растет, демонстрируя впечатляющие темпы годового роста в 27,2%.

Рис. 1. Обзор рынка генеративного ИИ в кино.

В последние годы CGI стал стандартом во многих фильмах. Почти каждый фильм Marvel Studios использует технологию омоложения, чтобы вернуть любимых фанатами персонажей, вызывая ностальгию и улучшая впечатления от просмотра. ИИ теперь является ключевой частью кинопроизводства, помогая во всем: от написания сценариев до видеомонтажа. Давай разберемся, как киноиндустрия использует искусственный интеллект, чтобы делать фильмы более захватывающими, эффективными и визуально потрясающими.

Link to this sectionСторителлинг в кино с помощью ИИ#

От омоложения актеров до создания совершенно новых персонажей — ИИ помогает кинематографистам воплощать свои творческие замыслы в жизнь. Давай подробнее рассмотрим некоторые из этих приложений ИИ.

Link to this sectionИспользование ИИ для визуальных эффектов в кино#

Визуальные эффекты и CGI уже много лет играют важную роль в кино. Их первое значительное использование было в фильме «Мир Дикого Запада» (1973), где пиксельные изображения использовались для отображения точки зрения робота. Со временем эти технологии стали более продвинутыми и реалистичными.

Интеграция искусственного интеллекта улучшила их еще больше. Такие методы, как омоложение, морфинг лиц и захват движения на базе ИИ, делают цифровые эффекты более естественными. Например, в фильме «Гемини» (2019) технология омоложения превратила 50-летнего Уилла Смита в убедительную 23-летнюю версию самого себя. Это вдохнуло жизнь в персонажа по имени Джуниор.

Рис. 2. Уилл Смит был омоложен с 50 до 23 лет.

Вот как работает технология омоложения с использованием ИИ:

• Сканирование лица: сканы высокого разрешения используются для захвата мельчайших деталей лица актера, таких как текстура кожи, поры и контуры лица.
• Модели ИИ: модели машинного обучения анализируют архивные кадры или эталонные изображения для воссоздания черт лица, выражений и мимики.
• Захват актерской игры: движения и выражения лица актеров записываются с помощью технологии захвата движения для обеспечения естественного и реалистичного результата.
• CGI-реконструкция: создается цифровая модель, которая бесшовно объединяется с живыми кадрами, проецируя выражения лица актера на цифрового персонажа.
• Освещение и корректировка текстур: сложные методы рендеринга настраивают тон кожи, освещение и взаимодействие с окружающей средой, чтобы цифровой персонаж естественно вписывался в сцену.

Этот процесс позволяет кинематографистам добиваться потрясающего реализма, будь то создание молодых версий актеров, совершенно новых персонажей или улучшение сложных визуальных эффектов.

Link to this sectionРоль компьютерного зрения в улучшении визуальных эффектов в кино#

Важно помнить, что ИИ в визуальных эффектах и CGI — это обширная область, охватывающая множество техник и подходов. Например, одной из ключевых технологий, стоящих за этими инновациями, является компьютерное зрение — отрасль ИИ, помогающая машинам анализировать и понимать визуальные данные. Хотя одно лишь компьютерное зрение не может сделать визуальные эффекты возможными, оно играет решающую роль в повышении их реалистичности и интеграции.

Возьмем отслеживание объектов — это задача компьютерного зрения, которая помогает следить за движением объектов или актеров в сцене, гарантируя, что цифровые эффекты остаются согласованными с живыми кадрами. Отслеживание объектов работает путем анализа кадров видео для определения позиции объекта и его движения. Эта информация используется для привязки цифровых элементов, таких как CGI-персонажи или эффекты, чтобы они двигались естественно вместе с отслеживаемым объектом. Например, в сцене боя система может следовать за рукой актера, чтобы легко добавить CGI-оружие или эффект свечения, заставляя их выглядеть частью физического окружения.

Link to this sectionПерсонажи в фильмах, созданные с помощью ИИ#

Персонажи, созданные с помощью ИИ, меняют то, как кинематографисты решают такие задачи, как завершение сцен после ухода актера из жизни. В фильме «Форсаж 7» ИИ сыграл важную роль в возвращении к жизни персонажа Пола Уокера, Брайана О'Коннора, после его безвременной кончины. Кинематографисты использовали CGI и ИИ для цифрового воссоздания лица Уокера, опираясь на его братьев, Калеба и Коди, а также актера Джона Бродертона в качестве дублеров. ИИ проанализировал предыдущие выступления Уокера, чтобы с точностью воспроизвести его мимику и движения, а существующие аудиозаписи использовались для создания диалогов. Инновационное использование ИИ позволило завершить фильм и отдать дань уважения наследию Уокера.

Рис. 3. Наложение лица Пола Уокера на тело Коди Уокера.

Link to this sectionНаписание сценариев с помощью ИИ#

Генеративный ИИ ускоряет процесс подготовки к производству фильма, помогая с такими творческими задачами, как написание сценариев и развитие сюжета. Модели ИИ способны анализировать сценарии и диалоги из разных фильмов и могут генерировать скрипты или истории на основе заданных промптов. Эти инструменты ИИ могут находить закономерности в повествовании, предлагать сюжетные ходы и даже создавать диалоги, соответствующие определенным жанрам или тонам. Это экономит время и предлагает кинематографистам уникальную отправную точку для их творческого процесса.

Один интересный пример творческого использования ИИ в кино — короткометражный фильм 2016 года «Sunspring», выпущенный End Cue. Что делает этот 9-минутный научно-фантастический фильм уникальным, так это то, что его сценарий был полностью написан ИИ-ботом по имени Бенджамин. Обученный на сотнях сценариев, диалогов и субтитров из фильмов 1980-х и 1990-х годов, Бенджамин продемонстрировал, как ИИ может привнести свежий взгляд в повествование.

Рис. 4. Сценарий, сгенерированный Бенджамином.

Link to this sectionИИ в видеомонтаже и постпродакшне#

Передовые технологии годами использовались в постпродакшне, но они часто требуют много времени и усилий. ИИ меняет ситуацию, упрощая процесс и внедряя новые творческие инструменты, такие как автоматизированный монтаж и синтез голоса, делая кинопроизводство быстрее, проще и инновационнее.

Link to this sectionИспользование ИИ для автоматизированного видеомонтажа#

Монтаж — один из самых трудоемких процессов в кинопроизводстве. Монтажеры обычно тратят часы на просмотр отснятого материала, анализ кадров, выбор лучших дублей и их объединение. Например, в фильме «Заложница 3» (2014) 6-секундная сцена, в которой Лиам Нисон (Брайан Миллс) перепрыгивает через забор, включает в себя 14 склеек с разных камер. Чтобы создать эту короткую последовательность, съемочной группе пришлось внимательно просмотреть материал с различных камер, внести несколько правок и завершить монтаж.

Чтобы ускорить эти процессы, мы можем использовать инструменты монтажа на базе ИИ для анализа отснятого материала с разных камер и получения целостного финального результата. Компьютерное зрение играет важную роль в этих инструментах посредством таких методов, как классификация сцен, позволяющая идентифицировать и упорядочивать различные части материала, такие как экшн-сцены, диалоги или переходы. Это помогает инструментам ИИ понять структуру фильма и принимать более правильные решения о том, какие клипы использовать и как их расположить.

Рис. 5. ИИ может ускорить процесс видеомонтажа.

Link to this sectionИИ для написания саундтреков#

В кино музыкальные темы и фоновая музыка играют решающую роль в усилении сцен и связи фильма со зрителем. Добиться идеальной высоты и тона, чтобы соответствовать интенсивности сцены — будь то усиление для боевых эпизодов или смягчение для эмоциональных моментов — всегда было сложной задачей для композиторов.

Чтобы упростить этот процесс, многие композиторы теперь используют инструменты генерации музыки на базе ИИ. Например, Майкл Джаккино, лауреат премий «Оскар», «Золотой глобус» и «Грэмми», использовал инструменты ИИ для создания некоторых мрачных и атмосферных треков в фильме «Бэтмен» (2022).

Link to this sectionРоль ИИ в синтезе голоса и дубляже#

В прошлом звукорежиссеры полагались на различные свойства звука, чтобы имитировать шумы в сцене. Например, рык тираннозавра в «Парке юрского периода» (1993) — это смесь звуков разных животных. Гэри Ридстром, звукорежиссер фильма, удостоенный премии «Оскар», использовал сочетание визга детеныша слона, рычания тигра и бульканья аллигатора, чтобы создать незабываемый рев. Запись этих звуков из разных источников требует времени и передовых систем записи.

Рис. 6. ИИ может упростить постпродакшн звука.

Однако с инструментами ИИ, которые могут генерировать различные звуки, это стало делать проще. Например, в фильме «Топ Ган: Мэверик» (2022) актер Вэл Килмер, сыгравший Тома Казански, потерял голос из-за рака горла. Съемочная группа использовала продвинутый ИИ, чтобы воссоздать его голос.

Link to this sectionЭтические аспекты использования ИИ в кинопроизводстве#

Хотя ИИ может повысить эффективность и открыть новые творческие возможности, его растущая роль в индустрии также поднимает важные этические вопросы, такие как:

• Право собственности: контент, созданный ИИ, вызывает опасения по поводу собственности, оригинальности и прав на интеллектуальную собственность. Когда инструменты ИИ используются для создания сценариев, персонажей, музыки или визуальных эффектов, становится трудно определить, кто должен получать признание и вознаграждение.
• Дезинформация в дипфейках: технология дипфейков на базе ИИ может создавать очень реалистичный контент. Однако она также может распространять ложную информацию, что может иметь серьезные правовые последствия.
• Проблемы конфиденциальности: процесс обучения ИИ, используемый в кинопроизводстве, требует сбора огромного количества персональных данных, таких как изображения, видео и голоса актеров. Это вызывает опасения по поводу конфиденциальности и защиты данных.

Link to this sectionСледующая глава с ИИ#

ИИ стал влиятельным инструментом в киноиндустрии. От улучшения визуальных эффектов и оптимизации постпродакшна до создания творческого контента и персонализации зрительского опыта — ИИ меняет то, как мы потребляем и создаем фильмы.

Хотя потенциальные преимущества ИИ огромны, крайне важно решать этические проблемы, связанные с его использованием. Поощряя ответственное развитие ИИ и ставя во главу угла человеческое творчество, мы сможем создать будущее, где технологии и искусство бесшовно переплетаются, улучшая опыт повествования при соблюдении художественных ценностей.

Узнай больше об ИИ в нашем репозитории GitHub и присоединяйся к нашему активному сообществу. Исследуй различные применения ИИ в таких секторах, как производство и беспилотные автомобили.