영화 제작 분야의 인공지능: 새로운 창작 가능성

몇 주 전에 개봉한 영화 Here(2024)는 인공지능(AI)이 영화 제작 과정을 어떻게 변화시키고 있는지 보여 주는 좋은 사례입니다. Robert Zemeckis 감독의 이 영화는 첨단 AI 기반 노화 방지 기술을 사용해 Tom Hanks와 Robin Wright가 60년에 걸쳐 각자의 캐릭터를 연기하는 모습을 구현했습니다. 완성도를 높이는 데 몇 달이 걸릴 수 있는 기존 CGI(컴퓨터 생성 이미지)와 달리, 이 방식은 촬영 현장에서 즉시 변화를 확인할 수 있어 시간과 비용을 절약했습니다. AI는 스토리텔링을 향상할 뿐만 아니라 영화 제작을 더 효율적이고 혁신적으로 만들고 있습니다.

실제로 할리우드는 AI 기반 얼굴 대체, 딥페이크 스타일의 캐릭터 강화, 자동 배경 생성, 실시간 가상 환경과 같은 혁신적인 기법을 실험하고 있습니다. 이러한 혁신은 시각 효과를 더 사실적으로 만들고 제작 효율성을 높이고 있습니다. 영화 산업의 생성형 AI 도입이 연평균 27.2%라는 인상적인 성장률로 빠르게 증가하고 있다는 보고도 있습니다.

그림 1. 영화 시장의 생성형 AI 개요입니다.

최근 몇 년 동안 CGI는 많은 영화에서 표준 기술로 자리 잡았습니다. 거의 모든 Marvel Studios 영화는 팬들이 사랑하는 캐릭터를 다시 등장시켜 향수를 불러일으키고 영화적 경험을 향상하기 위해 노화 역행 기술을 사용합니다. AI는 이제 스토리텔링과 영상 편집부터 각본 작성까지 영화 제작의 모든 분야를 지원하는 핵심 요소입니다. 영화 산업이 인공지능을 활용해 영화를 더 흥미롭고 효율적이며 시각적으로 인상적으로 만드는 방법을 살펴보겠습니다.

AI 기반 영화 스토리텔링#

배우의 나이를 되돌리는 것부터 완전히 새로운 캐릭터를 만드는 것까지, AI는 영화 제작자가 창의적인 비전을 실현하도록 돕습니다. AI의 적용 사례를 자세히 살펴보겠습니다.

영화 시각 효과에 AI 활용하기#

시각 효과와 CGI는 오랫동안 영화 제작의 중요한 요소였습니다. 이를 처음으로 크게 활용한 사례는 Westworld (1973)로, 픽셀화된 이미지를 사용해 로봇의 시점을 표현했습니다. 이후 이러한 기술은 더 발전하고 사실적으로 변했습니다.

인공지능의 통합은 시각 효과를 더욱 향상했습니다. 노화 역행, 얼굴 변형, AI 기반 모션 캡처와 같은 기법은 이제 디지털 효과를 더욱 자연스럽게 표현합니다. 예를 들어, Gemini Man (2019)에서는 당시 50세였던 Will Smith에게 노화 역행 기술을 적용해 설득력 있는 23세 모습으로 변신시켰습니다. 이를 통해 Junior라는 캐릭터를 생생하게 구현했습니다.

그림 2. Will Smith의 나이를 50세에서 23세로 되돌렸습니다.

AI를 활용하는 노화 역행 기술의 작동 방식은 다음과 같습니다.

• 얼굴 스캔: 고해상도 스캔으로 피부 결, 모공, 얼굴 윤곽과 같은 배우 얼굴의 섬세한 세부 정보를 캡처합니다.
• AI 모델: 머신러닝 모델은 보관 영상이나 참조 이미지를 분석해 얼굴 특징, 표정, 움직임을 재현합니다.
• 연기 캡처: 자연스럽고 사실적인 연기를 구현하기 위해 모션 캡처 기술로 배우의 움직임과 표정을 기록합니다.
• CGI 재구성: 디지털 모델을 만든 뒤 실사 영상과 합성하고 배우의 표정을 디지털 캐릭터에 매핑합니다.
• 조명 및 텍스처 조정: 정교한 렌더링 기법을 사용해 피부 톤과 조명, 환경과의 상호작용을 조정하여 디지털 캐릭터가 장면에 자연스럽게 어우러지도록 합니다.

이 과정을 통해 영화 제작자는 배우의 젊은 시절 모습이나 완전히 새로운 캐릭터를 만들고 복잡한 시각 효과를 보강하는 등 놀라울 정도로 사실적인 결과를 구현할 수 있습니다.

영화 시각 효과 향상에서 Vision AI의 역할#

시각 효과와 CGI 분야의 AI는 다양한 기법과 접근 방식을 아우르는 폭넓은 분야라는 점을 기억해야 합니다. 예를 들어 이러한 혁신을 뒷받침하는 핵심 기술 중 하나는 기계가 시각 데이터를 분석하고 이해하도록 돕는 AI 분야인 컴퓨터 비전입니다. 컴퓨터 비전만으로 시각 효과를 구현할 수는 없지만, 시각 효과의 사실성과 통합성을 높이는 데 중요한 역할을 합니다.

객체 추적을 살펴보겠습니다. 객체 추적은 장면 속 객체나 배우의 움직임을 따라가 실사 영상에 디지털 효과가 정렬된 상태를 유지하도록 돕는 컴퓨터 비전 작업입니다. 객체 추적은 비디오 프레임을 분석해 객체의 위치와 움직임을 탐지하는 방식으로 작동합니다. 이 정보를 사용해 CGI 캐릭터나 효과와 같은 디지털 요소를 고정하여 추적 대상 객체와 함께 자연스럽게 움직이도록 합니다. 예를 들어 액션 장면에서 배우의 손을 추적해 CGI 무기나 빛나는 효과를 추가하면 실제 환경의 일부처럼 보이게 할 수 있습니다.

영화 속 AI 생성 캐릭터#

AI로 생성한 캐릭터는 배우 사망 후 연기를 완성하는 것과 같은 어려움을 영화 제작자가 해결하는 방식을 바꾸고 있습니다. 영화 분노의 질주 7에서는 배우 Paul Walker의 갑작스러운 사망 이후 그의 캐릭터 Brian O’Conner를 되살리는 데 AI가 핵심적인 역할을 했습니다. 제작진은 CGI와 AI를 사용해 Walker의 얼굴을 디지털 방식으로 재현했으며, 그의 형제 Caleb과 Cody, 배우 John Brotherton이 대역을 맡았습니다. AI는 Walker의 이전 연기를 분석해 표정과 움직임을 정확하게 재현했으며, 기존 오디오 녹음을 사용해 대사를 구성했습니다. AI를 혁신적으로 활용한 덕분에 영화를 완성하고 Walker의 유산을 기릴 수 있었습니다.

그림 3. Cody Walker의 몸에 Paul Walker의 얼굴을 합성하는 모습입니다.

AI 기반 각본 작성#

생성형 AI는 대본 작성과 스토리 개발 같은 창작 작업을 지원해 영화 제작의 사전 제작 단계를 가속화합니다. AI 모델은 여러 영화의 대본과 대사를 분석하고 주어진 프롬프트를 바탕으로 대본이나 이야기를 생성할 수 있습니다. 이러한 AI 도구는 스토리텔링의 패턴을 식별하고 플롯 요소를 제안하며 특정 장르나 분위기에 맞는 대사까지 만들 수 있습니다. 이를 통해 시간을 절약하고 영화 제작자가 창작 과정을 시작할 수 있는 독특한 출발점을 제공합니다.

영화 제작에서 AI를 창의적으로 활용한 흥미로운 사례 중 하나는 End Cue가 제작한 2016년 단편 영화 Sunspring입니다. 이 9분짜리 SF 영화의 독특한 점은 Benjamin이라는 AI 봇이 대본 전체를 작성했다는 것입니다. 1980년대와 1990년대 영화의 대본, 대사, 자막 수백 편을 학습한 Benjamin은 AI가 스토리텔링에 새로운 관점을 더할 수 있음을 보여주었습니다.

그림 4. Benjamin이 생성한 각본입니다.

영상 편집 및 후반 작업에서의 AI#

고급 기술은 수년간 영화 후반 작업에 사용되어 왔지만, 시간과 노력이 많이 드는 경우가 많습니다. AI는 자동 편집과 음성 합성 같은 새로운 창작 도구를 도입하고 과정을 간소화해 영화 제작을 더 빠르고 쉽고 혁신적으로 바꾸고 있습니다.

자동 영상 편집에 AI 활용하기#

편집은 영화 제작에서 시간이 가장 많이 드는 과정 중 하나입니다. 편집자는 보통 영상 검토, 숏 분석, 최적의 테이크 선택, 장면 연결에 몇 시간씩 들입니다. 예를 들어 영화 Taken 3 (2014)에서 Liam Neeson(Bryan Mills)이 울타리를 뛰어넘는 6초짜리 장면에는 여러 대의 카메라로 촬영한 14개의 컷이 포함되어 있습니다. 이 짧은 장면을 완성하기 위해 편집팀은 여러 카메라의 영상을 면밀히 검토하고 여러 차례 조정한 뒤 장면을 마무리해야 했습니다.

이러한 작업 속도를 높이기 위해 편집자는 AI 기반 편집 도구를 사용해 여러 카메라의 영상을 분석하고 일관된 최종 결과물을 만들 수 있습니다. 컴퓨터 비전은 액션 시퀀스, 대화 장면, 전환 장면 등 영상의 여러 부분을 식별하고 정리하는 장면 분류 기법을 통해 이러한 도구에서 중요한 역할을 합니다. 이를 통해 AI 도구는 영화의 구조를 이해하고 어떤 클립을 사용할지, 어떻게 배열할지 더 나은 결정을 내릴 수 있습니다.

그림 5. AI는 영상 편집 과정을 가속화할 수 있습니다.

사운드트랙 작곡을 위한 AI#

영화에서 주제곡과 배경 음악은 장면의 효과를 높이고 관객과 영화를 연결하는 데 중요한 역할을 합니다. 액션 장면에서는 음악을 고조시키고 감정적인 순간에는 차분하게 하는 등 장면의 강도에 맞게 음높이와 분위기를 완벽하게 조절하는 일은 작곡가에게 언제나 어려운 과제였습니다.

이 과정을 간소화하기 위해 많은 작곡가가 이제 AI 음악 생성 도구를 사용합니다. 예를 들어 오스카상, 골든 글로브상, 그래미상을 수상한 Michael Giacchino는 The Batman (2022)의 어둡고 분위기 있는 트랙 일부를 제작하는 데 AI 도구를 사용했습니다.

음성 합성 및 더빙에서 AI의 역할#

과거에는 음향 엔지니어가 여러 녹음 사운드를 혼합해 장면의 소리를 만들었습니다. 예를 들어 영화 Jurassic Park (1993)에 등장하는 티라노사우루스의 포효는 여러 동물의 소리를 합친 것입니다. 이 영화의 사운드 디자이너이자 오스카 수상자인 Gary Rydstrom은 아기 코끼리의 울음소리, 호랑이의 으르렁거림, 악어의 그르렁거림을 조합해 잊을 수 없는 포효를 만들었습니다. 여러 출처에서 이러한 소리를 녹음하려면 시간과 고급 녹음 시스템이 필요합니다.

그림 6. AI는 사운드 후반 작업을 간소화할 수 있습니다.

오늘날 AI 도구는 훨씬 적은 노력으로 이러한 소리를 생성할 수 있습니다. 예를 들어 영화 Top Gun: Maverick (2022)에서 Tom Kazansky 역을 맡은 배우 Val Kilmer는 인후암으로 목소리를 잃었습니다. 영화 제작진은 고급 AI를 사용해 그의 목소리를 재현했습니다.

영화 제작에서 AI의 윤리적 고려 사항#

AI는 효율성을 높이고 새로운 창작 가능성을 열어 주지만, 업계에서 AI의 역할이 커지면서 다음과 같은 중요한 윤리적 문제도 제기됩니다.

• 소유권: AI 생성 콘텐츠는 소유권, 독창성, 지식재산권에 대한 우려를 낳습니다. AI 도구를 사용해 각본, 캐릭터, 음악, 시각 효과를 만들면 누가 크레딧을 받고 보상을 받아야 하는지 판단하기 어려워집니다.
• 딥페이크의 허위 정보: AI 기반 딥페이크 기술은 매우 사실적인 콘텐츠를 만들 수 있습니다. 그러나 심각한 법적 결과를 초래할 수 있는 허위 정보를 퍼뜨리는 데 사용될 수도 있습니다.
• 개인정보 보호 우려: 영화 제작에 필요한 AI 학습 과정에는 배우의 이미지, 동영상, 음성과 같은 방대한 개인 데이터가 사용됩니다. 이로 인해 개인정보 보호와 데이터 보호에 대한 우려가 제기됩니다.

AI와 함께 열리는 다음 장#

AI는 영화 산업에서 영향력 있는 도구로 자리 잡았습니다. 시각 효과를 강화하고 후반 작업을 간소화하는 일부터 창의적인 콘텐츠를 생성하고 시청자 경험을 개인화하는 일까지, AI는 영화를 소비하고 제작하는 방식을 바꾸고 있습니다.

AI가 제공하는 잠재적 이점은 매우 크지만, AI 사용과 관련된 윤리적 과제를 해결하는 것이 중요합니다. 책임 있는 AI 개발을 장려하고 인간의 창의성을 우선시함으로써 기술과 예술이 결합하고 예술적 가치를 존중하면서 스토리텔링 경험을 향상하는 미래를 만들 수 있습니다.

GitHub 저장소에서 AI에 대해 자세히 알아보고 활발한 커뮤니티에 참여해 보세요. 제조업과 자율주행 등 다양한 분야의 AI 적용 사례를 살펴보세요.