영화 제작에서의 인공지능: 새로운 창작 가능성

영화 Here (2023)는 몇 주 전에 개봉했으며, 인공지능 (AI)이 영화 제작 과정을 어떻게 변화시키고 있는지를 보여주는 훌륭한 사례입니다. Robert Zemeckis가 감독한 이 영화에서는 첨단 AI 기반 디에이징 기술을 사용해 배우 Tom Hanks와 Robin Wright가 60년에 걸쳐 자신의 캐릭터를 연기하는 모습을 보여줍니다. 완성하는 데 수개월이 걸릴 수 있는 기존 CGI(컴퓨터-생성 이미지)와 달리, 이 접근 방식은 촬영 현장에서 즉각적인 변화를 확인할 수 있게 해 시간과 비용을 절약했습니다. AI는 스토리텔링을 향상할 뿐만 아니라 영화 제작을 더욱 효율적이고 혁신적으로 만들고 있습니다.

실제로 Hollywood에서는 이제 AI 기반 얼굴 교체, 딥페이크 방식의 캐릭터 보강, 자동 배경 생성, 실시간 가상 환경과 같은 혁신적인 기법을 실험하고 있습니다. 이러한 혁신은 시각 효과를 더욱 사실적으로 만들고 제작 효율성을 높이고 있습니다. 보고서에 따르면 영화 산업에서의 생성형 AI 도입은 빠르게 증가하고 있으며, 연평균 성장률은 27.2%에 달합니다.

그림 1. 영화 생성형 AI 시장 개요입니다.

최근 몇 년 동안 CGI는 많은 영화에서 표준적인 요소가 되었습니다. 거의 모든 Marvel Studios 영화는 디에이징 기술을 사용해 팬들이 사랑하는 캐릭터를 되살리고 향수를 불러일으키며 영화적 경험을 향상합니다. 이제 AI는 스토리텔링과 영상 편집부터 각본 작성에 이르기까지 영화 제작의 핵심 요소가 되었습니다. 영화 산업이 인공지능을 활용해 영화를 더욱 매력적이고 효율적이며 시각적으로 인상적으로 만드는 방법을 살펴보겠습니다.

영화에서 AI 기반 스토리텔링#

AI는 배우의 나이를 되돌리는 작업부터 완전히 새로운 캐릭터를 만드는 작업까지, 영화 제작자가 창의적인 비전을 현실로 구현하도록 지원합니다. 이러한 AI 활용 사례를 자세히 살펴보겠습니다.

영화에서 시각 효과에 AI 활용하기#

시각 효과와 CGI는 수년 동안 영화 제작의 중요한 요소였습니다. 처음으로 크게 활용된 사례는 Westworld (1973)로, 픽셀화된 이미지를 사용해 로봇의 시점을 표현했습니다. 시간이 지나면서 이러한 기술은 더욱 발전하고 사실적으로 변했습니다.

인공지능의 통합은 이러한 기술을 더욱 발전시켰습니다. 디에이징, 얼굴 변형, AI 기반 모션 캡처와 같은 기법을 통해 디지털 효과가 더욱 자연스러워졌습니다. 예를 들어 Gemini Man (2019)에서는 당시 50세였던 Will Smith를 설득력 있는 23세의 모습으로 변환하는 디에이징 기술이 사용되었습니다. 이를 통해 Junior라는 캐릭터가 생생하게 구현되었습니다.

그림 2. Will Smith는 50세에서 23세의 모습으로 디에이징되었습니다.

AI를 사용하는 디에이징 기술의 작동 방식은 다음과 같습니다.

• 얼굴 스캐닝: 고해상도 스캔을 사용해 피부 질감, 모공, 얼굴 윤곽 등 배우 얼굴의 세밀한 특징을 포착합니다.
• AI 모델: 머신 러닝 모델이 아카이브 영상이나 참조 이미지를 분석해 얼굴 특징, 표정, 움직임을 재현합니다.
• 연기 캡처: 자연스럽고 사실적인 연기를 구현하기 위해 모션 캡처 기술을 사용해 배우의 움직임과 표정을 기록합니다.
• CGI 재구성: 디지털 모델을 생성한 후 실사 영상과 매끄럽게 결합하고, 배우의 표정을 디지털 캐릭터에 매핑합니다.
• 조명 및 텍스처 조정: 정교한 렌더링 기법을 사용해 피부 톤, 조명, 환경과의 상호작용을 조정함으로써 디지털 캐릭터가 장면에 자연스럽게 어우러지도록 합니다.

이 과정을 통해 영화 제작자는 배우의 젊은 시절 모습이나 완전히 새로운 캐릭터를 만들고 복잡한 시각 효과를 향상하는 등 놀라운 사실감을 구현할 수 있습니다.

영화의 시각 효과 향상에서 Vision AI의 역할#

시각 효과와 CGI에서 AI는 광범위한 기법과 접근 방식을 포함하는 넓은 분야라는 점을 염두에 두어야 합니다. 이러한 혁신을 뒷받침하는 핵심 기술 중 하나는 컴퓨터 비전으로, 기계가 시각 데이터를 분석하고 이해하도록 지원하는 AI의 한 분야입니다. 컴퓨터 비전만으로 시각 효과를 구현할 수는 없지만, 시각 효과의 사실성과 통합을 향상하는 데 중요한 역할을 합니다.

객체 추적을 예로 들어 보겠습니다. 객체 추적은 장면 속 객체나 배우의 움직임을 따라가는 데 도움이 되는 컴퓨터 비전 작업으로, 디지털 효과가 실사 영상에 맞춰 정렬된 상태를 유지하도록 합니다. 객체 추적은 비디오 프레임을 분석해 객체의 위치와 움직임을 감지하는 방식으로 작동합니다. 이 정보를 사용해 CGI 캐릭터나 효과와 같은 디지털 요소를 고정하므로, 해당 요소가 추적된 객체와 함께 자연스럽게 움직입니다. 예를 들어 액션 장면에서 배우의 손을 추적해 CGI 무기나 빛나는 효과를 매끄럽게 추가하면, 해당 요소가 실제 환경의 일부처럼 보이게 할 수 있습니다.

영화 속 AI 생성 캐릭터#

AI 생성 캐릭터는 배우가 사망한 후에도 연기를 완성하는 것과 같은 문제에 영화 제작자가 대처하는 방식을 바꾸고 있습니다. Furious 7에서는 Paul Walker가 갑작스럽게 사망한 후 그의 캐릭터인 Brian O’Conner를 되살리는 데 AI가 핵심적인 역할을 했습니다. 영화 제작진은 CGI와 AI를 사용해 Walker의 얼굴을 디지털로 재현했으며, 그의 형제 Caleb과 Cody, 그리고 배우 John Brotherton이 대역으로 연기했습니다. AI는 Walker의 이전 연기를 분석해 얼굴 표정과 움직임을 정확하게 재현했으며, 기존 음성 녹음을 사용해 대사를 제작했습니다. AI의 혁신적인 활용으로 영화를 완성할 수 있었고 Walker의 유산을 기릴 수 있었습니다.

그림 3. Cody Walker의 몸에 Paul Walker의 얼굴을 합성하는 모습입니다.

AI 기반 각본 작성#

생성형 AI는 각본 작성 및 스토리 개발과 같은 창의적 작업을 지원하여 영화 제작의 프리프로덕션 단계를 가속화하고 있습니다. AI 모델은 다양한 영화의 각본과 대사를 분석하고, 주어진 프롬프트를 기반으로 각본이나 스토리를 생성할 수 있습니다. 이러한 AI 도구는 스토리텔링의 패턴을 식별하고 플롯의 주요 지점을 제안하며 특정 장르나 분위기에 맞는 대사까지 만들 수 있습니다. 이를 통해 시간을 절약하고 영화 제작자의 창의적 과정에 독특한 출발점을 제공합니다.

영화 제작에서 AI를 창의적으로 활용한 흥미로운 사례 중 하나는 End Cue가 제작한 2016년 단편 영화 Sunspring입니다. 이 9분짜리 SF 영화가 특별한 이유는 각본 전체를 Benjamin이라는 AI 봇이 작성했다는 점입니다. 1980년대와 1990년대 영화 수백 편의 각본, 대사, 자막을 학습한 Benjamin은 AI가 스토리텔링에 새로운 관점을 제시할 수 있음을 보여주었습니다.

그림 4. Benjamin이 생성한 각본입니다.

영상 편집 및 포스트프로덕션에서의 AI#

첨단 기술은 수년 동안 영화 포스트프로덕션에 사용되어 왔지만, 많은 시간과 노력이 필요한 경우가 많았습니다. AI는 자동 편집과 음성 합성 같은 새로운 창작 도구를 도입하고 프로세스를 간소화하여 영화 제작을 더욱 빠르고 쉽고 혁신적으로 변화시키고 있습니다.

자동 영상 편집에 AI 활용하기#

편집은 영화 제작에서 가장 많은 시간이 소요되는 과정 중 하나입니다. 편집자는 일반적으로 영상을 검토하고 쇼트를 분석하며 최적의 테이크를 선택하고 이를 서로 맞추는 데 몇 시간을 보냅니다. 예를 들어 Taken 3 (2014)에서 Liam Neeson(Bryan Mills)이 울타리를 뛰어넘는 6초 분량의 장면에는 여러 카메라로 촬영한 14개의 컷이 포함되어 있습니다. 이 짧은 시퀀스를 제작하기 위해 편집팀은 여러 카메라의 영상을 면밀히 검토하고 여러 차례 조정한 후 시퀀스를 완성해야 했습니다.

이러한 프로세스를 가속화하기 위해 AI 기반 편집 도구를 사용해 다양한 카메라의 영상을 분석하고 일관된 최종 결과물을 얻을 수 있습니다. 컴퓨터 비전은 장면 분류와 같은 기법을 통해 이러한 도구에서 중요한 역할을 합니다. 장면 분류는 액션 시퀀스, 대화 장면, 전환과 같이 영상의 여러 부분을 식별하고 정리합니다. 이를 통해 AI 도구가 영화의 구조를 이해하고 어떤 클립을 사용할지, 어떻게 배열할지 더 나은 결정을 내릴 수 있습니다.

그림 5. AI는 영상 편집 프로세스를 가속화할 수 있습니다.

사운드트랙 작곡을 위한 AI#

영화에서 테마 음악과 배경 음악은 장면의 몰입감을 높이고 영화와 관객을 연결하는 데 중요한 역할을 합니다. 액션 시퀀스에서는 음악을 고조시키고 감정적인 순간에는 부드럽게 만드는 등 장면의 강도에 맞춰 음정과 음색을 완성하는 일은 작곡가에게 항상 어려운 작업이었습니다.

이 과정을 간소화하기 위해 현재 많은 작곡가가 AI 음악 생성 도구를 사용합니다. 예를 들어 Oscar상, Golden Globe상, Grammy Award를 수상한 Michael Giacchino는 The Batman (2022)의 어둡고 분위기 있는 트랙 일부를 제작하는 데 AI 도구를 사용했습니다.

음성 합성 및 더빙에서 AI의 역할#

과거에는 사운드 엔지니어가 장면 속 소리를 모방하기 위해 다양한 소리의 특성에 의존했습니다. 예를 들어 Jurassic Park (1993)의 Tyrannosaurus rex 포효는 여러 동물의 소리를 조합한 것입니다. 영화로 Oscar상을 수상한 사운드 디자이너 Gary Rydstrom은 아기 코끼리의 울음소리, 호랑이의 으르렁거리는 소리, 악어의 가글거리는 소리를 조합해 잊을 수 없는 포효를 만들어 냈습니다. 서로 다른 출처에서 이러한 소리를 녹음하려면 시간과 첨단 녹음 시스템이 필요합니다.

그림 6. AI는 사운드 포스트프로덕션을 간소화할 수 있습니다.

하지만 다양한 소리를 생성할 수 있는 AI 도구를 사용하면 이러한 소리를 손쉽게 만들 수 있습니다. 예를 들어 영화 Top Gun: Maverick (2022)에서 Tom Kazansky 역을 맡은 배우 Val Kilmer는 인후암으로 목소리를 잃었습니다. 영화 제작진은 첨단 AI를 사용해 그의 목소리를 재현했습니다.

영화 제작에서 AI의 윤리적 고려 사항#

AI는 효율성을 높이고 새로운 창작 가능성을 열어 주지만, 산업에서 AI의 역할이 확대되면서 다음과 같은 중요한 윤리적 문제가 제기되고 있습니다.

• 소유권: AI 생성 콘텐츠는 소유권, 독창성, 지식재산권에 대한 우려를 불러일으킵니다. AI 도구를 사용해 각본, 캐릭터, 음악 또는 시각 효과를 만들면 누가 크레딧을 받고 보상을 받아야 하는지 결정하기가 어려워집니다.
• 딥페이크의 허위 정보: AI 기반 딥페이크 기술은 매우 사실적인 콘텐츠를 만들 수 있습니다. 그러나 심각한 법적 결과를 초래할 수 있는 허위 정보를 확산할 수도 있습니다.
• 개인정보 보호 우려: 영화 제작에 사용되는 AI 학습 과정에는 배우의 이미지, 동영상, 음성 등 방대한 개인정보 수집이 필요합니다. 이로 인해 개인정보 보호와 데이터 보호에 대한 우려가 제기됩니다.

AI와 함께하는 다음 장#

AI는 영화 산업에서 영향력 있는 도구로 부상했습니다. 시각 효과를 향상하고 포스트프로덕션을 간소화하는 것부터 창작 콘텐츠를 생성하고 시청자 경험을 개인화하는 것까지, AI는 우리가 영화를 소비하고 제작하는 방식을 바꾸고 있습니다.

AI의 잠재적 이점은 매우 크지만, AI 사용과 관련된 윤리적 문제를 해결하는 것이 중요합니다. 책임감 있는 AI 개발을 촉진하고 인간의 창의성을 우선시한다면, 기술과 예술이 자연스럽게 어우러지는 미래를 만들 수 있습니다. 이를 통해 예술적 가치를 존중하면서 스토리텔링 경험을 향상할 수 있습니다.

AI에 대해 더 알아보려면 GitHub 리포지토리를 확인하고 활발한 커뮤니티에 참여해 보세요. 제조 및 자율주행과 같은 분야에서 다양한 AI 활용 사례를 살펴보세요.