영화 제작에서의 인공지능: 새로운 창의적 가능성

영화 Here (2023)는 몇 주 전에 개봉되었으며, artificial intelligence (AI)가 영화 제작 과정을 어떻게 변화시키고 있는지 보여주는 훌륭한 예시입니다. 로버트 제메키스 감독이 연출한 이 영화는 최첨단 AI 기반 디에이징 기술을 사용하여 배우 톰 행크스와 로빈 라이트의 60년에 걸친 캐릭터 모습을 표현했습니다. 수개월이 걸릴 수 있는 전통적인 CGI(Computer-Generated Imagery)와 달리, 이 접근 방식은 현장에서 즉각적인 변환을 가능하게 하여 시간과 비용을 절약해 줍니다. AI는 스토리텔링을 향상시킬 뿐만 아니라 영화 제작을 더욱 효율적이고 혁신적으로 만들고 있습니다.

실제로 헐리우드는 현재 AI 기반 얼굴 교체, 딥페이크 스타일의 캐릭터 개선, 자동 배경 생성, real-time virtual environments와 같은 혁신적인 기술을 실험하고 있습니다. 이러한 혁신은 시각 효과를 더욱 현실적으로 만들고 제작 효율성을 높이고 있습니다. 보도에 따르면 generative AI in the film industry의 도입은 빠르게 증가하고 있으며, 인상적인 연평균 27.2%의 성장률을 기록하고 있습니다.

Fig 1. 영화 속 생성형 AI 시장 개요.

최근 몇 년 동안 CGI는 많은 영화에서 표준 기능이 되었습니다. 거의 모든 마블 스튜디오 영화는 팬들이 좋아하는 캐릭터를 되살리기 위해 de-aging technology를 사용하여 향수를 불러일으키고 영화적 경험을 향상시킵니다. 이제 AI는 스토리텔링과 비디오 편집부터 시나리오 작성에 이르기까지 모든 것을 지원하는 영화 제작의 핵심 부분이 되었습니다. 영화 산업이 인공지능을 활용하여 영화를 더욱 매력적이고 효율적이며 시각적으로 놀랍게 만들고 있는지 살펴보겠습니다.

영화 속 AI 기반 스토리텔링#

배우의 나이를 조절하는 것부터 완전히 새로운 캐릭터를 만드는 것까지, AI는 영화 제작자가 자신의 창의적인 비전을 현실로 구현하도록 돕습니다. 이러한 AI 응용 분야 중 일부를 자세히 살펴보겠습니다.

영화 시각 효과를 위한 AI 활용#

Visual effects and CGI는 수년 동안 영화 제작의 중요한 부분이었습니다. 이들의 첫 번째 주요 사용 사례는 robot’s 관점을 보여주기 위해 픽셀화된 이미지를 사용한 웨스트월드(1973)였습니다. 시간이 지남에 따라 이러한 기술은 더욱 발전하고 현실화되었습니다.

인공지능의 통합은 이를 더욱 개선했습니다. 디에이징, 얼굴 모핑, AI 지원 모션 Capture 같은 기술은 이제 디지털 효과를 더욱 자연스럽게 보이게 합니다. 예를 들어, Gemini Man (2019)에서 디에이징 기술은 당시 50세였던 윌 스미스를 설득력 있는 23세의 모습으로 변형시켰습니다. 이를 통해 주니어 캐릭터가 생생하게 살아났습니다.

Fig 2. 윌 스미스의 나이가 50세에서 23세로 디에이징되었습니다.

AI를 활용한 디에이징 기술의 작동 방식은 다음과 같습니다:

• Facial scanning: 고해상도 스캔을 사용하여 피부 텍스처, 모공, 얼굴 윤곽 등 배우 얼굴의 세밀한 디테일을 포착합니다.
• AI models: Machine learning 모델은 아카이브 영상이나 레퍼런스 이미지를 분석하여 얼굴 특징, 표정, 움직임을 재현합니다.
• Performance capture: 자연스럽고 현실적인 연기를 보장하기 위해 모션 Capture 기술을 사용하여 배우의 움직임과 표정을 기록합니다.
• CGI reconstruction: 디지털 모델이 생성되어 라이브 액션 영상과 매끄럽게 혼합되며, 배우의 표정이 디지털 캐릭터에 매핑됩니다.
• Lighting and Texture Adjustments: 정교한 렌더링 기술을 통해 피부 톤, 조명, 환경 상호 작용을 조정하여 디지털 캐릭터가 장면에 자연스럽게 어우러지도록 합니다.

이 과정을 통해 영화 제작자는 배우의 더 젊은 버전을 만들거나 완전히 새로운 캐릭터를 생성하고, 복잡한 시각 효과를 강화하는 등 놀라운 사실감을 구현할 수 있습니다.

영화 시각 효과 향상에 있어 비전 AI의 역할#

시각 효과와 CGI에서 AI는 다양한 기술과 접근 방식을 포괄하는 광범위한 분야임을 명심해야 합니다. 예를 들어, 이러한 혁신을 뒷받침하는 핵심 기술 중 하나는 기계가 visual data를 분석하고 이해하도록 돕는 AI의 한 분야인 computer vision입니다. computer vision 단독으로는 시각 효과를 완성할 수 없지만, 현실감과 integration을 높이는 데 중요한 역할을 합니다.

object tracking을 고려해 보세요. 이는 장면에 있는 객체나 배우의 움직임을 추적하여 디지털 효과가 라이브 액션 영상과 일치하도록 유지하는 데 도움을 주는 computer vision task입니다. Object tracking은 비디오 프레임을 분석하여 object’s position과 움직임을 감지하는 방식으로 작동합니다. 이 정보는 CGI 캐릭터나 효과와 같은 디지털 요소를 고정하는 데 사용되어 tracked object와 함께 자연스럽게 움직이도록 합니다. 예를 들어, 액션 신에서 배우의 손을 따라가며 CGI 무기나 빛나는 효과를 매끄럽게 추가하여 실제 물리적 환경의 일부처럼 보이게 할 수 있습니다.

영화 속 AI 생성 캐릭터#

AI-generated 캐릭터는 배우가 사망한 후 연기를 마무리해야 하는 과제에 영화 제작자들이 대처하는 방식을 바꾸고 있습니다. 분노의 질주: 더 세븐(Furious 7)에서 AI는 비극적인 사고로 세상을 떠난 폴 워커의 캐릭터 브라이언 오코너를 되살리는 데 필수적인 역할을 했습니다. 영화 제작자들은 CGI와 AI를 사용하여 워커의 형제인 케일렙과 코디, 그리고 배우 존 브로더튼을 대역으로 활용하여 워커의 얼굴을 디지털 방식으로 재현했습니다. AI analyzed Walker’s 이전 연기를 분석하여 그의 표정과 움직임을 정확하게 재현했으며, 기존 오디오 녹음을 사용하여 대사를 완성했습니다. 이러한 AI의 혁신적인 활용 덕분에 영화를 완성할 수 있었고 워커의 유산을 기리는 데 도움이 되었습니다.

Fig 3. 폴 워커의 얼굴을 코디 워커의 몸에 합성한 모습.

AI 기반 시나리오 작성#

Generative AI는 시나리오 작성 및 story 개발과 같은 창의적인 작업을 지원함으로써 영화 제작의 프리프러덕션 단계를 가속화하고 있습니다. AI 모델은 다양한 영화의 시나리오와 대사를 분석할 수 있으며, 주어진 프롬프트를 바탕으로 시나리오나 스토리를 generate할 수 있습니다. 이러한 AI 도구는 스토리텔링의 패턴을 파악하고, 플롯 포인트를 제안하며, 특정 장르나 톤에 맞는 대사를 생성할 수도 있습니다. 이는 시간을 절약해주고 영화 제작자에게 creative 프로세스를 위한 독창적인 출발점을 제공합니다.

영화 제작에서 AI의 창의적 활용을 보여주는 흥미로운 예 중 하나는 엔 큐(End Cue)가 제작한 2016년 단편 영화 선스프링(Sunspring)입니다. 이 9분짜리 공상 과학 영화의 독특한 점은 대본이 벤자민(Benjamin)이라는 AI bot에 의해 전적으로 작성되었다는 것입니다. 1980년대와 1990년대 영화의 수백 가지 대본, 대사, 자막으로 Trained된 벤자민은 AI가 스토리텔링에 신선한 시각을 어떻게 불어넣을 수 있는지 보여주었습니다.

Fig 4. 벤자민이 생성한 대본.

비디오 편집 및 포스트 프로덕션에서의 AI#

고급 기술들은 수년 동안 영화 포스트 프로덕션에 사용되어 왔지만, 종종 많은 시간과 노력이 필요했습니다. AI는 자동 편집 및 음성 합성 같은 새로운 창의적 도구를 도입하고 과정을 단순화하여 영화 제작을 더 빠르고 쉽고 혁신적으로 만들고 있습니다.

자동 비디오 편집을 위한 AI 활용#

편집은 영화 제작에서 가장 시간이 많이 소요되는 프로세스 중 하나입니다. 편집자는 대개 영상을 검토하고, 컷을 분석하고, 최고의 테이크를 선택하고, 이를 정렬하는 데 몇 시간을 보냅니다. 예를 들어, 영화 테이큰 3(2014)에서 리암 니슨(브라이언 밀스)이 울타리를 뛰어넘는 6초짜리 장르는 14 cuts from multiple cameras를 포함합니다. 이 짧은 시퀀스를 제작하기 위해 편집 팀은 다양한 카메라의 영상을 면밀히 검토하고, 여러 번 조정을 거쳐 시퀀스를 최종 확정해야 했습니다.

이러한 과정을 가속화하기 위해 AI-powered editing tools를 사용하여 different cameras의 영상을 분석하고 응집력 있는 최종 결과물을 얻을 수 있습니다. Computer vision은 액션 시퀀스, 대사 장면, 전환 등 영상의 다양한 부분을 식별하고 정리하기 위한 장면 classification과 같은 기법을 통해 이러한 도구에서 중요한 역할을 합니다. 이는 AI 도구가 영화의 구조를 이해하고 사용할 클립과 배치 방법에 대해 더 나은 결정을 내리도록 돕습니다.

그림 5. AI는 비디오 편집 과정을 가속화할 수 있습니다.

사운드트랙 작곡을 위한 AI#

영화에서 테마 음악과 배경 스코어는 장면을 고조시키고 영화와 관객을 연결하는 데 중요한 역할을 합니다. 액션 시퀀스를 위해 강도를 높이거나 감정적인 순간을 위해 부드럽게 하는 등 장면의 강도에 맞춰 피치와 톤을 완벽하게 조정하는 것은 작곡가들에게 항상 어려운 과제였습니다.

이 과정을 단순화하기 위해 많은 작곡가들이 현재 AI music generation 도구를 사용하고 있습니다. 예를 들어, 오스카, 골든글로브, 그래미 상을 수상한 마이클 지아키노는 AI 도구를 사용하여 The Batman (2022)의 어둡고 분위기 있는 트랙 중 일부를 만들었습니다.

음성 합성 및 더빙에서 AI의 역할#

과거에 사운드 엔지니어들은 장면 속 소리를 흉내 내기 위해 다양한 속성을 활용했습니다. 예를 들어, 쥬라기 공원 (1993)의 티라노사우루스 렉스 포효 소리는 여러 동물의 소리를 합성한 것입니다. 아카데미상을 수상한 이 영화의 사운드 디자이너 게리 라이드스트롬은 잊을 수 없는 포효 소리를 만들기 위해 아기 코끼리의 비명, 호랑이의 으르렁거림, 악어의 가르랑거리는 소리를 결합했습니다. 다른 소스에서 이러한 소리를 녹음하려면 시간과 고급 녹음 시스템이 필요합니다.

그림 6. AI는 사운드 포스트 프로덕션을 단순화할 수 있습니다.

그러나 generate different sounds를 할 수 있는 AI 도구를 사용하면 쉽게 제작할 수 있습니다. 예를 들어, 영화 탑건: 매버릭(2022)에서 톰 카잔스키 역을 맡은 배우 밸 킬머는 후두암으로 목소리를 잃었습니다. 영화 제작진은 첨단 AI를 사용하여 recreate his voice를 구현했습니다.

영화 제작에서 AI의 윤리적 고려 사항#

AI는 효율성을 높이고 새로운 창의적 가능성을 열어줄 수 있지만, 업계에서 역할이 커짐에 따라 다음과 같은 중요한 ethical적 질문도 제기됩니다.

• 소유권: AI 생성 콘텐츠는 소유권, 독창성 및 지적 재산권에 관한 우려를 불러일으킵니다. AI 도구를 사용하여 시나리오, 캐릭터, 음악 또는 시각 효과를 만들 때 누가 크레딧을 받고 보상을 받아야 할지 결정하기가 어려워집니다.
• Misinformation in deepfakes: AI 기반 딥페이크 기술은 매우 현실적인 콘텐츠를 생성할 수 있습니다. 그러나 심각한 legal적 결과를 초래할 수 있는 허위 정보를 퍼뜨릴 수도 있습니다.
• Privacy concerns: 영화 제작에 관련된 AI 학습 과정에는 배우의 이미지, 비디오, 목소리와 같은 방대한 개인 데이터 수집이 필요합니다. 이는 privacy 및 data protection에 대한 우려를 불러일으킵니다.

AI와 함께하는 다음 장#

AI는 영화 산업에서 영향력 있는 도구로 부상했습니다. 시각 효과 강화와 포스트 프로덕션 간소화부터 창의적인 콘텐츠 생성 및 시청자 경험 개인화에 이르기까지, AI는 우리가 영화를 소비하고 제작하는 방식을 바꾸고 있습니다.

AI의 잠재적 이점은 막대하지만, 사용과 관련된 윤리적 문제를 해결하는 것이 중요합니다. 책임감 있는 AI 개발을 촉진하고 인간의 창의성을 우선시함으로써, 우리는 기술과 예술이 매끄럽게 융합되어 예술적 가치를 존중하면서도 스토리텔링 경험을 향상시키는 미래를 만들 수 있습니다.

GitHub repository에서 AI에 대해 자세히 알아보고 활발한 community에 참여해 보세요. manufacturing 및 self-driving과 같은 분야의 다양한 AI 응용 프로그램을 살펴보세요.