영화 제작에서의 인공지능: 새로운 창의적 가능성

영화 Here (2023)는 몇 주 전에 개봉되었으며, 인공지능(AI)이 어떻게 영화 제작 과정을 변화시키고 있는지 보여주는 훌륭한 사례입니다. 로버트 저메키스 감독의 이 영화는 고급 AI 기반 디에이징 기술을 사용하여 배우 톰 행크스와 로빈 라이트가 60년 동안의 캐릭터 모습을 연기할 수 있도록 했습니다. 완성하는 데 수개월이 걸릴 수 있는 전통적인 CGI(컴퓨터 생성 이미지)와 달리, 이 접근 방식은 촬영장에서 즉각적인 변환을 확인 가능하게 하여 시간과 비용을 절감했습니다. AI는 단순히 스토리텔링을 향상시키는 것뿐만 아니라 영화 제작을 더욱 효율적이고 혁신적으로 만들고 있습니다.

실제로 할리우드는 현재 AI 기반 얼굴 교체, 딥페이크 스타일의 캐릭터 보정, 자동 배경 생성, 실시간 가상 환경과 같은 혁신적인 기술을 실험하고 있습니다. 이러한 혁신은 시각 효과를 더욱 사실적으로 만들고 제작 효율성을 높이고 있습니다. 보고서에 따르면 영화 산업에서의 생성형 AI 도입이 27.2%라는 놀라운 연간 성장률을 기록하며 빠르게 증가하고 있습니다.

그림 1. 영화 시장 내 생성형 AI 개요.

최근 몇 년 동안 CGI는 많은 영화에서 표준적인 기능이 되었습니다. 거의 모든 마블 스튜디오 영화는 디에이징 기술을 사용하여 팬들이 좋아하는 캐릭터를 되살려 향수를 불러일으키고 영화적 경험을 향상시키고 있습니다. 이제 AI는 스토리텔링과 영상 편집부터 시나리오 작성까지 모든 분야를 지원하는 영화 제작의 핵심 요소입니다. 영화 산업이 인공지능을 활용하여 영화를 더욱 매력적이고 효율적이며 시각적으로 훌륭하게 만드는 방법을 살펴보겠습니다.

Link to this section영화 속 AI 기반 스토리텔링#

배우의 나이를 조절하는 것부터 완전히 새로운 캐릭터를 만드는 것까지, AI는 영화 제작자가 자신의 창의적인 비전을 현실로 구현하도록 돕습니다. 이러한 AI 응용 분야 중 일부를 자세히 살펴보겠습니다.

Link to this section영화 시각 효과를 위한 AI 활용#

시각 효과 및 CGI는 수년간 영화 제작의 중요한 부분이었습니다. 이 기술이 처음으로 유의미하게 사용된 것은 1973년 영화 웨스트월드로, 로봇의 관점을 보여주기 위해 픽셀화된 이미지를 활용했습니다. 시간이 지남에 따라 이러한 기술은 더욱 발전하고 사실적으로 변했습니다.

인공지능의 통합은 이 기술들을 한층 더 개선했습니다. 디에이징, 얼굴 모핑, AI 기반 모션 캡처와 같은 기술은 이제 디지털 효과를 더욱 자연스럽게 만들어 줍니다. 예를 들어, 영화 제미니 맨 (2019)에서 디에이징 기술은 당시 50세였던 윌 스미스를 설득력 있는 23세 버전으로 변신시켰습니다. 이를 통해 주니어라는 캐릭터가 생명력을 얻게 되었습니다.

그림 2. 윌 스미스가 50세에서 23세로 디에이징되었습니다.

AI를 활용한 디에이징 기술의 작동 방식은 다음과 같습니다:

• 얼굴 스캔: 고해상도 스캔을 사용하여 피부 질감, 모공, 얼굴 윤곽 등 배우 얼굴의 복잡한 디테일을 캡처합니다.
• AI 모델: 머신러닝 모델은 아카이브 영상이나 참조 이미지를 분석하여 얼굴 특징, 표정, 움직임을 재현합니다.
• 퍼포먼스 캡처: 배우의 움직임과 표정을 모션 캡처 기술로 기록하여 자연스럽고 사실적인 연기를 보장합니다.
• CGI 재구성: 디지털 모델을 생성하고 라이브 액션 영상과 매끄럽게 합성하여 배우의 표정을 디지털 캐릭터에 매핑합니다.
• 조명 및 질감 조정: 정교한 렌더링 기술을 통해 피부 톤, 조명, 환경 상호작용을 조정하여 디지털 캐릭터가 장면 속에 자연스럽게 어우러지도록 합니다.

이 과정을 통해 영화 제작자는 배우의 더 젊은 버전을 만들거나 완전히 새로운 캐릭터를 생성하고, 복잡한 시각 효과를 강화하는 등 놀라운 사실감을 구현할 수 있습니다.

Link to this section영화 시각 효과 향상에 있어 비전 AI의 역할#

시각 효과 및 CGI 분야의 AI는 광범위한 기술과 접근 방식을 포괄하는 넓은 분야라는 점을 유념해야 합니다. 예를 들어, 이러한 혁신의 핵심 기술 중 하나는 컴퓨터 비전으로, 이는 기계가 시각 데이터를 분석하고 이해하도록 돕는 AI의 한 분야입니다. 컴퓨터 비전만으로 시각 효과를 완성할 수는 없지만, 이는 효과의 사실성과 통합을 향상시키는 데 중요한 역할을 합니다.

객체 추적을 고려해 보십시오. 이는 장면 내 물체나 배우의 움직임을 따라가 디지털 효과가 라이브 액션 영상과 정렬된 상태를 유지하도록 돕는 컴퓨터 비전 작업입니다. 객체 추적은 비디오 프레임을 분석하여 물체의 위치와 움직임을 감지하는 방식으로 작동합니다. 이 정보는 CGI 캐릭터나 효과와 같은 디지털 요소를 고정하여 추적 중인 객체와 자연스럽게 움직이도록 하는 데 사용됩니다. 예를 들어, 액션 장면에서 배우의 손을 따라가며 CGI 무기나 빛나는 효과를 매끄럽게 추가함으로써 물리적 환경의 일부처럼 보이게 만들 수 있습니다.

Link to this section영화 속 AI 생성 캐릭터#

AI로 생성된 캐릭터들은 배우가 세상을 떠난 후 연기를 완성해야 하는 도전과 같은 문제를 해결하는 방식을 바꾸고 있습니다. 분노의 질주: 더 세븐(Furious 7)에서 AI는 폴 워커의 비극적인 죽음 이후 그의 캐릭터인 브라이언 오코너를 되살리는 데 필수적이었습니다. 제작진은 CGI와 AI를 사용하여 워커의 얼굴을 디지털로 재현했으며, 그의 형제인 케일럽과 코디, 그리고 배우 존 브라더턴을 대역으로 활용했습니다. AI는 워커의 이전 연기를 분석하여 그의 표정과 움직임을 정확하게 복제했으며, 기존 오디오 녹음을 활용해 대사를 완성했습니다. 이렇게 혁신적으로 AI를 활용함으로써 영화를 완성하고 워커의 유산을 기릴 수 있었습니다.

그림 3. 코디 워커의 몸에 폴 워커의 얼굴을 합성한 모습.

Link to this sectionAI 기반 시나리오 작성#

생성형 AI는 시나리오 작성 및 스토리 개발과 같은 창의적인 작업을 지원하여 영화 제작의 프리 프로덕션 단계를 가속화하고 있습니다. AI 모델은 다양한 영화의 시나리오와 대사를 분석하고 주어진 프롬프트에 기반하여 시나리오나 스토리를 생성할 수 있습니다. 이러한 AI 도구는 스토리텔링의 패턴을 식별하고 플롯 포인트를 제안하며 특정 장르나 톤에 맞는 대사를 생성하기도 합니다. 이는 시간을 절약해주며 영화 제작자에게 창의적인 과정을 위한 독특한 출발점을 제공합니다.

영화 제작에서 AI의 창의적 활용에 대한 흥미로운 사례로 End Cue에서 제작한 2016년 단편 영화 Sunspring이 있습니다. 이 9분짜리 SF 영화가 특별한 이유는 대본 전체가 벤자민이라는 AI 봇에 의해 작성되었다는 점입니다. 1980년대와 1990년대 영화의 수많은 시나리오와 대사, 자막으로 학습된 벤자민은 AI가 스토리텔링에 어떻게 신선한 시각을 가져올 수 있는지 보여주었습니다.

그림 4. 벤자민이 생성한 대본.

Link to this section비디오 편집 및 포스트 프로덕션에서의 AI#

고급 기술들은 수년 동안 영화 포스트 프로덕션에 사용되어 왔지만, 종종 많은 시간과 노력이 필요했습니다. AI는 자동 편집 및 음성 합성 같은 새로운 창의적 도구를 도입하고 과정을 단순화하여 영화 제작을 더 빠르고 쉽고 혁신적으로 만들고 있습니다.

Link to this section자동 비디오 편집을 위한 AI 활용#

편집은 영화 제작에서 가장 시간이 많이 소요되는 과정 중 하나입니다. 편집자는 일반적으로 영상을 검토하고 샷을 분석하며 최고의 테이크를 선택하고 이를 정렬하는 데 몇 시간을 소비합니다. 예를 들어, 영화 테이큰 3 (2014)에서 리암 니슨(브라이언 밀스 역)이 울타리를 넘는 6초짜리 장면은 여러 카메라에서 촬영한 14개의 컷을 포함합니다. 이 짧은 시퀀스를 제작하기 위해 편집팀은 다양한 카메라의 영상을 면밀히 검토하고 여러 조정을 거쳐 시퀀스를 마무리해야 했습니다.

이 과정을 가속화하기 위해 AI 기반 편집 도구를 사용하여 다른 카메라들의 영상을 분석하고 응집력 있는 최종 결과물을 얻을 수 있습니다. 컴퓨터 비전은 장면 분류와 같은 기술을 통해 액션 시퀀스, 대사 장면, 전환 등 영상의 다양한 부분을 식별하고 구성함으로써 이러한 도구에서 중요한 역할을 합니다. 이는 AI 도구가 영화의 구조를 이해하고 어떤 클립을 사용할지, 어떻게 배치할지에 대해 더 나은 결정을 내리도록 돕습니다.

그림 5. AI는 비디오 편집 과정을 가속화할 수 있습니다.

Link to this section사운드트랙 작곡을 위한 AI#

영화에서 테마 음악과 배경 스코어는 장면을 고조시키고 영화와 관객을 연결하는 데 중요한 역할을 합니다. 액션 시퀀스를 위해 강도를 높이거나 감정적인 순간을 위해 부드럽게 하는 등 장면의 강도에 맞춰 피치와 톤을 완벽하게 조정하는 것은 작곡가들에게 항상 어려운 과제였습니다.

이 과정을 단순화하기 위해 많은 작곡가가 현재 AI 음악 생성 도구를 사용합니다. 예를 들어, 아카데미상, 골든 글로브, 그래미상을 수상한 마이클 자키노는 영화 더 배트맨 (2022)의 어둡고 분위기 있는 트랙 일부를 만드는 데 AI 도구를 사용했습니다.

Link to this section음성 합성 및 더빙에서 AI의 역할#

과거에 사운드 엔지니어들은 장면 속 소리를 흉내 내기 위해 다양한 속성을 활용했습니다. 예를 들어, 쥬라기 공원 (1993)의 티라노사우루스 렉스 포효 소리는 여러 동물의 소리를 합성한 것입니다. 아카데미상을 수상한 이 영화의 사운드 디자이너 게리 라이드스트롬은 잊을 수 없는 포효 소리를 만들기 위해 아기 코끼리의 비명, 호랑이의 으르렁거림, 악어의 가르랑거리는 소리를 결합했습니다. 다른 소스에서 이러한 소리를 녹음하려면 시간과 고급 녹음 시스템이 필요합니다.

그림 6. AI는 사운드 포스트 프로덕션을 단순화할 수 있습니다.

하지만 다양한 소리를 생성할 수 있는 AI 도구를 사용하면 이러한 작업을 쉽게 수행할 수 있습니다. 예를 들어, 영화 탑건: 매버릭 (2022)에서 톰 카잔스키 역을 맡은 배우 발 킬머는 후두암으로 목소리를 잃었습니다. 영화 제작진은 첨단 AI를 사용하여 그의 목소리를 재현했습니다.

Link to this section영화 제작에서 AI의 윤리적 고려 사항#

AI는 효율성을 높이고 새로운 창의적 가능성을 열어줄 수 있지만, 업계에서 AI의 역할이 커짐에 따라 다음과 같은 중요한 윤리적 질문이 제기되고 있습니다:

• 소유권: AI 생성 콘텐츠는 소유권, 독창성 및 지적 재산권에 관한 우려를 불러일으킵니다. AI 도구를 사용하여 시나리오, 캐릭터, 음악 또는 시각 효과를 만들 때 누가 크레딧을 받고 보상을 받아야 할지 결정하기가 어려워집니다.
• 딥페이크 내의 오정보: AI 기반 딥페이크 기술은 매우 사실적인 콘텐츠를 생성할 수 있습니다. 그러나 심각한 법적 결과를 초래할 수 있는 허위 정보를 퍼뜨릴 수도 있습니다.
• 개인정보 보호 우려: 영화 제작과 관련된 AI 학습 과정에는 배우의 이미지, 비디오, 목소리와 같은 방대한 개인 데이터 수집이 필요합니다. 이는 개인정보 보호 및 데이터 보호에 대한 우려를 야기합니다.

Link to this sectionAI와 함께하는 다음 장#

AI는 영화 산업에서 영향력 있는 도구로 부상했습니다. 시각 효과 강화와 포스트 프로덕션 간소화부터 창의적인 콘텐츠 생성 및 시청자 경험 개인화에 이르기까지, AI는 우리가 영화를 소비하고 제작하는 방식을 바꾸고 있습니다.

AI의 잠재적 이점은 막대하지만, 사용과 관련된 윤리적 문제를 해결하는 것이 중요합니다. 책임감 있는 AI 개발을 촉진하고 인간의 창의성을 우선시함으로써, 우리는 기술과 예술이 매끄럽게 융합되어 예술적 가치를 존중하면서도 스토리텔링 경험을 향상시키는 미래를 만들 수 있습니다.

저희 GitHub 리포지토리에서 AI에 대해 더 알아보고 활발한 커뮤니티에 참여해 보십시오. 제조 및 자율 주행과 같은 분야에서의 다양한 AI 응용 사례를 살펴보세요.