영화 제작 분야의 인공 지능: 새로운 창의적 가능성

몇 주 전에 개봉한 영화 Here는 인공 지능(AI)이 영화 제작 과정을 어떻게 변화시키고 있는지 보여주는 훌륭한 예입니다. 로버트 저메키스 감독의 이 영화는 고급 AI 기반 디에이징 기술을 사용하여 배우 톰 행크스와 로빈 라이트가 60년에 걸쳐 캐릭터로 등장하는 모습을 보여주었습니다. 완성하는 데 몇 달이 걸릴 수 있는 기존 CGI(컴퓨터 생성 이미지)와 달리, 이 접근 방식을 통해 즉석에서 세트 변환을 볼 수 있어 시간과 비용을 절약할 수 있었습니다. AI는 스토리텔링을 향상시킬 뿐만 아니라 영화 제작을 더욱 효율적이고 혁신적으로 만듭니다.

실제로 할리우드는 현재 AI 기반 안면 대체, 딥페이크 스타일의 캐릭터 향상, 자동 배경 생성 및 실시간 가상 환경과 같은 혁신적인 기술을 실험하고 있습니다. 이러한 혁신은 시각 효과를 더욱 현실적으로 만들고 제작 효율성을 높입니다. 보고서에 따르면 영화 산업에서 생성형 AI의 채택이 빠르게 증가하고 있으며 연간 성장률이 27.2%에 달합니다.

‍

최근 몇 년 동안 CGI는 많은 영화에서 표준 기능이 되었습니다. 거의 모든 마블 스튜디오 영화는 팬이 가장 좋아하는 캐릭터를 되살려 향수를 불러일으키고 영화적 경험을 향상시키기 위해 디에이징 기술을 사용합니다. AI는 이제 스토리텔링과 비디오 편집에서 시나리오 작성에 이르기까지 모든 것을 지원하는 영화 제작의 핵심 부분입니다. 영화 산업이 인공 지능을 사용하여 영화를 더욱 매력적이고 효율적이며 시각적으로 훌륭하게 만드는 방법을 살펴보겠습니다.

영화에서 AI 기반 스토리텔링

배우 디에이징부터 완전히 새로운 캐릭터 창조에 이르기까지 AI는 영화 제작자가 창의적인 비전을 실현하도록 돕습니다. 이러한 AI 애플리케이션을 자세히 살펴보겠습니다.

영화 시각 효과에 AI 사용

시각 효과 및 CGI는 수년 동안 영화 제작의 중요한 부분이었습니다. 최초의 중요한 사용은 로봇의 관점을 보여주기 위해 픽셀화된 이미지를 사용한 웨스트월드(1973)였습니다. 시간이 지남에 따라 이러한 기술은 더욱 발전되고 현실적으로 변모했습니다. 

인공 지능의 통합은 이를 더욱 향상시켰습니다. 디에이징, 얼굴 변형, AI 지원 모션 캡처와 같은 기술은 이제 디지털 효과를 더욱 자연스럽게 보이도록 만듭니다. 예를 들어, 제미니 맨(2019)에서 디에이징 기술은 당시 50세였던 윌 스미스를 설득력 있는 23세 버전으로 변신시켰습니다. 이것은 캐릭터 주니어를 되살렸습니다.

‍

AI를 사용하는 디에이징 기술의 작동 방식은 다음과 같습니다.

• 얼굴 스캔: 고해상도 스캔을 사용하여 피부 질감, 모공, 얼굴 윤곽과 같은 배우 얼굴의 복잡한 세부 사항을 캡처합니다.
  ‍
• AI 모델: 머신 러닝 모델은 보관 영상 또는 참조 이미지를 분석하여 얼굴 특징, 표정 및 움직임을 재현합니다.
  ‍
• 퍼포먼스 캡처: 배우의 움직임과 표정은 모션 캡처 기술을 사용하여 기록되어 자연스럽고 사실적인 연기를 보장합니다.
  ‍
• CGI 재구성: 디지털 모델이 생성되어 실사 영상과 완벽하게 혼합되어 배우의 표정을 디지털 캐릭터에 매핑합니다.
  ‍
• 조명 및 텍스처 조정: 정교한 렌더링 기술은 피부톤, 조명 및 환경 상호 작용을 조정하여 디지털 캐릭터가 장면에 자연스럽게 맞도록 합니다.

이 프로세스를 통해 영화 제작자는 배우의 더 젊은 버전을 만들거나, 완전히 새로운 캐릭터를 만들거나, 복잡한 시각 효과를 향상시키는 등 놀라운 사실감을 얻을 수 있습니다.

영화에서 시각 효과를 향상시키는 비전 AI의 역할

시각 효과 및 CGI에서 AI는 광범위한 기술과 접근 방식을 포괄하는 넓은 분야라는 점을 명심하는 것이 중요합니다. 예를 들어, 이러한 혁신의 핵심 기술 중 하나는 머신이 시각적 데이터를 분석하고 이해하도록 돕는 AI의 한 분야인 컴퓨터 비전입니다. 컴퓨터 비전만으로는 시각 효과를 만들 수 없지만, 사실감과 통합을 향상시키는 데 중요한 역할을 합니다.

객체 추적을 예로 들어보겠습니다. 이는 장면에서 객체 또는 배우의 움직임을 추적하여 디지털 효과가 실사 영상과 일치하도록 하는 컴퓨터 비전 작업입니다. 객체 추적은 비디오 프레임을 분석하여 객체의 위치와 움직임을 감지하는 방식으로 작동합니다. 이 정보는 CGI 캐릭터나 효과와 같은 디지털 요소를 고정하여 추적된 객체와 함께 자연스럽게 움직이도록 하는 데 사용됩니다. 예를 들어, 액션 장면에서 배우의 손을 따라 CGI 무기나 빛나는 효과를 매끄럽게 추가하여 물리적 환경의 일부처럼 보이게 할 수 있습니다.

영화 속 AI 생성 캐릭터

AI 생성 캐릭터는 배우의 사망 후 연기를 완성하는 것과 같은 어려움에 영화 제작자가 대처하는 방식을 바꾸고 있습니다. 영화 '분노의 질주 7'에서 AI는 폴 워커의 캐릭터인 브라이언 오코너를 그의 갑작스러운 죽음 이후 되살리는 데 필수적이었습니다. 영화 제작자들은 CGI와 AI를 사용하여 워커의 얼굴을 디지털 방식으로 재현했으며, 그의 형제인 칼렙과 코디, 그리고 배우 존 브라더튼을 대역으로 활용했습니다. AI는 워커의 이전 연기를 분석하여 그의 표정과 움직임을 정확하게 복제했으며, 기존 오디오 녹음을 사용하여 그의 대사를 만들었습니다. AI의 혁신적인 사용은 영화를 완성하고 워커의 유산에 경의를 표하는 데 도움이 되었습니다.

‍

AI 기반 시나리오 작성

생성형 AI는 시나리오 작성 및 스토리 개발과 같은 창작 작업을 지원하여 영화 제작의 프리 프로덕션 단계를 가속화하고 있습니다. AI 모델은 다양한 영화의 스크립트와 대화를 분석할 수 있으며 주어진 프롬프트를 기반으로 스크립트나 스토리를 생성할 수 있습니다. 이러한 AI 도구는 스토리텔링 패턴을 식별하고, 줄거리를 제안하며, 특정 장르나 분위기에 맞는 대화를 만들 수도 있습니다. 이는 시간을 절약하고 영화 제작자에게 창의적인 프로세스를 위한 고유한 시작점을 제공합니다.

영화 제작에서 AI의 창의적인 사용의 흥미로운 예 중 하나는 End Cue에서 제작한 2016년 단편 영화 'Sunspring'입니다. 이 9분짜리 SF 영화를 특별하게 만드는 것은 시나리오가 Benjamin이라는 AI 봇에 의해 완전히 작성되었다는 것입니다. 1980년대와 1990년대 영화의 수백 개의 스크립트, 대화 및 자막으로 훈련된 Benjamin은 AI가 스토리텔링에 신선한 관점을 가져올 수 있는 방법을 보여주었습니다.

‍

비디오 편집 및 후반 작업에서 AI

첨단 기술은 수년 동안 영화 후반 작업에 사용되어 왔지만 많은 시간과 노력이 필요합니다. AI는 프로세스를 단순화하고 자동 편집 및 음성 합성 같은 새로운 창작 도구를 도입하여 영화 제작을 더 빠르고 쉽고 혁신적으로 만들고 있습니다.

자동화된 비디오 편집을 위한 AI 사용

편집은 영화 제작에서 가장 시간이 많이 걸리는 프로세스 중 하나입니다. 편집자는 일반적으로 푸티지를 검토하고, 샷을 분석하고, 최고의 테이크를 선택하고, 함께 정렬하는 데 몇 시간을 소비합니다. 예를 들어, 영화 '테이큰 3 (2014)'에서 리암 니슨(브라이언 밀스)이 울타리를 뛰어넘는 6초 분량의 장면에는 여러 카메라에서 촬영한 14개의 컷이 포함됩니다. 이 짧은 시퀀스를 제작하기 위해 편집팀은 다양한 카메라의 푸티지를 면밀히 검토하고 여러 번 조정하여 시퀀스를 마무리해야 했습니다. 

이러한 프로세스의 속도를 높이기 위해 AI 기반 편집 도구를 사용하여 여러 카메라의 푸티지를 분석하고 일관성 있는 최종 결과물을 얻을 수 있습니다. 컴퓨터 비전은 액션 시퀀스, 대화 장면 또는 전환과 같은 푸티지의 여러 부분을 식별하고 구성하는 장면 분류와 같은 기술을 통해 이러한 도구에서 중요한 역할을 합니다. 이는 AI 도구가 영화의 구조를 이해하고 사용할 클립과 배열 방법에 대해 더 나은 결정을 내리는 데 도움이 됩니다. 

‍

사운드트랙 작곡을 위한 AI

영화에서 테마 음악과 배경 음악은 장면을 고조시키고 영화와 관객을 연결하는 데 중요한 역할을 합니다. 액션 시퀀스를 위해 증폭하거나 감정적인 순간을 위해 부드럽게 하는 등 장면의 강도에 맞춰 피치와 톤을 완벽하게 맞추는 것은 작곡가에게 항상 어려운 작업이었습니다. 

이 프로세스를 단순화하기 위해 많은 작곡가들이 이제 AI 음악 생성 도구를 사용합니다. 예를 들어, 오스카, 골든 글로브, 그래미상 수상자인 마이클 자키노는 AI 도구를 사용하여 '더 배트맨 (2022)'의 어둡고 분위기 있는 트랙을 만들었습니다.

음성 합성 및 더빙에서 AI의 역할

과거에는 사운드 엔지니어가 장면에서 소리를 흉내내기 위해 다양한 속성에 의존했습니다. 예를 들어 쥬라기 공원(1993)의 티라노사우루스 렉스 포효는 다양한 동물 소리의 혼합입니다. 영화의 오스카상을 수상한 사운드 디자이너인 게리 리드스트롬은 잊을 수 없는 포효를 만들기 위해 아기 코끼리의 끽끽거리는 소리, 호랑이의 으르렁거리는 소리, 악어의 꿀꺽거리는 소리를 조합하여 사용했습니다. 이러한 소리를 다양한 소스에서 녹음하려면 시간과 고급 녹음 시스템이 필요합니다. 

‍

그러나 다양한 소리를 생성할 수 있는 AI 도구를 사용하면 쉽게 만들 수 있습니다. 예를 들어, 영화 '탑건: 매버릭 (2022)'에서 톰 카잔스키 역을 맡은 배우 발 킬머는 후두암으로 목소리를 잃었습니다. 영화 제작진은 고급 AI를 사용하여 그의 목소리를 재현했습니다.

영화 제작에서 AI의 윤리적 고려 사항

AI는 효율성을 높이고 새로운 창의적 가능성을 열어줄 수 있지만, 업계에서 AI의 역할이 커짐에 따라 다음과 같은 중요한 윤리적 질문도 제기됩니다.

• 소유권: AI 생성 콘텐츠는 소유권, 독창성 및 지적 재산권에 대한 우려를 제기합니다. AI 도구를 사용하여 스크립트, 캐릭터, 음악 또는 시각 효과를 만들 때 누가 크레딧을 받고 보상을 받아야 하는지 결정하기가 어렵습니다.
• 딥페이크의 허위 정보: AI 기반 딥페이크 기술은 매우 현실적인 콘텐츠를 만들 수 있습니다. 그러나 심각한 법적 결과를 초래할 수 있는 허위 정보를 퍼뜨릴 수도 있습니다.
• 개인 정보 보호 문제: 영화 제작에 관련된 AI 학습 과정은 배우의 이미지, 비디오, 음성과 같은 방대한 개인 데이터 수집을 필요로 합니다. 이는 개인 정보 보호 및 데이터 보호에 대한 우려를 불러일으킵니다.

AI와 함께하는 다음 장

AI는 영화 제작 산업에서 영향력 있는 도구로 부상했습니다. 시각 효과 향상 및 후반 작업 간소화부터 창의적인 콘텐츠 생성 및 시청자 경험 개인화에 이르기까지 AI는 영화를 소비하고 창작하는 방식을 변화시키고 있습니다. 

AI의 잠재적 이점은 엄청나지만, 사용과 관련된 윤리적 문제 해결이 중요합니다. 책임감 있는 AI 개발을 장려하고 인간의 창의성을 우선시함으로써 기술과 예술이 완벽하게 융합되어 예술적 가치를 존중하면서 스토리텔링 경험을 향상시키는 미래를 만들 수 있습니다.

GitHub 저장소에서 AI에 대해 자세히 알아보고 활발한 커뮤니티에 참여하세요. 제조 및 자율 주행과 같은 분야에서 다양한 AI 애플리케이션을 살펴보세요.