Meta Movie Gen: 콘텐츠 제작의 재구상

영화 제작자를 꿈꾸거나 관객을 위한 동영상 제작을 즐기는 콘텐츠 제작자라면, 창의성을 확장해 주는 AI 도구는 언제나 유용합니다. 최근 Meta는 최신 생성형 동영상 모델인 Meta Movie Gen을 출시했습니다.

미디어 및 엔터테인먼트 분야의 글로벌 생성형 AI 시장은 2033년까지 115억 7천만 달러 규모에 이를 것으로 예상되며, Runway, OpenAI, Meta와 같은 기업들이 획기적인 혁신을 주도하고 있습니다. 특히 Meta Movie Gen은 영화 제작, 동영상 콘텐츠 제작, 디지털 스토리텔링과 같은 분야에 유용하며, 고품질 AI 생성 동영상을 통해 창의적인 비전을 구현하는 일을 그 어느 때보다 쉽게 만들어 줍니다. 이 글에서는 Meta Movie Gen과 작동 방식을 살펴봅니다. 또한 몇 가지 활용 사례를 자세히 알아봅니다. 시작해 보겠습니다!

그림 1. Meta Movie Gen을 사용해 생성한 동영상 클립의 한 프레임입니다.

Meta Movie Gen이란 무엇인가요?#

Meta Movie Gen이 무엇인지 알아보기 전에, 어떻게 탄생했는지 살펴보겠습니다.

생성형 AI와 관련된 Meta의 연구는 Make-A-Scene 시리즈 모델에서 시작되었습니다. 이 연구는 예술가와 창작자들이 상상력을 현실로 구현할 수 있도록 지원하는 멀티모달 생성형 AI 방법에 초점을 맞춥니다. 예술가들은 이미지, 오디오, 동영상 또는 3D 애니메이션을 입력하여 원하는 이미지를 출력으로 얻을 수 있습니다. 이후 Llama Image Foundation 모델(Emu)과 같은 확산 모델이 등장하면서 혁신이 한 단계 더 발전했습니다. 이를 통해 훨씬 높은 품질의 이미지와 동영상을 생성하고 이미지 편집을 수행할 수 있게 되었습니다.

그림 2. Make-A-Scene의 스케치와 텍스트 입력을 사용해 이미지를 생성하는 예시입니다.

Movie Gen은 생성형 AI 연구에 대한 Meta의 최신 기여입니다. 앞서 언급한 모든 모달리티를 결합하고 더욱 세밀한 제어 기능을 제공하여, 사용자가 모델을 더 창의적인 방식으로 활용할 수 있도록 합니다. Meta Movie Gen은 텍스트-동영상, 텍스트-오디오, 텍스트-이미지를 비롯한 다양한 유형의 미디어를 생성하기 위한 파운데이션 모델 모음입니다. 라이선스가 부여된 데이터셋과 공개적으로 이용 가능한 데이터셋을 조합해 학습한 네 가지 모델로 구성됩니다.

다음은 이러한 모델에 대한 간략한 개요입니다.

• Movie Gen Video 모델: 텍스트 프롬프트에서 고품질 동영상을 생성하는 300억 파라미터 모델입니다.
• Movie Gen Audio 모델: 동영상 콘텐츠와 동기화되는 사운드트랙을 생성할 수 있는 130억 파라미터 모델입니다.
• Personalized Movie Gen Video 모델: 텍스트 프롬프트와 단일 이미지를 기반으로 특정 인물의 동영상을 생성하며, 해당 인물의 외모를 유지합니다.
• Movie Gen Edit 모델: 실제 동영상과 가상 동영상에 대해 텍스트 기반의 세밀한 편집을 수행할 수 있는 모델입니다.

Meta Movie Gen Video 모델 학습#

Movie Gen Video 모델을 제작하고 학습하기 위해 여러 핵심 프로세스가 수행되었습니다. 첫 단계에서는 주로 사람의 활동을 담은 이미지와 동영상 클립을 수집하고 시각 데이터를 준비했습니다. 이 데이터는 품질, 움직임, 관련성을 기준으로 필터링되었습니다. 그런 다음 각 장면에서 어떤 일이 일어나는지 설명하는 텍스트 캡션을 데이터에 연결했습니다. Meta의 LLaMa3-Video 모델을 사용해 생성한 캡션은 각 장면의 콘텐츠에 대한 풍부한 세부 정보를 제공하여 모델의 시각적 스토리텔링 역량을 향상했습니다.

그림 3. Movie Gen Video 모델의 사전 학습 데이터 큐레이션 파이프라인 개요입니다.

학습 프로세스는 모델이 텍스트를 저해상도 이미지로 변환하는 방법을 학습하는 것으로 시작되었습니다. 이후 점점 더 높은 품질의 시각 자료를 사용해 텍스트-이미지 및 텍스트-동영상 학습을 결합하고, 완전한 동영상 클립을 생성하는 단계로 진행되었습니다.

Temporal Autoencoder (TAE)라는 도구는 대량의 데이터를 효율적으로 관리하기 위해 동영상을 압축했습니다. 파인튜닝을 통해 동영상 품질을 더욱 선명하게 개선했으며, 모델 평균화라는 방법은 여러 모델의 출력을 결합해 더 부드럽고 일관된 결과를 생성함으로써 출력의 일관성을 높였습니다. 마지막으로 처음에 768p였던 동영상은 공간 업샘플러 기법을 사용해 선명한 1080p 해상도로 업스케일링되었습니다. 이 기법은 픽셀 데이터를 추가해 이미지 해상도를 높이고 시각적 선명도를 개선합니다. 그 결과 고품질의 상세한 동영상 출력이 생성되었습니다.

Meta Movie Gen의 기능 살펴보기#

Meta Movie Gen 모델은 주로 네 가지 기능을 지원합니다. 각 기능을 자세히 살펴보겠습니다.

동영상 및 오디오 생성#

Meta Movie Gen은 고품질 동영상을 생성할 수 있습니다. 이러한 동영상 클립은 최대 16초 길이이며 16 fps(초당 프레임)로 재생됩니다. 텍스트 프롬프트를 기반으로 움직임, 상호작용, 카메라 앵글을 포착하는 사실적인 시각적 장면을 생성합니다. 130억 파라미터 오디오 모델과 결합하면 주변 소리, 폴리 효과음, 음악을 포함해 시각 자료에 맞춰 동기화된 오디오를 생성할 수 있습니다.

이러한 구성은 다양한 장면과 프롬프트에서 시각 자료와 오디오가 모두 자연스럽고 사실적으로 일치하도록 하여 매끄럽고 생생한 경험을 제공합니다. 예를 들어 이 모델들은 Moo Deng이라는 이름의 태국 바이럴 피그미 하마 동영상 클립을 제작하는 데 사용되었습니다.

그림 4. Meta의 Movie Gen을 사용해 제작한 Moo Deng 동영상 클립의 한 프레임입니다.

개인화된 동영상 생성#

Meta Movie Gen 모델의 또 다른 흥미로운 기능은 개인화된 동영상 생성입니다. 사용자는 인물의 이미지와 동영상 클립을 어떻게 생성할지 설명하는 텍스트 프롬프트를 제공할 수 있으며, 그 결과 참조 인물이 포함되고 텍스트 프롬프트에 지정된 풍부한 시각적 세부 정보가 반영된 동영상이 생성됩니다. 모델은 두 입력값(이미지와 텍스트)을 모두 사용해 인물의 고유한 외모와 자연스러운 신체 움직임을 유지하면서 프롬프트에 설명된 장면을 정확하게 따릅니다.

그림 5. 모델의 개인화된 동영상 생성 기능 예시입니다.

정밀한 동영상 편집#

Movie Gen Edit 모델을 사용하면 사용자는 동영상 클립과 텍스트 프롬프트를 모두 입력하여 창의적인 방식으로 동영상을 편집할 수 있습니다. 이 모델은 동영상 생성과 고급 이미지 편집을 결합해 요소 추가, 제거, 교체와 같은 매우 구체적인 편집을 수행합니다. 또한 동영상 클립의 배경이나 전체적인 스타일을 변경하는 등의 전역 변경도 수행할 수 있습니다. 그러나 이 모델을 진정으로 차별화하는 요소는 정밀도입니다. 편집이 필요한 특정 픽셀만 대상으로 지정하고 나머지는 그대로 유지할 수 있습니다. 이를 통해 원본 콘텐츠를 최대한 보존합니다.

그림 6. Movie Gen Edit 모델의 동영상 편집 기능에 대한 다양한 예시입니다.

Meta Movie Gen의 벤치마킹 도구#

생성형 AI 모델과 함께 Meta는 생성형 AI 모델의 성능을 테스트하기 위한 벤치마킹 도구 모음인 Movie Gen Bench도 소개했습니다. 여기에는 Movie Gen Video Bench와 Movie Gen Audio Bench라는 두 가지 주요 도구가 포함됩니다. 두 도구 모두 동영상 및 오디오 생성의 다양한 측면을 테스트하도록 설계되었습니다.

두 도구를 간략히 살펴보겠습니다.

• Movie Gen Video Bench: 인간의 활동, 동물, 자연 풍경, 물리학은 물론 특이한 대상과 활동 등 매우 다양한 테스트 범주를 다루는 1,003개의 프롬프트로 구성됩니다. 이 평가 벤치마크가 특히 유용한 이유는 다양한 움직임 수준을 포함하기 때문입니다. 따라서 동영상 생성 모델이 빠른 장면과 느린 장면을 모두 대상으로 테스트됩니다.
• Movie Gen Audio Bench: 527개의 프롬프트를 통해 오디오 생성 기능을 테스트하도록 설계되었습니다. 이러한 프롬프트는 생성된 동영상과 함께 사용되어 모델이 음향 효과와 음악을 시각적 콘텐츠에 얼마나 잘 동기화하는지 평가합니다.

그림 7. 다이어그램은 평가 프롬프트의 구성을 보여 줍니다. 왼쪽에는 개념 목록이, 오른쪽에는 자주 사용되는 명사와 동사의 워드 클라우드가 표시되어 있습니다.

Meta Movie Gen의 실제 활용 사례#

이제 Meta Movie Gen 모델이 무엇이며 어떻게 작동하는지 살펴보았으므로, 실제 활용 사례 중 하나를 알아보겠습니다.

영화 제작 분야의 Movie Gen AI 혁신#

Meta의 Movie Gen을 가장 흥미롭게 활용할 수 있는 방법 중 하나는 AI 기반 동영상 및 오디오 제작을 통해 영화 제작을 혁신하는 것입니다. Movie Gen을 사용하면 제작자는 간단한 텍스트 프롬프트만으로 고품질의 시각 자료와 사운드를 생성하여 새로운 스토리텔링 방식을 열 수 있습니다.

실제로 Meta는 Blumhouse 및 여러 영화 제작자와 협력하여 Movie Gen이 창작 과정을 가장 효과적으로 지원할 수 있는 방법에 대한 의견을 수집했습니다. Aneesh Chaganty, Spurlock Sisters, Casey Affleck과 같은 영화 제작자들은 분위기, 톤, 시각적 연출을 포착하는 도구의 능력을 테스트했습니다. 그들은 이 모델이 새로운 아이디어를 떠올리는 데 도움이 된다는 사실을 발견했습니다.

이 파일럿 프로그램은 Movie Gen이 기존의 영화 제작을 대체하지는 않지만, 감독에게 시각 및 오디오 요소를 빠르고 창의적으로 실험할 수 있는 새로운 방법을 제공한다는 점을 보여 주었습니다. 영화 제작자들은 또한 도구의 편집 기능을 통해 배경음, 효과음, 시각적 스타일을 더욱 자유롭게 조정할 수 있다는 점을 높이 평가했습니다.

그림 8. Meta Movie Gen을 사용해 제작한 단편 영화의 한 프레임입니다.

핵심 요점#

Meta Movie Gen은 간단한 텍스트 설명으로 고품질 동영상과 사운드를 제작하는 생성형 AI 활용의 발전을 보여 줍니다. 이 도구를 사용하면 현실적이고 맞춤화된 동영상을 쉽게 제작할 수 있습니다. 정밀한 동영상 편집과 개인화된 미디어 생성 같은 기능을 갖춘 Meta Movie Gen은 스토리텔링, 영화 제작 및 그 밖의 다양한 분야에 새로운 가능성을 열어 주는 유연한 도구 모음을 제공합니다. 상세하고 유용한 시각 자료를 더 쉽게 제작할 수 있도록 함으로써 Meta Movie Gen은 다양한 분야에서 동영상이 제작되고 활용되는 방식을 변화시키고 AI 기반 콘텐츠 제작의 새로운 기준을 세우고 있습니다.

자세한 내용은 GitHub 리포지토리를 방문하고 커뮤니티에 참여해 주세요. 솔루션 페이지에서 자율주행 자동차와 농업 분야의 AI 애플리케이션을 살펴보세요. 🚀