Meta Movie Gen이 비디오 및 사운드 제작을 어떻게 재정의하는지 알아보세요. 이 모델이 어떻게 정확한 비디오 편집을 제공하고 개인화된 미디어 제작을 지원하는지 알아보세요.
Meta Movie Gen이 비디오 및 사운드 제작을 어떻게 재정의하는지 알아보세요. 이 모델이 어떻게 정확한 비디오 편집을 제공하고 개인화된 미디어 제작을 지원하는지 알아보세요.
귀하가 영화 제작 지망생이든 청중을 위해 비디오를 만드는 것을 즐기는 콘텐츠 제작자이든 창의력을 확장하는 AI 도구를 갖는 것은 항상 도움이 됩니다. 최근 Meta는 Meta Movie Gen이라는 최신 생성 비디오 모델을 출시했습니다.
미디어 및 엔터테인먼트 분야의 글로벌 생성형 AI 시장은 2033년까지 115억 7천만 달러에 이를 것으로 예상되며, Runway, OpenAI 및 Meta와 같은 기업이 획기적인 혁신을 주도하고 있습니다. 특히 Meta Movie Gen은 영화 제작, 비디오 콘텐츠 제작 및 디지털 스토리텔링과 같은 애플리케이션에 적합하여 고품질 AI 생성 비디오를 통해 창의적인 비전을 그 어느 때보다 쉽게 실현할 수 있도록 지원합니다. 이 기사에서는 Meta Movie Gen과 작동 방식에 대해 살펴보고 몇 가지 응용 분야를 자세히 살펴보겠습니다. 그럼 시작해 볼까요!
Meta Movie Gen이 무엇인지 논의하기 전에 어떻게 만들어졌는지 살펴보겠습니다.
생성적 AI와 관련된 Meta의 연구 노력은 Make-A-Scene 시리즈 모델에서 시작되었습니다. 이 연구는 예술가와 선견지명이 있는 사람들이 상상력을 실현하는 데 도움이 되는 멀티모달 생성적 AI 방법에 중점을 둡니다. 아티스트는 이미지, 오디오, 비디오 또는 3D 애니메이션을 입력하여 원하는 이미지 출력을 얻을 수 있습니다. 혁신의 다음 도약은 Llama Image Foundation 모델(Emu)과 같은 확산 모델에서 이루어졌으며, 이를 통해 훨씬 더 높은 품질의 이미지와 비디오를 생성하고 이미지 편집이 가능해졌습니다.
Movie Gen은 생성적 AI 연구에 대한 Meta의 최신 기여입니다. 이 모델은 이전에 언급된 모든 양식을 결합하고 더욱 세밀한 제어를 허용하여 사람들이 모델을 보다 창의적인 방식으로 사용할 수 있도록 합니다. Meta Movie Gen은 텍스트-비디오, 텍스트-오디오, 텍스트-이미지를 포함한 다양한 유형의 미디어를 생성하기 위한 기본 모델 모음입니다. 이 모델은 라이선스가 부여된 데이터 세트와 공개적으로 사용 가능한 데이터 세트의 조합으로 훈련된 4개의 모델로 구성됩니다.
다음은 이러한 모델에 대한 간략한 개요입니다.
Movie Gen Video 모델을 만들고 훈련하는 데에는 몇 가지 주요 프로세스가 관여했습니다. 첫 번째 단계는 이미지와 비디오 클립을 포함하여 주로 인간 활동의 시각적 데이터를 수집하고 준비하는 것이었습니다. 데이터는 품질, 움직임 및 관련성에 따라 필터링되었습니다. 그런 다음 Meta의 LLaMa3-Video 모델을 사용하여 생성된 캡션을 각 장면 내에서 무슨 일이 일어나고 있는지 설명하는 텍스트 캡션과 페어링했습니다. 캡션은 각 장면의 내용에 대한 풍부한 세부 정보를 제공하여 모델의 시각적 스토리텔링 기능을 향상시켰습니다.
학습 프로세스는 모델이 텍스트를 저해상도 이미지로 변환하는 방법을 배우는 것으로 시작되었습니다. 그런 다음 점점 더 높은 품질의 시각적 자료를 사용하여 텍스트-이미지 및 텍스트-비디오 학습의 조합을 통해 전체 비디오 클립을 만드는 것으로 진행되었습니다.
TAE(Temporal Autoencoder)라는 도구는 대용량 데이터를 효율적으로 관리하기 위해 비디오를 압축했습니다. 미세 조정은 비디오 품질을 더욱 향상시켰고, 모델 평균화(더 부드럽고 일관된 결과를 위해 여러 모델 출력을 결합하는 방법)라는 방법은 더 나은 출력 일관성을 보장했습니다. 마지막으로, 초기 768p의 비디오는 공간 업샘플러 기술을 사용하여 선명한 1080p 해상도로 업스케일링되었으며, 이 기술은 픽셀 데이터를 추가하여 이미지 해상도를 높여 더 선명한 시각적 효과를 제공합니다. 그 결과 고품질의 상세한 비디오 출력이 생성되었습니다.
Meta Movie Gen 모델은 주로 네 가지 다른 기능을 지원합니다. 각 기능을 자세히 살펴보겠습니다.
Meta Movie Gen은 고품질 비디오를 생성할 수 있습니다. 이러한 비디오 클립은 최대 16초 길이, 16fps(초당 프레임 수)로 실행될 수 있으며 텍스트 프롬프트에서 모션, 상호 작용 및 카메라 각도를 캡처하는 사실적인 시각적 효과를 만듭니다. 130억 개의 파라미터 오디오 모델과 함께 주변 소리, 폴리 효과 및 음악을 포함하여 시각적 효과와 일치하도록 동기화된 오디오를 생성할 수 있습니다.
이 설정은 시각적 요소와 오디오가 다양한 장면과 프롬프트에서 일관되고 현실적으로 유지되는 원활하고 생생한 경험을 보장합니다. 예를 들어, 이러한 모델은 태국의 바이럴 피그미 하마인 무뎅의 비디오 클립을 만드는 데 사용되었습니다.
Meta Movie Gen 모델의 또 다른 흥미로운 기능은 개인화된 비디오 생성입니다. 사용자는 비디오 클립을 생성해야 하는 방식을 설명하는 사람의 이미지와 텍스트 프롬프트를 제공하여 참조 사람을 포함하고 텍스트 프롬프트에 지정된 풍부한 시각적 세부 정보를 통합하는 비디오를 생성할 수 있습니다. 이 모델은 이미지와 텍스트 입력을 모두 사용하여 텍스트 프롬프트에 설명된 장면을 정확하게 따르면서 사람의 고유한 외모와 자연스러운 신체 움직임을 유지합니다.
Movie Gen Edit 모델을 사용하여 사용자는 비디오 클립과 텍스트 프롬프트를 모두 입력으로 제공하여 비디오를 창의적인 방식으로 편집할 수 있습니다. 이 모델은 비디오 생성과 고급 이미지 편집을 결합하여 요소 추가, 제거 또는 교체와 같은 매우 구체적인 편집을 수행합니다. 또한 비디오 클립의 배경 또는 전체 스타일 수정과 같은 전역 변경도 수행할 수 있습니다. 그러나 이 모델을 진정으로 독특하게 만드는 것은 정밀도입니다. 편집이 필요한 특정 픽셀만 대상으로 지정하고 나머지는 그대로 둘 수 있습니다. 이렇게 하면 원본 콘텐츠가 최대한 보존됩니다.
Meta는 생성적 AI 모델과 함께 생성적 AI 모델의 성능을 테스트하기 위한 벤치마킹 도구 모음인 Movie Gen Bench도 도입했습니다. 여기에는 Movie Gen Video Bench와 Movie Gen Audio Bench라는 두 가지 주요 도구가 함께 제공됩니다. 둘 다 비디오 및 오디오 생성의 다양한 측면을 테스트하도록 설계되었습니다.
다음은 두 도구에 대한 간략한 소개입니다.
이제 Meta Movie Gen 모델이 무엇이고 어떻게 작동하는지 다루었으니, 실제 응용 분야 중 하나를 살펴보겠습니다.
Meta의 Movie Gen의 가장 흥미로운 용도 중 하나는 AI 기반 비디오 및 오디오 제작을 통해 영화 제작을 혁신할 수 있다는 점입니다. 제작자는 Movie Gen을 사용하여 간단한 텍스트 프롬프트에서 고품질 시각 자료와 사운드를 생성하여 새로운 스토리텔링 방식을 열 수 있습니다.
실제로 Meta는 Blumhouse 및 영화 제작자 그룹과 협력하여 Movie Gen이 창작 과정을 가장 잘 지원할 수 있는 방법에 대한 피드백을 수집했습니다. Aneesh Chaganty, Spurlock Sisters, Casey Affleck과 같은 영화 제작자들은 분위기, 톤 및 시각적 방향을 포착하는 도구의 능력을 테스트했습니다. 그들은 모델이 신선한 아이디어를 촉발하는 데 도움이 된다는 것을 발견했습니다.
이 파일럿 프로그램은 Movie Gen이 기존 영화 제작을 대체하지는 않지만 감독에게 시각 및 오디오 요소를 빠르고 창의적으로 실험할 수 있는 새로운 방법을 제공한다는 것을 보여주었습니다. 영화 제작자들은 또한 이 도구의 편집 기능이 배경 사운드, 효과 및 시각적 스타일을 더 자유롭게 사용할 수 있도록 해준다는 점에 만족했습니다.
Meta Movie Gen은 생성형 AI를 사용하여 간단한 텍스트 설명에서 고품질 비디오와 사운드를 만드는 데 한 걸음 더 나아갔습니다. 이 도구는 사용자가 사실적이고 사용자 정의된 비디오를 쉽게 만들 수 있도록 도와줍니다. 정확한 비디오 편집 및 개인화된 미디어 생성과 같은 기능을 통해 Meta Movie Gen은 스토리텔링, 영화 제작 등을 위한 새로운 가능성을 열어주는 유연한 도구 세트를 제공합니다. Meta Movie Gen은 자세하고 유용한 시각적 자료를 더 쉽게 만들 수 있도록 함으로써 다양한 분야에서 비디오를 만들고 사용하는 방식을 혁신하고 AI 기반 콘텐츠 제작에 대한 새로운 표준을 설정하고 있습니다.
자세한 내용은 GitHub 리포지토리를 방문하여 커뮤니티에 참여하십시오. 솔루션 페이지에서 자율 주행 자동차 및 농업 분야의 AI 애플리케이션을 살펴보십시오. 🚀
