Google DeepMind Veo로 비디오 생성하기

5월 14일 열린 Google I/O 2024 발표에서 Google은 AI 사업부인 DeepMind의 최신 업데이트를 공유했습니다. 주요 발표 중 하나는 새로운 생성형 동영상 모델인 Veo였습니다. Veo는 텍스트, 이미지 및 동영상 프롬프트를 바탕으로 고품질 1080p 동영상을 생성할 수 있습니다. 후속 프롬프트를 사용해 생성된 동영상을 편집할 수도 있습니다. Veo의 기능을 자세히 살펴보겠습니다.

Veo의 기능 이해하기#

Veo는 언어와 시각 정보를 깊이 이해해 사용자의 창작 의도에 부합하는 비디오를 만드는 생성형 비디오 모델입니다. 긴 프롬프트의 어조와 세부 사항을 정확하게 파악하므로, 아이디어를 정교한 비디오 콘텐츠로 구현하려는 크리에이터에게 강력한 도구가 됩니다.

Veo는 '타임랩스'와 '풍경의 항공 촬영' 같은 영화 촬영 기법을 이해하므로 사용자는 생성된 동영상을 세밀하게 창작적으로 제어할 수 있습니다. 이러한 제어 기능을 통해 사람, 동물 및 사물이 자연스럽게 움직이는 동영상을 만들 수 있습니다. Veo가 생성한 동영상은 매력적이고 시각적으로도 뛰어나 AI 모델이 생성했다는 사실을 알아차리기 어렵습니다.

Veo는 프롬프트로 동영상을 만드는 데 그치지 않습니다. 이전에 생성한 동영상과 해안선 항공 촬영 장면에 카약을 추가하는 것과 같은 구체적인 편집 요청을 제공하면, Veo는 변경 사항을 원본 동영상에 반영해 업데이트된 버전을 생성할 수 있습니다.

그림 1. Veo를 사용한 비디오 편집 예시.

Veo가 제공하는 다른 기능은 다음과 같습니다.

• 마스크 편집: Veo는 비디오에서 지정된 영역을 편집하도록 도와줍니다.
• 이미지 기반 비디오 생성: 이미지와 텍스트 프롬프트를 사용하면 Veo가 이미지의 스타일을 반영하고 프롬프트의 지시를 따르는 비디오를 생성할 수 있습니다.
• 비디오 클립 확장: Veo는 단일 프롬프트나 스토리를 구성하는 일련의 프롬프트를 바탕으로 60초 이상의 비디오 클립을 생성하고 확장할 수 있습니다.

Veo가 생성한 놀라운 비디오#

Veo가 생성한 동영상 몇 가지를 살펴보고, 각 동영상의 특징을 알아보겠습니다.

짧은 텍스트 프롬프트만으로 타임랩스 동영상을 생성하는 일은 어렵습니다. 일반적으로 짧은 텍스트 프롬프트만으로는 타임랩스 장면의 변화와 움직임을 정확히 전달할 수 없습니다. 따라서 Veo가 세부 사항을 일일이 설명하지 않아도 타임랩스에서 기대되는 요소를 이해한다는 점은 주목할 만합니다.

그림 2. Veo가 생성한 타임랩스 비디오의 한 프레임.

마찬가지로 물리 법칙을 정확히 반영하는 비디오를 생성하는 일도 쉽지 않습니다. 움직임과 상호작용을 현실적으로 표현하려면 AI 모델이 중력, 운동량, 충돌과 같은 물리 법칙을 이해하고 시뮬레이션해야 합니다. Veo가 상세한 텍스트 프롬프트 없이도 이러한 역학을 정확하게 모델링할 수 있다는 점은 인상적입니다.

그림 3. Veo가 생성한 비디오의 한 프레임으로, 해파리의 움직임에 적용된 물리 법칙을 정확하게 포착합니다.

지금까지는 연산상의 한계와 긴 시퀀스에서 일관성을 유지하는 어려움 때문에 AI가 생성한 짧은 동영상만 볼 수 있었습니다. Google I/O 2024 발표에서는 더 길고 복잡한 동영상을 제작하는 Veo의 기능을 선보였습니다.

그림 4. Google 2024 I/O 프레젠테이션에서 공개된 Veo 장편 비디오의 프레임.

Veo는 어떻게 작동하나요?#

다른 여러 AI 모델처럼 Veo도 선행 연구의 성과를 기반으로 합니다. Veo는 Generative Query Network(GQN), DVD-GAN, Imagen-Video, Phenaki, WALT, VideoPoet, Lumiere와 같은 이전 발전 성과뿐 아니라 Google의 Transformer 아키텍처와 Gemini를 활용합니다. 또한 프롬프트를 정확하게 해석하는 Veo의 능력을 향상하기 위해 학습 데이터셋에 포함된 각 동영상의 캡션을 더 상세하게 작성했습니다.

Google이 공개한 대략적인 모델 워크플로를 바탕으로 Veo의 작동 방식을 살펴보겠습니다.

• 입력 프롬프트: 텍스트 프롬프트와 선택적으로 이미지 프롬프트를 입력합니다.
• 인코딩: 텍스트 프롬프트는 UL2 인코더가 처리하고, 이미지 프롬프트는 이미지 인코더가 처리합니다.
• 임베딩된 프롬프트: 텍스트 인코더와 이미지 인코더의 출력을 결합해 하나의 임베딩된 프롬프트를 만듭니다.
• 잠재 확산 모델: 임베딩된 프롬프트와 노이즈가 있는 압축 비디오를 모델에 입력하면, 모델은 이를 바탕으로 압축 비디오를 생성합니다. Veo는 품질을 유지하면서 효율성을 높이기 위해 잠재 표현(latent)이라고 하는 고품질 압축 비디오 표현을 사용합니다.
• 디코딩: 마지막 단계에서는 압축 비디오를 디코딩해 1080p 비디오 출력을 생성합니다.

그림 5. Veo의 작동 방식.

영화 제작의 설득력 있는 사례 연구#

Veo의 역량을 시험하기 위해 Google은 영화 제작자 Donald Glover 및 그의 크리에이티브 스튜디오 Gilga와 협력했습니다. 이들은 정확한 움직임과 일관된 프레이밍이 필요한 역동적인 트래킹 샷을 포함해 다양한 창작 기법을 탐구하는 데 Veo를 사용했습니다.

그림 6. 영화 제작 과정에서 Veo 활용.

전통적으로 영화 제작자는 시간과 자원 제약으로 한계를 겪습니다. Veo를 사용하면 Glover와 팀이 복잡한 장면을 빠르게 실험하고 생성할 수 있어 영화 제작 과정의 유연성과 혁신성이 높아졌습니다.

예를 들어 실제 촬영에 앞서 다양한 다이내믹 트래킹 숏을 시험해 보고, 결과를 확인한 뒤 필요한 조정을 할 수 있었습니다. 이러한 사전 시각화 과정은 아이디어를 다듬고 장면이 의도한 대로 구현되는지 확인하는 데 도움이 되었으며, 결과적으로 실제 촬영에 필요한 테이크 수를 줄였습니다. Veo가 영화 산업을 변화시킬 잠재력을 보여주는 설득력 있는 사례 연구도 만들 수 있었습니다. Veo는 창의적인 비전을 더 빠르고 효율적으로 실현할 방법을 제공합니다.

다양한 산업 분야에서의 Veo 활용 사례#

Veo의 고급 비디오 생성 기능은 다양한 산업 분야에서 실용적으로 활용될 수 있습니다. 광고 분야에서는 타깃 고객층에 맞춘 고품질 광고를 빠르게 제작해 시간과 제작 비용을 절감할 수 있습니다. 교육 분야에서는 흥미로운 교육용 비디오를 만들어 복잡한 개념을 더 쉽게 이해하도록 도울 수 있습니다.

기업은 교육과 기업 커뮤니케이션에 Veo를 사용할 수 있습니다. 의료 전문가는 교육 목적으로 의료 시술을 시뮬레이션하는 데 Veo를 활용할 수 있습니다. 가상 행사와 콘퍼런스의 경우, Veo는 장소와 무대를 실감 나게 시뮬레이션하여 참석자에게 어디서든 매력적이고 상호작용적인 경험을 제공할 수 있습니다. 주최자는 더 넓은 참여 범위와 향후 행사를 위한 유용한 인사이트를 얻을 수 있습니다.

AI 모델이 여러 산업에 영향을 미칠 가능성이 있다면 안전과 윤리적인 AI를 고려하는 것이 중요합니다. 더 널리 도입되고 책임감 있게 사용될 수 있도록 Google은 여러 안전 조치를 마련했습니다. Veo가 생성한 동영상에는 AI 생성 콘텐츠에 워터마크를 삽입하고 식별하는 도구인 SynthID를 사용해 워터마크가 표시됩니다. SynthID는 투명성을 높이고 개인정보 보호, 저작권 및 편향과 관련된 위험을 줄이는 데 도움이 됩니다. 또한 생성된 모든 동영상은 안전 필터와 암기 여부 확인 절차를 거칩니다. 이러한 보호 조치는 책임 있는 동영상 제작을 뒷받침하도록 설계되었습니다.

Veo를 이용할 수 있는 곳#

Google은 출시 당시 labs.google에서 제공되는 새로운 도구인 VideoFX를 통해 일부 크리에이터에게 Veo의 특정 기능을 제공하고, 동영상 생성 기능을 미리 실험할 수 있도록 하겠다고 밝혔습니다. 관심 있는 크리에이터가 신청할 수 있도록 Veo 대기자 명단이 개설되었습니다.

DeepMind의 2024년 생성형 AI 업데이트 더 알아보기#

Veo 외에도 DeepMind는 2024년 생성형 AI 분야의 여러 업데이트를 발표했습니다. 그중 하나는 당시 가장 발전된 텍스트-이미지 모델인 Imagen 3입니다. Imagen 3은 사실적이고 실감 나는 이미지 생성에 뛰어납니다. 자연어 프롬프트를 깊이 있게 이해하고 시각적 아티팩트를 최소화하면서 복잡한 세부 사항을 표현합니다.

그림 7. Imagen 3를 사용해 생성한 이미지.

DeepMind는 AI 음악 생성 분야에서 가장 발전된 모델인 Lyria도 개발했습니다. 이 과정에서 DeepMind는 Music AI Sandbox라는 음악 AI 도구 모음을 만들었습니다. 이 도구를 사용하면 뮤지션과 프로듀서가 음악 작곡과 사운드 변환의 새로운 창작 가능성을 탐구할 수 있습니다.

그림 8. DeepMind의 AI 음악 도구 UI 예시.

Veo와 마찬가지로 DeepMind는 다른 업데이트에도 여러 안전 조치를 적용했습니다. 이러한 업데이트 전반에서 SynthID를 AI 생성 콘텐츠에 워터마크를 삽입하고 이를 식별하는 도구로 사용합니다. DeepMind의 업데이트는 고품질 시각 및 오디오 콘텐츠를 제작하는 고급스럽고 효율적이며 책임감 있는 도구를 제공해 다양한 산업을 변화시킬 것으로 기대됩니다.

생성형 AI의 다음 단계 살펴보기#

Veo, Imagen 3, Lyria를 비롯한 DeepMind의 2024년 생성형 AI 발전은 AI 역량이 크게 도약했음을 보여줍니다. Veo는 간단한 프롬프트로 고품질 1080p 비디오를 생성해 비디오 제작 방식을 바꾸며, 영화 제작자와 콘텐츠 크리에이터를 위한 다재다능한 도구가 됩니다. Imagen 3는 사실적인 이미지 생성에 강점을 보이고, Lyria는 고급 AI 도구를 통해 음악 생성의 새로운 가능성을 엽니다.

이러한 기술은 고품질 시각 및 오디오 콘텐츠를 제작하는 효율적이고 책임감 있는 도구를 제공해 다양한 산업을 변화시킬 것으로 기대됩니다. SynthID와 같은 안전 조치로 윤리적인 사용을 보장하는 가운데 DeepMind는 AI의 가능성을 계속 확장하며 미래의 혁신적인 응용 분야를 위한 길을 열고 있습니다.

저희 GitHub 저장소를 방문하고 커뮤니티에 참여해 AI를 더 깊이 알아보세요. 솔루션 페이지에서 AI가 제조와 농업 분야에 어떻게 적용되는지 확인하세요.