Video Generation
비디오 생성은 생성형 모델이 시간에 따른 움직임의 일관성을 유지하면서 텍스트, 이미지 또는 기존 영상에서 새로운 비디오 클립을 합성하는 작업입니다.
비디오 생성은 생성형 AI 모델을 사용해 새로운 비디오, 즉 객체, 조명, 움직임이 프레임마다 일관성을 유지하는 프레임 시퀀스를 합성하는 기술입니다. 모델은 텍스트 프롬프트, 애니메이션을 적용할 정지 이미지, 스타일을 바꾸거나 확장할 기존 클립, 또는 월드 모델에서처럼 이전 프레임과 행동을 입력으로 사용할 수 있습니다. 이미지 하나를 생성하는 것과 달리 초당 24프레임의 5초짜리 클립에는 서로 일치해야 하는 이미지 120장이 포함됩니다. 손가락 개수가 바뀌는 것처럼 한 프레임에서는 눈에 띄지 않는 오류도 프레임을 재생하면 깜박임이나 변형으로 드러납니다. 비디오 이해와 객체 추적은 이미 존재하는 영상을 분석하는 반대 방향의 작업입니다.
이 분야는 10년도 채 안 되는 기간에 매우 짧은 클립에서 분 단위 길이의 클립으로 발전했습니다. Carl Vondrick, Hamed Pirsiavash, Antonio Torralba가 2016년에 개발한 생성적 적대 신경망 VGAN은 정적인 배경과 움직이는 전경을 따로 생성해 약 1초 분량의 64×64 비디오를 만들었습니다. Google의 Jonathan Ho와 동료들은 2022년 4월에 확산 모델을 비디오로 확장했고, 같은 해 가을 Meta의 Make-A-Video와 Google의 Imagen Video가 뒤를 이었습니다. 2024년 2월에 미리 공개된 OpenAI의 Sora는 최대 1분 길이의 클립을 생성했습니다. Tencent의 HunyuanVideo(2024년 12월)와 Alibaba의 Wan 2.1(2025년 2월) 같은 오픈 웨이트 모델은 동일한 아키텍처를 로컬에서 실행하고 파인튜닝할 수 있게 했습니다.
비디오 생성 모델 작동 방식#
현재 대부분의 시스템은 세 부분으로 구성된 잠재 확산 모델입니다. 비디오 오토인코더는 클립을 공간과 시간 양쪽에서 훨씬 작은 잠재 텐서로 압축합니다. 수백 프레임의 원시 픽셀에서 노이즈를 제거하는 작업은 비용이 지나치게 많이 들기 때문입니다. 일반적으로 확산 트랜스포머(DiT)인 노이즈 제거 네트워크는 잠재 표현을 시공간 패치로 나눕니다. 이 패치는 OpenAI의 Sora가 처리하는 단위이며, 단계별로 노이즈를 제거합니다. 어텐션은 각 패치를 다른 프레임의 패치와 연결해 대상이 움직여도 형태를 유지하도록 합니다. 그런 다음 오토인코더의 디코더가 정제된 잠재 표현을 다시 프레임으로 변환합니다.
초기의 모델은 시간적 일관성을 더 저렴한 방식으로 구현했습니다. 많은 모델은 사전 학습된 텍스트-이미지 U-Net에 프레임 간 동일 위치를 비교하는 시간 어텐션 레이어를 삽입해, 네트워크가 기존의 시각적 지식을 재사용하고 움직임만 학습하도록 했습니다. Imagen Video는 기본 모델에 공간 및 시간 초해상도 모델을 별도로 연결해 단계적으로 해상도와 프레임 레이트를 높였습니다. Google의 Lumiere(2024)는 공간-시간 U-Net을 사용해 전체 클립을 한 번에 생성했습니다. 먼저 멀리 떨어진 키프레임을 생성하는 캐스케이드 방식은 전역적으로 일관된 움직임을 유지하기 어렵다고 주장했습니다. 긴 비디오나 대화형 비디오는 각 청크가 이전 프레임을 조건으로 하는 자기회귀 방식으로 청크 단위 생성되는 경우가 많으며, 확산 강제 같은 방법은 이러한 설정에 맞춰 학습됩니다.
비디오 생성 유형#
- 텍스트-비디오: 글로 작성된 프롬프트만으로 클립을 생성합니다.
- 이미지-비디오: 정지 이미지를 첫 프레임으로 유지하며 애니메이션을 적용하므로 구도와 대상을 제어할 수 있습니다.
- 비디오-비디오: 기존 클립의 움직임을 유지하면서 스타일을 바꾸거나 편집하거나 확장합니다. AI 비디오 편집의 핵심 도구입니다.
- 오디오와 비디오 동시 생성: Google의 Veo 3(2025년 5월)과 OpenAI의 Sora 2(2025년 9월)는 영상과 동기화된 대화, 음향 효과, 음악을 생성합니다.
- 월드 모델: 조향 명령이나 로봇 팔의 움직임과 같은 행동을 현재 프레임과 함께 입력해 다음 프레임을 예측하므로, 비디오가 제어에 반응합니다.
응용 분야#
영화 및 광고 제작팀은 Google DeepMind의 Veo와 Meta Movie Gen 같은 생성 모델을 사전 시각화와 촬영 비용이 많이 드는 장면에 사용합니다. 이는 영화 제작에서 AI를 활용하는 더 광범위한 전환의 일부입니다. 피지컬 AI 개발자는 드물게 발생하는 상황의 주행 및 로보틱스 영상을 생성합니다. 2025년 1월에 출시된 NVIDIA Cosmos 월드 파운데이션 모델은 자율주행 차량 및 로봇 학습용 비디오를 생성하고, Wayve의 GAIA-1은 텍스트와 차량 행동을 조건으로 주행 장면을 생성합니다. 생성된 클립의 프레임에 라벨을 지정하면 인식 모델용 합성 데이터가 됩니다. 생성된 클립을 받은 Ultralytics Platform 데이터셋은 초당 1프레임씩 최대 100프레임을 추출하고 각 프레임을 어노테이션할 수 있는 이미지로 저장합니다.
한계와 평가#
생성된 비디오는 여전히 물리 법칙과 객체 영속성을 제대로 따르지 못합니다. OpenAI는 Sora가 유리 깨짐과 같은 상호작용을 정확히 모델링하지 못한다고 밝혔으며, 생성된 객체가 서로를 통과하거나, 갑자기 나타나거나, 가림 물체 뒤에서 사라질 수 있습니다. 해상도와 길이가 늘어날수록 연산량이 증가하므로 대부분의 모델은 몇 초 길이의 클립을 생성하고 이를 단계적으로 확장합니다. 평가는 단일 분포 점수인 Fréchet Video Distance(Fréchet Inception Distance(FID)의 비디오 버전)에서 대상 일관성부터 프롬프트 충실도까지 16개 차원을 평가하는 VBench와 같은 평가 모음으로 발전했습니다. 사실적인 출력은 딥페이크에도 활용될 수 있으므로, 제공업체는 생성된 비디오에 AI 워터마킹 및 콘텐츠 크리덴셜을 적용합니다. Google은 모든 Veo 비디오에 보이지 않는 SynthID 워터마크를 삽입합니다.










