YOLO 라이선스 받기
Ultralytics 용어집으로 돌아가기

Video Generation

비디오 생성은 생성형 모델이 시간에 따른 움직임의 일관성을 유지하면서 텍스트, 이미지 또는 기존 영상에서 새로운 비디오 클립을 합성하는 작업입니다.

비디오 생성은 생성형 AI 모델을 사용해 새로운 비디오, 즉 객체, 조명, 움직임이 프레임마다 일관성을 유지하는 프레임 시퀀스를 합성하는 기술입니다. 모델은 텍스트 프롬프트, 애니메이션을 적용할 정지 이미지, 스타일을 바꾸거나 확장할 기존 클립, 또는 월드 모델에서처럼 이전 프레임과 행동을 입력으로 사용할 수 있습니다. 이미지 하나를 생성하는 것과 달리 초당 24프레임의 5초짜리 클립에는 서로 일치해야 하는 이미지 120장이 포함됩니다. 손가락 개수가 바뀌는 것처럼 한 프레임에서는 눈에 띄지 않는 오류도 프레임을 재생하면 깜박임이나 변형으로 드러납니다. 비디오 이해와 객체 추적은 이미 존재하는 영상을 분석하는 반대 방향의 작업입니다.

이 분야는 10년도 채 안 되는 기간에 매우 짧은 클립에서 분 단위 길이의 클립으로 발전했습니다. Carl Vondrick, Hamed Pirsiavash, Antonio Torralba가 2016년에 개발한 생성적 적대 신경망 VGAN은 정적인 배경과 움직이는 전경을 따로 생성해 약 1초 분량의 64×64 비디오를 만들었습니다. Google의 Jonathan Ho와 동료들은 2022년 4월에 확산 모델을 비디오로 확장했고, 같은 해 가을 Meta의 Make-A-Video와 Google의 Imagen Video가 뒤를 이었습니다. 2024년 2월에 미리 공개된 OpenAI의 Sora는 최대 1분 길이의 클립을 생성했습니다. Tencent의 HunyuanVideo(2024년 12월)와 Alibaba의 Wan 2.1(2025년 2월) 같은 오픈 웨이트 모델은 동일한 아키텍처를 로컬에서 실행하고 파인튜닝할 수 있게 했습니다.

비디오 생성 모델 작동 방식#

현재 대부분의 시스템은 세 부분으로 구성된 잠재 확산 모델입니다. 비디오 오토인코더는 클립을 공간과 시간 양쪽에서 훨씬 작은 잠재 텐서로 압축합니다. 수백 프레임의 원시 픽셀에서 노이즈를 제거하는 작업은 비용이 지나치게 많이 들기 때문입니다. 일반적으로 확산 트랜스포머(DiT)인 노이즈 제거 네트워크는 잠재 표현을 시공간 패치로 나눕니다. 이 패치는 OpenAI의 Sora가 처리하는 단위이며, 단계별로 노이즈를 제거합니다. 어텐션은 각 패치를 다른 프레임의 패치와 연결해 대상이 움직여도 형태를 유지하도록 합니다. 그런 다음 오토인코더의 디코더가 정제된 잠재 표현을 다시 프레임으로 변환합니다.

초기의 모델은 시간적 일관성을 더 저렴한 방식으로 구현했습니다. 많은 모델은 사전 학습된 텍스트-이미지 U-Net에 프레임 간 동일 위치를 비교하는 시간 어텐션 레이어를 삽입해, 네트워크가 기존의 시각적 지식을 재사용하고 움직임만 학습하도록 했습니다. Imagen Video는 기본 모델에 공간 및 시간 초해상도 모델을 별도로 연결해 단계적으로 해상도와 프레임 레이트를 높였습니다. Google의 Lumiere(2024)는 공간-시간 U-Net을 사용해 전체 클립을 한 번에 생성했습니다. 먼저 멀리 떨어진 키프레임을 생성하는 캐스케이드 방식은 전역적으로 일관된 움직임을 유지하기 어렵다고 주장했습니다. 긴 비디오나 대화형 비디오는 각 청크가 이전 프레임을 조건으로 하는 자기회귀 방식으로 청크 단위 생성되는 경우가 많으며, 확산 강제 같은 방법은 이러한 설정에 맞춰 학습됩니다.

비디오 생성 유형#

  • 텍스트-비디오: 글로 작성된 프롬프트만으로 클립을 생성합니다.
  • 이미지-비디오: 정지 이미지를 첫 프레임으로 유지하며 애니메이션을 적용하므로 구도와 대상을 제어할 수 있습니다.
  • 비디오-비디오: 기존 클립의 움직임을 유지하면서 스타일을 바꾸거나 편집하거나 확장합니다. AI 비디오 편집의 핵심 도구입니다.
  • 오디오와 비디오 동시 생성: Google의 Veo 3(2025년 5월)과 OpenAI의 Sora 2(2025년 9월)는 영상과 동기화된 대화, 음향 효과, 음악을 생성합니다.
  • 월드 모델: 조향 명령이나 로봇 팔의 움직임과 같은 행동을 현재 프레임과 함께 입력해 다음 프레임을 예측하므로, 비디오가 제어에 반응합니다.

응용 분야#

영화 및 광고 제작팀은 Google DeepMind의 Veo와 Meta Movie Gen 같은 생성 모델을 사전 시각화와 촬영 비용이 많이 드는 장면에 사용합니다. 이는 영화 제작에서 AI를 활용하는 더 광범위한 전환의 일부입니다. 피지컬 AI 개발자는 드물게 발생하는 상황의 주행 및 로보틱스 영상을 생성합니다. 2025년 1월에 출시된 NVIDIA Cosmos 월드 파운데이션 모델은 자율주행 차량 및 로봇 학습용 비디오를 생성하고, Wayve의 GAIA-1은 텍스트와 차량 행동을 조건으로 주행 장면을 생성합니다. 생성된 클립의 프레임에 라벨을 지정하면 인식 모델용 합성 데이터가 됩니다. 생성된 클립을 받은 Ultralytics Platform 데이터셋은 초당 1프레임씩 최대 100프레임을 추출하고 각 프레임을 어노테이션할 수 있는 이미지로 저장합니다.

한계와 평가#

생성된 비디오는 여전히 물리 법칙과 객체 영속성을 제대로 따르지 못합니다. OpenAI는 Sora가 유리 깨짐과 같은 상호작용을 정확히 모델링하지 못한다고 밝혔으며, 생성된 객체가 서로를 통과하거나, 갑자기 나타나거나, 가림 물체 뒤에서 사라질 수 있습니다. 해상도와 길이가 늘어날수록 연산량이 증가하므로 대부분의 모델은 몇 초 길이의 클립을 생성하고 이를 단계적으로 확장합니다. 평가는 단일 분포 점수인 Fréchet Video Distance(Fréchet Inception Distance(FID)의 비디오 버전)에서 대상 일관성부터 프롬프트 충실도까지 16개 차원을 평가하는 VBench와 같은 평가 모음으로 발전했습니다. 사실적인 출력은 딥페이크에도 활용될 수 있으므로, 제공업체는 생성된 비디오에 AI 워터마킹 및 콘텐츠 크리덴셜을 적용합니다. Google은 모든 Veo 비디오에 보이지 않는 SynthID 워터마크를 삽입합니다.

솔루션 살펴보기

스포츠 분야의 컴퓨터 비전

스포츠 분야의 컴퓨터 비전

Ultralytics YOLO가 선수 및 공 추적, 경기력 분석, 코칭 인사이트, 선수 재활을 통해 스포츠 비전을 구현하는 방법을 알아보세요.
자세히 알아보기
항공 이미지 컴퓨터 비전

항공 이미지 컴퓨터 비전

Ultralytics YOLO를 활용해 드론 및 항공 이미지를 농업, 양식업, 보전, 지리 공간 분석을 위한 실시간 인사이트로 전환하세요.
자세히 알아보기
항공우주 분야의 컴퓨터 비전

항공우주 분야의 컴퓨터 비전

Ultralytics YOLO를 활용해 항공기 검사, 활주로 FOD 감지, 공항 지상 운영, 복합재 결함 감지 등 항공우주 분야에 컴퓨터 비전을 적용하세요.
자세히 알아보기
보안 분야의 컴퓨터 비전

보안 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 모든 시설을 보호하세요. Vision AI는 경계 모니터링, 위협 감지, 번호판 인식, 작업장 안전을 지원합니다.
자세히 알아보기
로보틱스 분야의 컴퓨터 비전

로보틱스 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 더 스마트한 머신을 구현하세요. 로보틱스 분야의 Vision AI는 자율 주행, 인식, 객체 추적, 실시간 제어를 지원합니다.
자세히 알아보기
물류 분야의 컴퓨터 비전

물류 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 물류를 간소화하세요. 비전 AI는 화물 검사, 분류, 차량 추적, 실시간 창고 안전 모니터링을 지원합니다.
자세히 알아보기
리테일 분야의 컴퓨터 비전

리테일 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 리테일의 새로운 가능성을 열어 보세요. 비전 AI는 재고 추적, 선반 모니터링, 대기열 관리, 더욱 심층적인 고객 인사이트를 지원합니다.
자세히 알아보기
의료 분야의 컴퓨터 비전

의료 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 의료 솔루션을 구축하세요. 의료 분야의 비전 AI는 의료 영상 판독을 가속화하고, 진단을 개선하며, 환자 모니터링을 지원합니다.
자세히 알아보기
제조 분야의 컴퓨터 비전

제조 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 제조 공정을 최적화하세요. 비전 AI는 품질 관리, 결함 탐지, PPE 규정 준수, 조립 라인 자동화를 지원합니다.
자세히 알아보기
자동차 분야의 컴퓨터 비전

자동차 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 자동차 분야에 컴퓨터 비전을 적용하세요. 비전 AI는 도로 안전, 운전자 지원, 차량 자동화를 개선해 더 스마트한 도로를 구현합니다.
자세히 알아보기
농업 분야의 컴퓨터 비전

농업 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 스마트 농업에 비전 AI를 도입하세요. 작물 모니터링, 가축 추적, 정밀 농업을 지원하여 더 높은 수확량과 더 스마트한 농업을 실현합니다.
자세히 알아보기

함께 AI의 미래를 만들어 가세요!

머신러닝의 미래와 함께 여정을 시작하세요