Text-to-Video

텍스트-투-비디오는 "새벽녘 갓 내린 눈밭을 천천히 걷는 붉은 여우, 낮은 시점의 트래킹 샷"과 같은 자연어 프롬프트에서 동영상 클립을 생성하는 기술입니다. 동영상 생성 중 입력으로 텍스트만 필요한 분야이며, 텍스트-투-이미지 생성에 시간 축을 더한 방식입니다. 모델은 프롬프트에 명시된 객체, 스타일, 카메라 워크를 렌더링해야 할 뿐 아니라 여우가 걸을 때 다리를 어떻게 움직이는지처럼 프롬프트에서 암시만 된 동작도 만들어야 합니다. 2022년 초기 연구 모델에는 94억 개 파라미터의 트랜스포머인 Tsinghua University의 CogVideo와 텍스트-이미지 쌍에서 사물의 형태를, 라벨이 없는 동영상에서 사물의 움직임을 학습해 짝을 이룬 텍스트-동영상 데이터가 필요 없었던 Meta의 Make-A-Video가 있습니다. 2024년 2월 미리 공개된 OpenAI의 Sora는 분 단위의 고해상도 클립을 생성했고, Meta Movie Gen은 2024년 10월에 이어 출시되었으며, Google DeepMind의 Veo 제품군은 2025년 5월 Veo 3에 이르렀습니다. Veo 3는 OpenAI의 Sora 2처럼 영상과 동기화된 대화 및 소리를 생성합니다.

텍스트가 동영상 모델을 조건화하는 방식#

T5 인코더와 같은 고정된 언어 모델은 프롬프트를 토큰 임베딩 시퀀스로 변환합니다. 보통 압축된 잠재 동영상에서 작동하는 확산 트랜스포머 동영상 모델은 각 노이즈 제거 단계에서 크로스 어텐션을 통해 해당 임베딩을 읽습니다. 따라서 클립의 각 시공간 패치는 자신을 설명하는 단어에 어텐션을 적용할 수 있습니다. 생성은 다른 확산 모델과 마찬가지로 무작위 노이즈에서 시작해 단계적으로 노이즈를 제거하며, 디코더가 정제된 잠재 표현을 프레임으로 변환할 때까지 진행됩니다.

프롬프트 준수 정도는 Jonathan Ho와 Tim Salimans가 2022년에 도입한 분류기 없는 가이던스로 조정합니다. 학습 중 일부 예시에서는 프롬프트를 제거하므로 하나의 네트워크가 조건부 예측과 무조건부 예측을 모두 학습합니다. 각 샘플링 단계에서 모델은 두 예측을 모두 계산하고 가이던스 스케일을 사용해 결과를 무조건부 예측에서 멀어지도록 조정합니다. 스케일이 높으면 다양성과 자연스러운 색상을 희생하는 대신 프롬프트를 더 문자 그대로 따릅니다.

모델이 학습하는 텍스트는 아키텍처만큼 중요합니다. 대부분의 학습 동영상에는 설명이 없거나 짧고 품질이 낮은 설명만 있으므로, OpenAI는 전용 캡셔닝 모델을 사용해 Sora의 학습 클립에 상세한 설명을 다시 붙입니다. 생성 시에는 GPT를 사용해 짧은 사용자 프롬프트를 같은 상세한 형식으로 확장합니다. 이러한 프롬프트 보강은 사람들이 프롬프트를 작성하는 방식과 모델 학습에 사용된 캡션 사이의 격차를 줄입니다.

사용 사례#

• 영화 프리비주얼라이제이션: 감독과 게임 디자이너는 촬영 전에 카메라 앵글, 조명, 페이싱을 테스트하기 위해 글로 작성한 장면을 대략적인 클립으로 변환합니다.
• 마케팅 및 광고: 브랜드는 하나의 대본으로 다양한 제품 사진과 소셜 미디어용 클립을 생성합니다.
• 교육 및 설명 자료: 교사와 출판사는 역사적 장면이나 세포 분열처럼 촬영하기 어려운 과정을 시각적으로 설명합니다.
• 합성 데이터: 밤에 고속도로를 건너는 사슴과 같은 희귀 사건을 설명하는 프롬프트로 영상을 생성하고, 프레임에 라벨을 지정한 후 인지 모델 학습에 사용합니다.

실패 유형 및 평가#

텍스트-투-비디오 모델은 정밀한 연결이 필요한 프롬프트 부분에서 가장 자주 실패합니다. 개수가 달라지고("개 세 마리"가 두 마리나 네 마리로 바뀜), 속성이 객체 사이에서 뒤바뀌며("파란 트럭 옆의 빨간 자동차"), 공간 관계가 반대로 바뀌고, 장면에 쓰인 글자는 알아볼 수 없게 나옵니다. 시간이 흐르면 피사체가 다른 형태로 변하거나 갑자기 나타나고, 가림 물체 뒤에서 사라지며, 물리적 상호작용도 무너집니다. OpenAI는 Sora가 유리 파손을 정확하게 모델링하지 못한다고 밝혔습니다. 이러한 오류는 동영상에서 나타나는 환각의 한 형태입니다.

VBench는 객체 클래스, 여러 객체, 색상, 공간 관계, 사람의 동작, 피사체 일관성 항목을 사용해 이러한 실패를 각각 평가하며, Fréchet Inception Distance (FID) 계열의 분포 지표는 전반적인 실감도를 측정합니다. 콘텐츠 검증의 핵심 도구는 객체 탐지입니다. 생성된 클립에 YOLO26을 트랙 모드로 실행하면 탐지된 각 객체에 지속적인 ID가 부여됩니다. 따라서 개 두 마리를 프롬프트로 생성한 클립에서 개 ID가 다섯 개 누적되면 피사체가 사라졌다가 다시 나타났거나 촬영 도중 형태가 바뀐 것입니다.

생성된 클립에 실제 인물이 실제로 하지 않은 행동을 하는 모습이 나올 수 있으므로 텍스트-투-비디오는 딥페이크 및 더 광범위한 AI 윤리와 관련된 우려를 불러일으킵니다. 제공업체는 공인의 이름을 지정하는 프롬프트를 차단하고, 눈에 보이는 워터마크와 AI 워터마킹 신호를 추가하며, 콘텐츠 자격 증명을 첨부합니다. OpenAI의 Sora 2 동영상에는 움직이는 시각적 워터마크와 C2PA 메타데이터가 모두 포함됩니다.