Text-to-Video

Генерация видео по тексту — это создание видеоролика по запросу на естественном языке, например: «рыжая лиса рысью бежит по свежему снегу на рассвете, низкий кадр с проводкой». Это направление генерации видео, для которого в качестве обязательного входа нужен только текст. Оно расширяет генерацию изображений по тексту, добавляя временную ось: модель должна отобразить названные в запросе объекты, стиль и работу камеры, а также придумать подразумеваемое движение, например то, как двигаются ноги лисы при беге рысью. Среди первых исследовательских моделей 2022 года были CogVideo университета Цинхуа — трансформер с 9,4 миллиарда параметров — и Make-A-Video от Meta, которая училась тому, как выглядят объекты, на парах «текст — изображение», а тому, как они движутся, — на неразмеченных видео, поэтому ей не требовались пары «текст — видео». Sora от OpenAI, представленная в феврале 2024 года, создавала ролики высокого разрешения длительностью до минуты. В октябре 2024 года появилась Meta Movie Gen, а семейство моделей Veo от Google DeepMind достигло версии Veo 3 в мае 2025 года. Как и Sora 2 от OpenAI, Veo 3 генерирует синхронизированные с изображением диалоги и звуковое сопровождение.

Как текст задаёт параметры видеомодели#

Замороженная языковая модель, например энкодер T5, преобразует запрос в последовательность токенов эмбеддингов. Видеомодель, обычно представляющая собой диффузионный трансформер, работающий со сжатым латентным видео, считывает эти эмбеддинги посредством перекрёстного внимания на каждом шаге устранения шума. Благодаря этому каждый пространственно-временной фрагмент ролика может обращаться к словам, которые его описывают. Генерация начинается со случайного шума, который постепенно удаляется, как и в других диффузионных моделях, пока декодер не преобразует чистое латентное представление в кадры.

Следование запросу настраивают с помощью классификатор-свободного управления, предложенного Джонатаном Хо и Тимом Салимансом в 2022 году. Во время обучения запрос удаляют из части примеров, поэтому одна сеть учится делать прогнозы и с условием, и без него. На каждом шаге выборки модель вычисляет оба прогноза и с помощью коэффициента управления смещает результат от прогноза без условия. При большем коэффициенте модель точнее следует запросу, но теряет разнообразие и естественность цветов.

Данные, на которых обучается модель, важны не меньше её архитектуры. Большинство обучающих видео не снабжено описанием или имеет короткое, зашумлённое описание, поэтому OpenAI повторно создала подписи к обучающим роликам Sora с помощью специальной модели генерации подписей, которая пишет подробные описания. Во время генерации GPT также расширяет короткие запросы пользователей в том же подробном стиле. Такое обогащение запросов сокращает разрыв между тем, как люди формулируют запросы, и подписями, на которых обучалась модель.

Применение#

• Предварительная визуализация фильма: режиссёры и дизайнеры игр превращают описание сцены в черновой ролик, чтобы проверить ракурсы камеры, освещение и темп до начала съёмок.
• Маркетинг и реклама: бренды создают снимки продуктов и ролики для соцсетей в разных вариантах на основе одного сценария.
• Обучение и объяснительные материалы: преподаватели и издатели визуализируют процессы, которые трудно снять, например исторические сцены или деление клеток.
• Синтетические данные: запросы, описывающие редкие события, например оленя, перебегающего шоссе ночью, создают видеоматериал для обучения моделей восприятия после разметки кадров.

Ошибки и оценка#

Чаще всего модели генерации видео по тексту ошибаются в частях запроса, где требуется точная привязка. Количество объектов меняется («три собаки» превращаются в две или четыре), атрибуты переходят от одного объекта к другому («красная машина рядом с синим грузовиком»), пространственные отношения меняются на противоположные, а текст в сцене получается нечитаемым. Со временем объекты превращаются в другие формы, появляются из ниоткуда или исчезают за преградами; нарушаются и физические взаимодействия: OpenAI заявила, что Sora не моделирует разбивание стекла точно. Подобные ошибки — разновидность галлюцинаций в видео.

VBench оценивает эти ошибки по отдельности, используя такие критерии, как класс объекта, несколько объектов, цвет, пространственные отношения, действия людей и постоянство объектов. Семейство метрик распределения, в которое входит расстояние Фреше между признаками Inception (FID), оценивает общую реалистичность. Основной инструмент проверки содержимого — обнаружение объектов: если запустить YOLO26 в режиме отслеживания на сгенерированном ролике, каждому обнаруженному объекту присваивается постоянный идентификатор. Если у ролика с запросом про двух собак накапливается пять идентификаторов собак, значит, объекты исчезали и появлялись снова или меняли форму посреди сцены.

Поскольку в сгенерированных роликах реальные люди могут изображаться совершающими действия, которых они никогда не совершали, генерация видео по тексту вызывает те же опасения, что и дипфейки, а также более широкие вопросы этики ИИ. Провайдеры блокируют запросы с именами публичных лиц, добавляют видимые водяные знаки и сигналы водяных знаков ИИ, а также прикрепляют Content Credentials. На видео Sora 2 от OpenAI нанесены и видимый движущийся водяной знак, и метаданные C2PA.