Video Generation
Генерация видео — это создание генеративными моделями новых видеороликов на основе текста, изображений или существующих видеозаписей с сохранением согласованности движения во времени.
Генерация видео — это создание новых видеоматериалов с помощью моделей генеративного ИИ: последовательности кадров, в которых объекты, освещение и движение остаются согласованными от кадра к кадру. Модель может использовать текстовый запрос, неподвижное изображение для анимации, существующий ролик для изменения стиля или продолжения либо прошлые кадры и действия, как в моделях мира. В отличие от одного сгенерированного изображения, пятсекундный ролик с частотой 24 кадра в секунду содержит 120 изображений, которые должны согласовываться друг с другом. Ошибки, незаметные в одном кадре, например изменение числа пальцев на руке, при воспроизведении проявляются как мерцание или деформация. Понимание видео и отслеживание объектов работают в обратном направлении, анализируя уже существующие записи.
Менее чем за десять лет область перешла от крошечных роликов к видео длиной в несколько минут. В 2016 году Carl Vondrick, Hamed Pirsiavash и Antonio Torralba представили VGAN — генеративно-состязательную сеть, создававшую примерно секунду видео с разрешением 64×64, отдельно генерируя статичный фон и движущийся передний план. В апреле 2022 года Jonathan Ho и его коллеги из Google адаптировали диффузионные модели для видео; осенью того же года появились Make-A-Video от Meta и Imagen Video от Google, а представленная в феврале 2024 года Sora от OpenAI генерировала ролики длительностью до минуты. Модели с открытыми весами, такие как HunyuanVideo от Tencent (декабрь 2024 года) и Wan 2.1 от Alibaba (февраль 2025 года), сделали ту же архитектуру доступной для локального запуска и дообучения.
Как работают модели генерации видео#
Большинство современных систем — это латентные диффузионные модели, состоящие из трёх частей. Видеоавтоэнкодер сжимает ролик в пространстве и времени до гораздо меньшего латентного тензора, поскольку устранение шума непосредственно на пикселях сотен кадров было бы слишком дорогим. Сеть устранения шума, обычно представляющая собой диффузионный трансформер (DiT), разбивает этот латентный тензор на пространственно-временные патчи — единицы, с которыми работает Sora от OpenAI, — и поэтапно удаляет шум. Механизм внимания связывает каждый патч с патчами в других кадрах, благодаря чему объект сохраняет форму при движении. Затем декодер автоэнкодера преобразует очищенное латентное представление обратно в кадры.
В ранних моделях использовались более дешёвые способы сохранить временную согласованность. Во многие предварительно обученные U-Net для преобразования текста в изображение добавляли слои временного внимания, сравнивающие одни и те же позиции в разных кадрах. Так сеть повторно использовала знания о внешнем виде и обучалась только движению. Imagen Video объединяла базовую модель с отдельными моделями пространственного и временного сверхразрешения, поэтапно повышавшими разрешение и частоту кадров. Lumiere от Google (2024) генерировала весь ролик за один проход с помощью пространственно-временной U-Net: авторы утверждали, что каскадные модели, сначала создающие разнесённые ключевые кадры, с трудом сохраняют целостность движения. Длинные или интерактивные видео часто генерируются авторегрессионно, фрагмент за фрагментом, причём каждый фрагмент зависит от предыдущих кадров. На такой режим обучения рассчитаны, например, методы диффузионного принуждения.
Виды генерации видео#
- Текст-в-видео: генерирует ролик только по текстовому запросу.
- Изображение-в-видео: анимирует неподвижное изображение, сохраняя его в качестве первого кадра, что позволяет управлять композицией и объектом.
- Видео-в-видео: меняет стиль существующего ролика, редактирует или продлевает его, сохраняя движение; это один из основных инструментов ИИ-редактирования видео.
- Совместная генерация аудио и видео: Veo 3 от Google (май 2025 года) и Sora 2 от OpenAI (сентябрь 2025 года) синхронно с изображением генерируют диалоги, звуковые эффекты и музыку.
- Модели мира: предсказывают следующие кадры по текущим кадрам и действию, например команде поворота руля или движению руки робота, благодаря чему видео реагирует на управляющее воздействие.
Применение#
Команды в киноиндустрии и рекламе используют генераторы, например Veo от Google DeepMind и Movie Gen от Meta, для предварительной визуализации и создания дорогих в съёмке кадров. Это часть более широкого перехода к ИИ в кинопроизводстве. Разработчики Physical AI генерируют видеозаписи вождения и работы роботов с редкими событиями: базовые модели мира Cosmos от NVIDIA, выпущенные в январе 2025 года, создают видео для обучения автономных автомобилей и роботов, а GAIA-1 от Wayve генерирует дорожные сцены с учётом текста и действий автомобиля. Сгенерированные ролики становятся синтетическими данными для моделей восприятия после разметки кадров. Если в набор данных на платформе Ultralytics загрузить сгенерированный ролик, платформа извлечёт из него кадры с частотой 1 кадр в секунду, не более 100 кадров, и сохранит каждый кадр как изображение, готовое к разметке.
Ограничения и оценка#
Сгенерированное видео всё ещё нарушает законы физики и принцип постоянства объектов. OpenAI сообщала, что Sora неточно моделирует такие взаимодействия, как разбивание стекла, а сгенерированные объекты могут проходить друг сквозь друга, появляться из ниоткуда или исчезать за перекрывающим их объектом. Вычислительные затраты растут с увеличением разрешения и длительности, поэтому большинство моделей генерирует ролики длиной в несколько секунд и продлевает их поэтапно. Вместо одной метрики распределения — расстояния Фреше для видео, аналога расстояния Фреше—Инсепшн (FID) для видео — теперь используют наборы тестов, такие как VBench, оценивающий 16 параметров, от согласованности объекта до соответствия запросу. Реалистичные результаты также позволяют создавать дипфейки, поэтому поставщики маркируют сгенерированные видео с помощью водяных знаков ИИ и учётных данных о содержимом: Google встраивает невидимый водяной знак SynthID в каждое видео Veo.










