Лицензия YOLO
Назад к глоссарию Ultralytics

Video Generation

Генерация видео — это создание генеративными моделями новых видеороликов на основе текста, изображений или существующих видеозаписей с сохранением согласованности движения во времени.

Генерация видео — это создание новых видеоматериалов с помощью моделей генеративного ИИ: последовательности кадров, в которых объекты, освещение и движение остаются согласованными от кадра к кадру. Модель может использовать текстовый запрос, неподвижное изображение для анимации, существующий ролик для изменения стиля или продолжения либо прошлые кадры и действия, как в моделях мира. В отличие от одного сгенерированного изображения, пятсекундный ролик с частотой 24 кадра в секунду содержит 120 изображений, которые должны согласовываться друг с другом. Ошибки, незаметные в одном кадре, например изменение числа пальцев на руке, при воспроизведении проявляются как мерцание или деформация. Понимание видео и отслеживание объектов работают в обратном направлении, анализируя уже существующие записи.

Менее чем за десять лет область перешла от крошечных роликов к видео длиной в несколько минут. В 2016 году Carl Vondrick, Hamed Pirsiavash и Antonio Torralba представили VGAN — генеративно-состязательную сеть, создававшую примерно секунду видео с разрешением 64×64, отдельно генерируя статичный фон и движущийся передний план. В апреле 2022 года Jonathan Ho и его коллеги из Google адаптировали диффузионные модели для видео; осенью того же года появились Make-A-Video от Meta и Imagen Video от Google, а представленная в феврале 2024 года Sora от OpenAI генерировала ролики длительностью до минуты. Модели с открытыми весами, такие как HunyuanVideo от Tencent (декабрь 2024 года) и Wan 2.1 от Alibaba (февраль 2025 года), сделали ту же архитектуру доступной для локального запуска и дообучения.

Как работают модели генерации видео#

Большинство современных систем — это латентные диффузионные модели, состоящие из трёх частей. Видеоавтоэнкодер сжимает ролик в пространстве и времени до гораздо меньшего латентного тензора, поскольку устранение шума непосредственно на пикселях сотен кадров было бы слишком дорогим. Сеть устранения шума, обычно представляющая собой диффузионный трансформер (DiT), разбивает этот латентный тензор на пространственно-временные патчи — единицы, с которыми работает Sora от OpenAI, — и поэтапно удаляет шум. Механизм внимания связывает каждый патч с патчами в других кадрах, благодаря чему объект сохраняет форму при движении. Затем декодер автоэнкодера преобразует очищенное латентное представление обратно в кадры.

В ранних моделях использовались более дешёвые способы сохранить временную согласованность. Во многие предварительно обученные U-Net для преобразования текста в изображение добавляли слои временного внимания, сравнивающие одни и те же позиции в разных кадрах. Так сеть повторно использовала знания о внешнем виде и обучалась только движению. Imagen Video объединяла базовую модель с отдельными моделями пространственного и временного сверхразрешения, поэтапно повышавшими разрешение и частоту кадров. Lumiere от Google (2024) генерировала весь ролик за один проход с помощью пространственно-временной U-Net: авторы утверждали, что каскадные модели, сначала создающие разнесённые ключевые кадры, с трудом сохраняют целостность движения. Длинные или интерактивные видео часто генерируются авторегрессионно, фрагмент за фрагментом, причём каждый фрагмент зависит от предыдущих кадров. На такой режим обучения рассчитаны, например, методы диффузионного принуждения.

Виды генерации видео#

  • Текст-в-видео: генерирует ролик только по текстовому запросу.
  • Изображение-в-видео: анимирует неподвижное изображение, сохраняя его в качестве первого кадра, что позволяет управлять композицией и объектом.
  • Видео-в-видео: меняет стиль существующего ролика, редактирует или продлевает его, сохраняя движение; это один из основных инструментов ИИ-редактирования видео.
  • Совместная генерация аудио и видео: Veo 3 от Google (май 2025 года) и Sora 2 от OpenAI (сентябрь 2025 года) синхронно с изображением генерируют диалоги, звуковые эффекты и музыку.
  • Модели мира: предсказывают следующие кадры по текущим кадрам и действию, например команде поворота руля или движению руки робота, благодаря чему видео реагирует на управляющее воздействие.

Применение#

Команды в киноиндустрии и рекламе используют генераторы, например Veo от Google DeepMind и Movie Gen от Meta, для предварительной визуализации и создания дорогих в съёмке кадров. Это часть более широкого перехода к ИИ в кинопроизводстве. Разработчики Physical AI генерируют видеозаписи вождения и работы роботов с редкими событиями: базовые модели мира Cosmos от NVIDIA, выпущенные в январе 2025 года, создают видео для обучения автономных автомобилей и роботов, а GAIA-1 от Wayve генерирует дорожные сцены с учётом текста и действий автомобиля. Сгенерированные ролики становятся синтетическими данными для моделей восприятия после разметки кадров. Если в набор данных на платформе Ultralytics загрузить сгенерированный ролик, платформа извлечёт из него кадры с частотой 1 кадр в секунду, не более 100 кадров, и сохранит каждый кадр как изображение, готовое к разметке.

Ограничения и оценка#

Сгенерированное видео всё ещё нарушает законы физики и принцип постоянства объектов. OpenAI сообщала, что Sora неточно моделирует такие взаимодействия, как разбивание стекла, а сгенерированные объекты могут проходить друг сквозь друга, появляться из ниоткуда или исчезать за перекрывающим их объектом. Вычислительные затраты растут с увеличением разрешения и длительности, поэтому большинство моделей генерирует ролики длиной в несколько секунд и продлевает их поэтапно. Вместо одной метрики распределения — расстояния Фреше для видео, аналога расстояния Фреше—Инсепшн (FID) для видео — теперь используют наборы тестов, такие как VBench, оценивающий 16 параметров, от согласованности объекта до соответствия запросу. Реалистичные результаты также позволяют создавать дипфейки, поэтому поставщики маркируют сгенерированные видео с помощью водяных знаков ИИ и учётных данных о содержимом: Google встраивает невидимый водяной знак SynthID в каждое видео Veo.

Изучи решения

Компьютерное зрение в спорте

Компьютерное зрение в спорте

Узнай, как Ultralytics YOLO обеспечивает компьютерное зрение в спорте: отслеживание игроков и мяча, аналитика результатов, полезные выводы для тренеров и реабилитация спортсменов.
Подробнее
Компьютерное зрение для аэросъёмки

Компьютерное зрение для аэросъёмки

Превращай снимки с дронов и аэрофотоснимки в полезные данные в реальном времени для сельского хозяйства, аквакультуры, охраны природы и геопространственного анализа с Ultralytics YOLO.
Подробнее
Компьютерное зрение в аэрокосмической отрасли

Компьютерное зрение в аэрокосмической отрасли

Применяй компьютерное зрение в аэрокосмической отрасли с Ultralytics YOLO: для осмотра самолётов, обнаружения посторонних предметов на взлётно-посадочных полосах, наземного обслуживания аэропортов и выявления дефектов композитных материалов.
Подробнее
Компьютерное зрение в сфере безопасности

Компьютерное зрение в сфере безопасности

Защити любой объект с помощью моделей Ultralytics YOLO. ИИ на базе компьютерного зрения обеспечивает мониторинг периметра, обнаружение угроз, распознавание номерных знаков и безопасность на рабочем месте.
Подробнее
Компьютерное зрение в робототехнике

Компьютерное зрение в робототехнике

Создавай более интеллектуальные машины с моделями Ultralytics YOLO. ИИ на базе компьютерного зрения в робототехнике обеспечивает автономную навигацию, восприятие, отслеживание объектов и управление в реальном времени.
Подробнее
Компьютерное зрение в логистике

Компьютерное зрение в логистике

Оптимизируй логистику с моделями Ultralytics YOLO. Визуальный AI обеспечивает проверку посылок, сортировку, отслеживание транспорта и мониторинг безопасности на складе в реальном времени.
Подробнее
Компьютерное зрение в розничной торговле

Компьютерное зрение в розничной торговле

Переосмысли розничную торговлю с моделями Ultralytics YOLO. Визуальный AI обеспечивает отслеживание запасов, мониторинг полок, управление очередями и более глубокое понимание поведения покупателей.
Подробнее
Компьютерное зрение в здравоохранении

Компьютерное зрение в здравоохранении

Создавай решения для здравоохранения с моделями Ultralytics YOLO. Визуальный AI в здравоохранении ускоряет медицинскую визуализацию, улучшает диагностику и мониторинг пациентов.
Подробнее
Компьютерное зрение в производстве

Компьютерное зрение в производстве

Оптимизируй производство с моделями Ultralytics YOLO. Компьютерное зрение на базе ИИ обеспечивает контроль качества, обнаружение дефектов, контроль использования СИЗ и автоматизацию сборочных линий.
Подробнее
Компьютерное зрение в автомобильной отрасли

Компьютерное зрение в автомобильной отрасли

Применяй компьютерное зрение в автомобильной отрасли с моделями Ultralytics YOLO. Компьютерное зрение на базе ИИ повышает безопасность дорожного движения, улучшает помощь водителю и автоматизацию автомобилей, делая дороги умнее.
Подробнее
Компьютерное зрение в сельском хозяйстве

Компьютерное зрение в сельском хозяйстве

Внедряй ИИ для компьютерного зрения в умное сельское хозяйство с моделями Ultralytics YOLO. Используй их для мониторинга посевов, отслеживания скота и точного земледелия, чтобы повысить урожайность и эффективность.
Подробнее

Давай вместе строить будущее ИИ!

Начни свой путь в будущее машинного обучения