Licencia YOLO
Volver al glosario de Ultralytics

Video Generation

La generación de vídeo consiste en sintetizar nuevos clips de vídeo a partir de texto, imágenes o metraje existente mediante modelos generativos que mantienen la coherencia del movimiento a lo largo del tiempo.

La generación de vídeo utiliza modelos de IA generativa para sintetizar vídeos nuevos: secuencias de fotogramas cuyos objetos, iluminación y movimiento mantienen la coherencia de un fotograma a otro. Un modelo puede partir de una instrucción de texto, una imagen fija que animar, un clip existente que retocar o ampliar, o fotogramas anteriores más acciones, como en los modelos del mundo. A diferencia de una única imagen generada, un clip de cinco segundos a 24 fotogramas por segundo contiene 120 imágenes que deben ser coherentes entre sí. Los errores que pasarían inadvertidos en un solo fotograma, como que una mano cambie el número de dedos, aparecen como parpadeos o deformaciones al reproducir los fotogramas. La comprensión de vídeo y el seguimiento de objetos operan en sentido contrario: analizan grabaciones existentes.

En menos de una década, el campo pasó de crear clips diminutos a generar vídeos de varios minutos. En 2016, el VGAN de Carl Vondrick, Hamed Pirsiavash y Antonio Torralba, una red generativa antagónica, producía aproximadamente un segundo de vídeo de 64×64 al generar por separado un fondo estático y un primer plano en movimiento. Jonathan Ho y sus colegas de Google extendieron los modelos de difusión al vídeo en abril de 2022; ese otoño llegaron Make-A-Video, de Meta, e Imagen Video, de Google. Sora, de OpenAI, cuya vista previa se presentó en febrero de 2024, generaba clips de hasta un minuto. Los modelos de pesos abiertos, como HunyuanVideo, de Tencent (diciembre de 2024), y Wan 2.1, de Alibaba (febrero de 2025), permitieron ejecutar y ajustar localmente la misma arquitectura.

Cómo funcionan los modelos de generación de vídeo#

La mayoría de los sistemas actuales son modelos de difusión latente con tres componentes. Un autocodificador de vídeo comprime el clip tanto espacial como temporalmente en un tensor latente mucho más pequeño, ya que eliminar el ruido de los píxeles sin procesar de cientos de fotogramas sería demasiado costoso. Una red de eliminación de ruido, que hoy suele ser un transformador de difusión (DiT), divide ese espacio latente en parches espaciotemporales, las unidades con las que trabaja Sora, de OpenAI, y elimina el ruido paso a paso. La atención conecta cada parche con los de otros fotogramas para que el sujeto mantenga su forma al moverse. Después, el decodificador del autocodificador convierte el espacio latente limpio de nuevo en fotogramas.

Los modelos anteriores recurrían a enfoques menos costosos para lograr la coherencia temporal. Muchos incorporaban capas de atención temporal, que comparan la misma ubicación entre fotogramas, en una U-Net de texto a imagen preentrenada, de modo que la red reutilizaba lo que ya sabía sobre la apariencia y solo aprendía el movimiento. Imagen Video encadenaba un modelo base con modelos independientes de superresolución espacial y temporal que aumentaban por etapas la resolución y la frecuencia de fotogramas. Lumiere, de Google (2024), generaba todo el clip en una sola pasada con una U-Net espaciotemporal y sostenía que las cascadas que primero generan fotogramas clave muy separados en el tiempo tienen dificultades para mantener la coherencia global del movimiento. El vídeo largo o interactivo suele generarse de forma autorregresiva, fragmento a fragmento, condicionando cada fragmento a los fotogramas anteriores, una configuración para la que se entrenan métodos como el forzamiento de difusión.

Tipos de generación de vídeo#

  • Texto a vídeo: Genera un clip solo a partir de una instrucción escrita.
  • Imagen a vídeo: Anima una imagen fija y la conserva como primer fotograma, lo que permite controlar la composición y el sujeto.
  • Vídeo a vídeo: Cambia el estilo, edita o amplía un clip existente y conserva su movimiento; es una herramienta esencial para la edición de vídeo con IA.
  • Audio y vídeo juntos: Veo 3, de Google (mayo de 2025), y Sora 2, de OpenAI (septiembre de 2025), generan diálogos, efectos de sonido y música sincronizados con la imagen.
  • Modelos del mundo: Predicen los siguientes fotogramas a partir de los actuales y de una acción, como una orden de dirección o el movimiento de un brazo robótico, para que el vídeo responda al control.

Aplicaciones#

Los equipos de cine y publicidad utilizan generadores como Veo, de Google DeepMind, y Movie Gen, de Meta para la previsualización y para crear planos que serían costosos de filmar, dentro de una transformación más amplia hacia la IA en la producción cinematográfica. Los desarrolladores de IA física generan secuencias de conducción y robótica con sucesos poco frecuentes: Cosmos, los modelos fundacionales del mundo de NVIDIA lanzados en enero de 2025, produce vídeos para entrenar vehículos autónomos y robots, y GAIA-1, de Wayve, genera escenas de conducción condicionadas por texto y acciones del vehículo. Los clips generados se convierten en datos sintéticos para los modelos de percepción cuando se etiquetan sus fotogramas. Cuando un clip generado llega a un conjunto de datos de la Plataforma Ultralytics, se muestrea a 1 fotograma por segundo, hasta un máximo de 100 fotogramas, y cada uno se guarda como imagen lista para anotar.

Limitaciones y evaluación#

El vídeo generado aún incumple las leyes físicas y la permanencia de los objetos. OpenAI ha declarado que Sora no modela con precisión interacciones como la rotura de un cristal, y los objetos generados pueden atravesarse, aparecer de la nada o desaparecer detrás de un oclusor. El coste computacional aumenta con la resolución y la duración, por lo que la mayoría de los modelos generan clips de unos segundos y los amplían por etapas. La evaluación pasó de una única puntuación de distribución, Fréchet Video Distance, la métrica de vídeo equivalente a Fréchet Inception Distance (FID), a baterías de pruebas como VBench, que puntúa 16 dimensiones, desde la coherencia del sujeto hasta la fidelidad a la instrucción. Los resultados realistas también permiten crear ultrafalsificaciones, por lo que los proveedores marcan los vídeos generados con marcas de agua de IA y Credenciales de contenido: Google inserta una marca de agua SynthID invisible en todos los vídeos de Veo.

Explora las soluciones

Visión artificial en el deporte

Visión artificial en el deporte

Descubre cómo Ultralytics YOLO impulsa la visión artificial en el deporte con el seguimiento de jugadores y balones, analíticas de rendimiento, información útil para entrenadores y rehabilitación de deportistas.
Más información
Visión artificial para imágenes aéreas

Visión artificial para imágenes aéreas

Convierte imágenes aéreas y de drones en información útil en tiempo real para la agricultura, la acuicultura, la conservación y el análisis geoespacial con Ultralytics YOLO.
Más información
Visión artificial en el sector aeroespacial

Visión artificial en el sector aeroespacial

Aplica la visión artificial en el sector aeroespacial con Ultralytics YOLO para inspeccionar aeronaves, detectar objetos extraños en pistas, gestionar operaciones en tierra y detectar defectos en materiales compuestos.
Más información
Visión artificial en seguridad

Visión artificial en seguridad

Protege todas tus instalaciones con los modelos Ultralytics YOLO. La IA visual permite supervisar perímetros, detectar amenazas, reconocer matrículas y mejorar la seguridad laboral.
Más información
Visión artificial en robótica

Visión artificial en robótica

Potencia máquinas más inteligentes con los modelos Ultralytics YOLO. La IA visual en robótica impulsa la navegación autónoma, la percepción, el seguimiento de objetos y el control en tiempo real.
Más información
Visión artificial en logística

Visión artificial en logística

Agiliza la logística con modelos Ultralytics YOLO. La IA visual permite inspeccionar paquetes, clasificarlos, realizar el seguimiento de vehículos y supervisar la seguridad del almacén en tiempo real.
Más información
Visión artificial en el comercio minorista

Visión artificial en el comercio minorista

Reinventa el comercio minorista con modelos Ultralytics YOLO. La IA visual permite realizar el seguimiento del inventario, supervisar estanterías, gestionar colas y obtener información más útil sobre los clientes.
Más información
Visión artificial en el sector sanitario

Visión artificial en el sector sanitario

Desarrolla soluciones sanitarias con modelos Ultralytics YOLO. La IA visual en el sector sanitario permite acelerar el diagnóstico por imagen, mejorar los diagnósticos y supervisar a los pacientes.
Más información
Visión artificial en la fabricación

Visión artificial en la fabricación

Optimiza la fabricación con modelos Ultralytics YOLO. La IA visual mejora el control de calidad, la detección de defectos, el cumplimiento de las normas de uso de EPI y la automatización de las líneas de montaje.
Más información
Visión artificial en la automoción

Visión artificial en la automoción

Aplica la visión artificial al sector de la automoción con modelos Ultralytics YOLO. La IA visual mejora la seguridad vial, la asistencia al conductor y la automatización de vehículos para lograr carreteras más inteligentes.
Más información
Visión artificial en la agricultura

Visión artificial en la agricultura

Incorpora la IA de visión a la agricultura inteligente con modelos Ultralytics YOLO. Impulsa la monitorización de cultivos, el seguimiento del ganado y la agricultura de precisión para obtener cosechas más abundantes e inteligentes.
Más información

¡Construyamos juntos el futuro de la IA!

Inicia tu recorrido hacia el futuro del aprendizaje automático