Video Generation
La generación de vídeo consiste en sintetizar nuevos clips de vídeo a partir de texto, imágenes o metraje existente mediante modelos generativos que mantienen la coherencia del movimiento a lo largo del tiempo.
La generación de vídeo utiliza modelos de IA generativa para sintetizar vídeos nuevos: secuencias de fotogramas cuyos objetos, iluminación y movimiento mantienen la coherencia de un fotograma a otro. Un modelo puede partir de una instrucción de texto, una imagen fija que animar, un clip existente que retocar o ampliar, o fotogramas anteriores más acciones, como en los modelos del mundo. A diferencia de una única imagen generada, un clip de cinco segundos a 24 fotogramas por segundo contiene 120 imágenes que deben ser coherentes entre sí. Los errores que pasarían inadvertidos en un solo fotograma, como que una mano cambie el número de dedos, aparecen como parpadeos o deformaciones al reproducir los fotogramas. La comprensión de vídeo y el seguimiento de objetos operan en sentido contrario: analizan grabaciones existentes.
En menos de una década, el campo pasó de crear clips diminutos a generar vídeos de varios minutos. En 2016, el VGAN de Carl Vondrick, Hamed Pirsiavash y Antonio Torralba, una red generativa antagónica, producía aproximadamente un segundo de vídeo de 64×64 al generar por separado un fondo estático y un primer plano en movimiento. Jonathan Ho y sus colegas de Google extendieron los modelos de difusión al vídeo en abril de 2022; ese otoño llegaron Make-A-Video, de Meta, e Imagen Video, de Google. Sora, de OpenAI, cuya vista previa se presentó en febrero de 2024, generaba clips de hasta un minuto. Los modelos de pesos abiertos, como HunyuanVideo, de Tencent (diciembre de 2024), y Wan 2.1, de Alibaba (febrero de 2025), permitieron ejecutar y ajustar localmente la misma arquitectura.
Cómo funcionan los modelos de generación de vídeo#
La mayoría de los sistemas actuales son modelos de difusión latente con tres componentes. Un autocodificador de vídeo comprime el clip tanto espacial como temporalmente en un tensor latente mucho más pequeño, ya que eliminar el ruido de los píxeles sin procesar de cientos de fotogramas sería demasiado costoso. Una red de eliminación de ruido, que hoy suele ser un transformador de difusión (DiT), divide ese espacio latente en parches espaciotemporales, las unidades con las que trabaja Sora, de OpenAI, y elimina el ruido paso a paso. La atención conecta cada parche con los de otros fotogramas para que el sujeto mantenga su forma al moverse. Después, el decodificador del autocodificador convierte el espacio latente limpio de nuevo en fotogramas.
Los modelos anteriores recurrían a enfoques menos costosos para lograr la coherencia temporal. Muchos incorporaban capas de atención temporal, que comparan la misma ubicación entre fotogramas, en una U-Net de texto a imagen preentrenada, de modo que la red reutilizaba lo que ya sabía sobre la apariencia y solo aprendía el movimiento. Imagen Video encadenaba un modelo base con modelos independientes de superresolución espacial y temporal que aumentaban por etapas la resolución y la frecuencia de fotogramas. Lumiere, de Google (2024), generaba todo el clip en una sola pasada con una U-Net espaciotemporal y sostenía que las cascadas que primero generan fotogramas clave muy separados en el tiempo tienen dificultades para mantener la coherencia global del movimiento. El vídeo largo o interactivo suele generarse de forma autorregresiva, fragmento a fragmento, condicionando cada fragmento a los fotogramas anteriores, una configuración para la que se entrenan métodos como el forzamiento de difusión.
Tipos de generación de vídeo#
- Texto a vídeo: Genera un clip solo a partir de una instrucción escrita.
- Imagen a vídeo: Anima una imagen fija y la conserva como primer fotograma, lo que permite controlar la composición y el sujeto.
- Vídeo a vídeo: Cambia el estilo, edita o amplía un clip existente y conserva su movimiento; es una herramienta esencial para la edición de vídeo con IA.
- Audio y vídeo juntos: Veo 3, de Google (mayo de 2025), y Sora 2, de OpenAI (septiembre de 2025), generan diálogos, efectos de sonido y música sincronizados con la imagen.
- Modelos del mundo: Predicen los siguientes fotogramas a partir de los actuales y de una acción, como una orden de dirección o el movimiento de un brazo robótico, para que el vídeo responda al control.
Aplicaciones#
Los equipos de cine y publicidad utilizan generadores como Veo, de Google DeepMind, y Movie Gen, de Meta para la previsualización y para crear planos que serían costosos de filmar, dentro de una transformación más amplia hacia la IA en la producción cinematográfica. Los desarrolladores de IA física generan secuencias de conducción y robótica con sucesos poco frecuentes: Cosmos, los modelos fundacionales del mundo de NVIDIA lanzados en enero de 2025, produce vídeos para entrenar vehículos autónomos y robots, y GAIA-1, de Wayve, genera escenas de conducción condicionadas por texto y acciones del vehículo. Los clips generados se convierten en datos sintéticos para los modelos de percepción cuando se etiquetan sus fotogramas. Cuando un clip generado llega a un conjunto de datos de la Plataforma Ultralytics, se muestrea a 1 fotograma por segundo, hasta un máximo de 100 fotogramas, y cada uno se guarda como imagen lista para anotar.
Limitaciones y evaluación#
El vídeo generado aún incumple las leyes físicas y la permanencia de los objetos. OpenAI ha declarado que Sora no modela con precisión interacciones como la rotura de un cristal, y los objetos generados pueden atravesarse, aparecer de la nada o desaparecer detrás de un oclusor. El coste computacional aumenta con la resolución y la duración, por lo que la mayoría de los modelos generan clips de unos segundos y los amplían por etapas. La evaluación pasó de una única puntuación de distribución, Fréchet Video Distance, la métrica de vídeo equivalente a Fréchet Inception Distance (FID), a baterías de pruebas como VBench, que puntúa 16 dimensiones, desde la coherencia del sujeto hasta la fidelidad a la instrucción. Los resultados realistas también permiten crear ultrafalsificaciones, por lo que los proveedores marcan los vídeos generados con marcas de agua de IA y Credenciales de contenido: Google inserta una marca de agua SynthID invisible en todos los vídeos de Veo.










