Text-to-Video

El texto a vídeo consiste en generar un clip de vídeo a partir de una instrucción en lenguaje natural, como «un zorro rojo trota sobre nieve recién caída al amanecer, en un plano de seguimiento bajo». Es la rama de la generación de vídeo cuya única entrada necesaria es el texto, y amplía la generación de texto a imagen con un eje temporal: el modelo debe representar los objetos, el estilo y los movimientos de cámara indicados en la instrucción, y también inventar movimientos que esta solo da a entender, como el movimiento de las patas del zorro al trotar. Entre los primeros modelos de investigación de 2022 se encontraban CogVideo, de la Universidad de Tsinghua, un Transformer de 9.400 millones de parámetros, y Make-A-Video, de Meta, que aprendió el aspecto de las cosas a partir de pares de texto e imagen y su movimiento a partir de vídeos sin etiquetar, por lo que no necesitó datos emparejados de texto y vídeo. Sora, de OpenAI, presentado en febrero de 2024, generaba clips de alta resolución de hasta un minuto; en octubre de 2024 llegó Meta Movie Gen, y la familia Veo de Google DeepMind llegó a Veo 3 en mayo de 2025, que, al igual que Sora 2 de OpenAI, genera diálogo y sonido sincronizados con la imagen.

Cómo condiciona el texto un modelo de vídeo#

Un modelo de lenguaje congelado, como un codificador T5, convierte la instrucción en una secuencia de incrustaciones de tokens. El modelo de vídeo, normalmente un Transformer de difusión que trabaja con un vídeo latente comprimido, procesa esas incrustaciones mediante atención cruzada en cada paso de eliminación de ruido, de modo que cada fragmento espacio-temporal del clip pueda atender a las palabras que lo describen. La generación empieza con ruido aleatorio y lo elimina paso a paso, como en otros modelos de difusión, hasta que un decodificador convierte el espacio latente limpio en fotogramas.

La adherencia a la instrucción se ajusta mediante la guía sin clasificador, presentada por Jonathan Ho y Tim Salimans en 2022. Durante el entrenamiento, se omite la instrucción en una parte de los ejemplos, de modo que una red aprende predicciones tanto condicionadas como no condicionadas; en cada paso de muestreo, el modelo calcula ambas y desplaza el resultado para alejarlo de la predicción no condicionada según una escala de guía. Las escalas más altas siguen la instrucción de forma más literal, a costa de la variedad y de unos colores naturales.

El texto con el que aprende un modelo importa tanto como su arquitectura. La mayoría de los vídeos de entrenamiento no tienen descripción o incluyen una descripción breve y ruidosa, así que OpenAI volvió a generar los pies de foto de los clips de entrenamiento de Sora con un modelo de subtitulado específico que redacta descripciones detalladas, y utiliza GPT para ampliar las instrucciones breves de los usuarios al mismo estilo detallado durante la generación. Este enriquecimiento de instrucciones reduce la diferencia entre cómo redactan las instrucciones las personas y los pies de foto con los que se entrenó el modelo.

Usos#

• Previsualización cinematográfica: Los directores y diseñadores de videojuegos convierten una escena escrita en un clip preliminar para probar los ángulos de cámara, la iluminación y el ritmo antes del rodaje.
• Marketing y publicidad: Las marcas generan fotografías de productos y clips para redes sociales en muchas variantes a partir de un único guion.
• Educación y vídeos explicativos: El profesorado y las editoriales ilustran procesos difíciles de filmar, como escenas históricas o la división celular.
• Datos sintéticos: Las instrucciones que describen sucesos poco frecuentes, como un ciervo cruzando una autopista de noche, generan metraje para entrenar modelos de percepción una vez etiquetados los fotogramas.

Modos de fallo y evaluación#

Los modelos de texto a vídeo fallan sobre todo en los aspectos de una instrucción que requieren una correspondencia precisa. Las cantidades varían («tres perros» se convierte en dos o cuatro), los atributos se intercambian entre objetos («un coche rojo junto a un camión azul»), las relaciones espaciales se invierten y el texto escrito de la escena resulta ilegible. Con el tiempo, los sujetos se transforman en otras formas, aparecen de la nada o desaparecen tras objetos que los ocultan, y las interacciones físicas fallan: OpenAI ha declarado que Sora no modela con precisión la rotura de cristales. Estos errores son una forma de alucinación en vídeo.

VBench puntúa por separado estos fallos, con dimensiones para la clase de objeto, los objetos múltiples, el color, la relación espacial, la acción humana y la coherencia de los sujetos; la familia de métricas de distribución distancia de Inception de Fréchet (FID) mide el realismo general. La detección de objetos es la herramienta fundamental para comprobar el contenido: ejecutar YOLO26 en modo de seguimiento sobre un clip generado asigna un ID persistente a cada objeto detectado, de modo que, si un clip cuya instrucción menciona dos perros acumula cinco ID de perro, significa que los sujetos han desaparecido y reaparecido o han cambiado de forma a mitad de la toma.

Como los clips generados pueden mostrar a personas reales haciendo cosas que nunca hicieron, la generación de vídeo a partir de texto plantea las mismas preocupaciones que las ultrafalsificaciones y la ética de la IA en sentido amplio. Los proveedores bloquean las instrucciones que mencionan a figuras públicas, añaden marcas de agua visibles y señales de marcado de agua de IA, e incorporan Credenciales de contenido; los vídeos de Sora 2 de OpenAI llevan tanto una marca de agua visible y animada como metadatos C2PA.