Video Understanding

La comprensión de vídeo es el campo de la visión artificial que interpreta lo que sucede en un vídeo a lo largo del tiempo: qué objetos y personas aparecen, qué hacen, cuándo empiezan y terminan los acontecimientos y cómo un acontecimiento conduce a otro. El reconocimiento de imágenes analiza cada fotograma por separado, mientras que los modelos de comprensión de vídeo analizan el movimiento y el orden temporal, de los que dependen muchas preguntas. Un solo fotograma muestra a una persona a medio sentarse en una silla; solo los fotogramas de alrededor permiten saber si se está sentando o levantando. El campo abarca desde etiquetar clips cortos hasta responder preguntas abiertas sobre horas de grabación.

Tareas principales#

• Reconocimiento de acciones: Asigna una etiqueta, como «flexión» o «caída», a un clip corto recortado.
• Localización temporal de acciones: Encuentra cuándo empieza y termina cada acción en un vídeo largo sin recortar; la detección espaciotemporal de acciones también delimita a cada actor en cada fotograma.
• Seguimiento de objetos: Sigue cada objeto entre fotogramas con un ID persistente, la base para el recuento, la medición de velocidad y el análisis de trayectorias.
• Segmentación de vídeo: Genera máscaras de píxeles para objetos o regiones de la escena que se mantienen coherentes de un fotograma a otro.
• Subtitulado y respuesta a preguntas sobre vídeos: Describe un clip con texto o responde a preguntas como «¿qué hizo el conductor antes de que se detuviera el coche?».
• Anclaje temporal: Encuentra el momento que corresponde a una frase, como «el portero atrapa el balón»; esta tarea también se denomina recuperación de momentos.
• Detección de anomalías: Señala acontecimientos inusuales, como una caída, una pelea o un vehículo que circula en sentido contrario.

Cómo funcionan los modelos de vídeo#

Los modelos de vídeo deben captar tanto el aspecto, es decir, cómo son los objetos, como el movimiento, es decir, cómo cambian. Las redes de dos flujos procesaban los fotogramas RGB y el flujo óptico en ramas separadas; las redes neuronales convolucionales (CNNs) 3D aplican convoluciones conjuntamente a la altura, la anchura y el tiempo; y el módulo de desplazamiento temporal permite a las CNN 2D modelar el tiempo sin coste computacional adicional, al desplazar parte de los canales de cada capa a los fotogramas vecinos. Los transformers de vídeo aplican autoatención a parches espaciotemporales, y TimeSformer redujo el coste al aplicar atención al tiempo y al espacio en pasos separados. El preentrenamiento autosupervisado con vídeos sin etiquetar produce codificadores sólidos de propósito general: el modelo V-JEPA 2 de Meta aprendió a partir de más de un millón de horas de vídeos de Internet prediciendo las representaciones de regiones enmascaradas y alcanzó una precisión top-1 del 77,3 % en Something-Something v2, un benchmark de acciones entre manos y objetos que se diferencian sobre todo por el movimiento. Los modelos de lenguaje de vídeo muestrean fotogramas, codifican cada uno como tokens visuales y los envían a un modelo de lenguaje grande (LLM) que responde a preguntas con texto.

El resultado que necesita un sistema determina en gran medida cuál de estas familias de modelos utiliza:

Acontecimientos a partir de las trayectorias de objetos#

Muchos sistemas prácticos comprenden los vídeos razonando sobre las trayectorias: un detector encuentra objetos en cada fotograma, un rastreador los vincula en trayectorias y unas reglas o modelos convierten las trayectorias en acontecimientos, como entrar en una zona, cruzar una línea o detenerse demasiado tiempo. La solución de recuento de objetos de Ultralytics funciona así con el seguimiento de YOLO26: cuenta cada objeto seguido una sola vez cuando su trayectoria cruza una línea y registra la dirección a partir de sus posiciones en fotogramas consecutivos:

import cv2
from ultralytics import solutions

# Count people (COCO class 0) crossing a horizontal line through the middle of the 640x360 frame
counter = solutions.ObjectCounter(model="yolo26n.pt", region=[(0, 180), (640, 180)], classes=[0])

cap = cv2.VideoCapture("https://github.com/ultralytics/assets/releases/download/v0.0.0/solutions_ci_demo.mp4")
while True:
    success, frame = cap.read()
    if not success:
        break
    results = counter(frame)

# A crossing and its direction come from each person's track, so they exist only across frames
print(f"Crossed moving down: {results.in_count}, moving up: {results.out_count}")

Los dos recuentos describen acontecimientos que no aparecen en ningún fotograma aislado, ya que para distinguir a una persona que baja caminando de otra que sube caminando hacen falta al menos dos posiciones de esa misma persona seguida.

Comprensión de vídeo frente a términos relacionados#

• Reconocimiento de imágenes: Clasifica o detecta contenido en imágenes individuales. Si se ejecuta en cada fotograma de un vídeo, produce resultados por fotograma sin reconocer identidades ni tener en cuenta el movimiento o el orden.
• Seguimiento de múltiples objetos (MOT): Elemento básico de la comprensión de vídeo que mantiene las identidades entre fotogramas sin interpretar qué hacen los objetos.
• Generación de vídeo: Crea vídeos nuevos a partir de texto o imágenes, en el sentido inverso, aunque ambas tareas se basan en modelos de cómo cambian las escenas con el tiempo.
• IA multimodal: Combina vídeo con audio, subtítulos u otros datos, algo útil cuando la banda sonora o el habla contienen la información clave.

Aplicaciones#

• Análisis deportivo: Sigue a los jugadores y el balón para medir la velocidad, la posesión y las formaciones, y encontrar jugadas destacadas en grabaciones de partidos completos.
• Tráfico y ciudades inteligentes: Cuenta vehículos y peatones, mide velocidades y detecta vehículos que circulan en sentido contrario o están detenidos.
• Comercio minorista y supervisión de seguridad: Mide la longitud de las colas, señala caídas en residencias y detecta a personas que entran en zonas restringidas.
• Medios y moderación de contenido: Indexa grandes bibliotecas de vídeo para facilitar las búsquedas y señala las cargas que infringen las políticas.
• Robótica y vehículos autónomos: Predicen hacia dónde se moverán los peatones y otros vehículos.

Retos#

El vídeo multiplica el coste de cada imagen: un minuto a 30 fotogramas por segundo contiene 1.800 fotogramas, así que los modelos suelen muestrear de forma dispersa, a menudo entre 8 y 64 fotogramas por clip, con el riesgo de pasar por alto acontecimientos breves. Los vídeos largos exigen mucha memoria y capacidad de contexto, y etiquetar acciones con tiempos precisos de inicio y fin lleva mucho más que etiquetar imágenes. La API Gemini de Google muestrea el vídeo a un fotograma por segundo y utiliza unos 100 tokens por segundo de vídeo con su resolución multimedia baja predeterminada; por eso, sus modelos con una ventana de contexto de un millón de tokens pueden procesar hasta tres horas de vídeo, o una hora en alta resolución.