AI Video Editing

La edición de vídeo con IA consiste en utilizar el aprendizaje automático para automatizar o ayudar a cortar, ordenar y modificar metraje grabado. Los modelos transcriben diálogos, encuentran los límites entre planos, siguen a los sujetos por la escena, los separan del fondo y generan píxeles de sustitución. Así, tareas que antes requerían horas de trabajo fotograma a fotograma —como subtitular una entrevista o adaptar un vídeo apaisado a la pantalla de un móvil— ahora llevan minutos. El término abarca tanto las funciones de asistencia integradas en los programas tradicionales de edición como las herramientas totalmente automáticas que convierten grabaciones en bruto en clips terminados.

Qué tareas cubre la IA en una edición#

Programas de edición como Adobe Premiere Pro, DaVinci Resolve y el editor Descript, que prioriza las transcripciones, incorporan muchas de estas funciones:

• Edición mediante voz a texto: Una transcripción sincronizada con la línea de tiempo permite que el editor elimine una frase del texto y suprima el metraje correspondiente.
• Subtítulos: La misma transcripción se convierte en un borrador de subtítulos que los editores revisan para comprobar que la redacción, la identificación de los hablantes y la sincronización sean correctas.
• Detección de escenas: Los modelos localizan los cortes en una grabación larga o en un archivo ya editado y la dividen en planos individuales.
• Reencuadre automático: El seguimiento mantiene al sujeto principal dentro de un recorte vertical o cuadrado a medida que se mueve, y convierte un máster panorámico en versiones para redes sociales.
• Enmascaramiento y eliminación de objetos: La segmentación aísla a una persona o un objeto para poder aplicarles corrección de color por separado o eliminarlos, y el inpainting rellena el hueco de forma coherente de un fotograma a otro.
• Momentos destacados mediante el reconocimiento de acciones: Los modelos detectan goles, mates y otras jugadas clave, que las cadenas deportivas utilizan para preparar vídeos de momentos destacados en cuestión de minutos.
• Cámara lenta mediante interpolación de fotogramas: Los modelos sintetizan fotogramas intermedios para ralentizar metraje grabado a velocidad normal sin tirones.
• Limpieza de audio: Los modelos de mejora de voz eliminan el ruido de fondo y el eco de la sala de los diálogos grabados en condiciones imperfectas.
• Censura para proteger la privacidad de los datos: Se detectan y difuminan rostros, personas o matrículas antes de compartir el metraje.

Los modelos de visión detrás de estas funciones#

La mayoría de las funciones de edición visual encadenan tres tareas de visión artificial. La detección de objetos encuentra cada sujeto en un fotograma y dibuja una caja delimitadora alrededor. El seguimiento de objetos vincula esas detecciones entre fotogramas mediante ID estables, lo que permite que el cambio de encuadre o el desenfoque sigan asociados a la misma persona mientras se mueve por el plano. Cuando un efecto necesita el contorno exacto del sujeto, la segmentación de instancias proporciona una máscara a nivel de píxel para cada objeto. Los tres son modelos de comprensión de vídeo, que describen el metraje sin modificarlo; una función de edición los ejecuta primero para decidir qué cambiar.

Los modelos generativos se encargan del resto. Los modelos de inpainting eliminan objetos no deseados, y los modelos de generación de vídeo cambian el estilo de un plano, lo amplían unos segundos o crean metraje que nunca existió. La edición automatizada falla de formas predecibles: con movimientos rápidos y desenfoque de movimiento, cuando los sujetos se cruzan, en los cortes de escena donde debería terminar un seguimiento y con sujetos pequeños o parcialmente visibles. Como estas mismas técnicas pueden alterar lo que parece mostrar una grabación, también generan deepfakes, y los editores pueden adjuntar Content Credentials que registran las herramientas utilizadas para modificar un archivo.

Automatización de la censura#

La censura es una de las ediciones más sencillas de automatizar para los equipos que publican grabaciones de eventos, calles o lugares de trabajo. La solución de desenfoque de objetos de Ultralytics ejecuta un detector YOLO26 con seguimiento en cada fotograma y desenfoca cada caja de las clases seleccionadas; en el modelo preentrenado con COCO, la clase 0 es «persona»:

import cv2
from ultralytics import solutions

cap = cv2.VideoCapture("https://github.com/ultralytics/assets/releases/download/v0.0.0/decelera_portrait_min.mov")
w = int(cap.get(cv2.CAP_PROP_FRAME_WIDTH))
h = int(cap.get(cv2.CAP_PROP_FRAME_HEIGHT))
fps = cap.get(cv2.CAP_PROP_FPS)
writer = cv2.VideoWriter("blurred.mp4", cv2.VideoWriter_fourcc(*"mp4v"), fps, (w, h))

# Detecta personas (clase 0 de COCO) con YOLO26 y difumina todas las cajas en cada fotograma
blurrer = solutions.ObjectBlurrer(model="yolo26n.pt", classes=[0])
while cap.isOpened():
    success, frame = cap.read()
    if not success:
        break
    results = blurrer(frame)
    writer.write(results.plot_im)

cap.release()
writer.release()

El resultado, blurred.mp4, muestra a todas las personas detectadas difuminadas y delimitadas por una caja con etiqueta para facilitar la revisión, y blur_ratio (0.5 de forma predeterminada) establece la intensidad del desenfoque. OpenCV solo escribe los fotogramas del vídeo, por lo que hay que volver a añadir el audio original con un editor o FFmpeg. Es más probable que se pasen por alto las personas cortadas por el borde del fotograma o vistas desde ángulos poco habituales, y en cada fotograma con una detección omitida esa persona aparece sin difuminar en el resultado.