AI Video Editing

A edição de vídeo com IA é o uso de aprendizagem automática para automatizar ou auxiliar o trabalho de cortar, organizar e modificar imagens gravadas. Os modelos transcrevem diálogos, identificam limites de planos, acompanham objetos numa cena, separam-nos do fundo e geram pixels para substituí-los; assim, tarefas que antes exigiam horas de trabalho quadro a quadro, como legendar uma entrevista ou reenquadrar um vídeo de paisagem para a tela de um celular, agora levam minutos. O termo abrange tanto recursos de assistência em softwares tradicionais de edição quanto ferramentas totalmente automáticas que transformam gravações brutas em clipes finalizados.

O que a IA faz na edição#

Softwares de edição como Adobe Premiere Pro, DaVinci Resolve e Descript, um editor que prioriza a transcrição, incluem muitos desses recursos:

• Edição por voz para texto: Uma transcrição alinhada à linha do tempo permite que o editor apague uma frase do texto e remova as imagens correspondentes.
• Legendas: A mesma transcrição se transforma num rascunho de legendas, que os editores revisam para verificar a precisão do texto, a identificação de quem fala e a sincronização.
• Detecção de cenas: Os modelos encontram os cortes em uma gravação longa ou em um arquivo já editado e dividem-no em planos individuais.
• Reenquadramento automático: O rastreamento mantém o objeto principal dentro de um recorte vertical ou quadrado enquanto ele se move, transformando uma versão mestre widescreen em versões para plataformas sociais.
• Mascaramento e remoção de objetos: A segmentação isola uma pessoa ou um objeto para que possa receber uma correção de cor separada ou ser removido; o preenchimento de áreas faltantes preenche o espaço de forma consistente entre quadros.
• Melhores momentos com reconhecimento de ações: Os modelos identificam gols, enterradas e outras jogadas importantes, que os canais esportivos usam para montar compilações de melhores momentos minutos depois da ação.
• Câmera lenta com interpolação de quadros: Os modelos sintetizam quadros intermediários para que as imagens gravadas em velocidade normal possam ser desaceleradas sem trepidação.
• Limpeza de áudio: Modelos de aprimoramento de fala removem ruídos de fundo e eco do ambiente de diálogos gravados em condições imperfeitas.
• Desfoque para privacidade de dados: Rostos, pessoas ou placas de veículos são detetados e desfocados antes de as imagens serem compartilhadas.

Os modelos de visão por trás dos recursos#

A maioria dos recursos de edição visual encadeia três tarefas de visão computacional. A deteção de objetos localiza cada objeto num quadro e desenha uma caixa delimitadora em torno dele. O rastreamento de objetos vincula essas deteções entre quadros com IDs estáveis, permitindo que um reenquadramento ou desfoque continue associado à mesma pessoa enquanto ela atravessa o plano. Quando um efeito exige o contorno exato do objeto, a segmentação de instâncias fornece uma máscara em nível de pixel para cada objeto. As três são tarefas de compreensão de vídeo: os modelos descrevem as imagens sem alterá-las, e um recurso de edição os executa primeiro para decidir o que modificar.

Os modelos generativos fazem o resto. Modelos de preenchimento de áreas faltantes removem objetos indesejados, e os modelos de geração de vídeo mudam o estilo de um plano, prolongam-no por alguns segundos ou criam imagens que nunca existiram. As edições automatizadas falham de maneiras previsíveis: movimentos rápidos e desfoque de movimento, objetos que passam uns à frente dos outros, cortes de cena em que o rastreamento deveria terminar e objetos pequenos ou parcialmente visíveis. Como as mesmas técnicas podem alterar aquilo que uma gravação parece mostrar, também podem produzir deepfakes, e os editores podem anexar Credenciais de Conteúdo que registram quais ferramentas editaram um arquivo.

Automatização do desfoque#

O desfoque é uma das edições mais simples de automatizar para equipes que publicam imagens de eventos, ruas ou locais de trabalho. A solução de desfoque de objetos da Ultralytics executa um detector YOLO26 com rastreamento em cada quadro e desfoca cada caixa das classes escolhidas; a classe 0 no modelo pré-treinado com COCO é «pessoa»:

import cv2
from ultralytics import solutions

cap = cv2.VideoCapture("https://github.com/ultralytics/assets/releases/download/v0.0.0/decelera_portrait_min.mov")
w = int(cap.get(cv2.CAP_PROP_FRAME_WIDTH))
h = int(cap.get(cv2.CAP_PROP_FRAME_HEIGHT))
fps = cap.get(cv2.CAP_PROP_FPS)
writer = cv2.VideoWriter("blurred.mp4", cv2.VideoWriter_fourcc(*"mp4v"), fps, (w, h))

# Detetar pessoas (classe 0 do COCO) com YOLO26 e desfocar cada caixa em todos os quadros
blurrer = solutions.ObjectBlurrer(model="yolo26n.pt", classes=[0])
while cap.isOpened():
    success, frame = cap.read()
    if not success:
        break
    results = blurrer(frame)
    writer.write(results.plot_im)

cap.release()
writer.release()

O resultado, blurred.mp4, mostra todas as pessoas detetadas desfocadas e contornadas por uma caixa identificada para revisão, e blur_ratio (0.5 por padrão) define a intensidade do desfoque. O OpenCV grava apenas os quadros do vídeo, portanto, é preciso adicionar novamente o áudio original num editor ou com o FFmpeg. Pessoas cortadas pela borda do quadro ou vistas de ângulos incomuns são as mais propensas a não serem detetadas, e cada quadro em que uma deteção falha deixa essa pessoa sem desfoque no resultado.