Video Understanding

A compreensão de vídeo é o campo da visão computacional que interpreta o que acontece num vídeo ao longo do tempo: que objetos e pessoas estão presentes, o que fazem, quando começam e acabam os eventos e como um evento conduz a outro. O reconhecimento de imagens analisa cada fotograma isoladamente, enquanto os modelos de compreensão de vídeo modelam o movimento e a ordem temporal, elementos de que dependem muitas questões. Um único fotograma mostra uma pessoa a meio do movimento para se sentar numa cadeira; só os fotogramas à sua volta mostram se a pessoa se está a sentar ou a levantar. O campo abrange desde a classificação de clipes curtos até à resposta a perguntas abertas sobre horas de filmagem.

Tarefas principais#

• Reconhecimento de ações: Atribui um rótulo, como «flexão» ou «queda», a um clipe curto e editado.
• Localização temporal de ações: Encontra o início e o fim de cada ação num vídeo longo não editado; a deteção espaciotemporal de ações também delimita cada interveniente em cada fotograma.
• Rastreamento de objetos: Segue cada objeto pelos fotogramas com um ID persistente, servindo de base à contagem, à medição da velocidade e à análise de trajetórias.
• Segmentação de vídeo: Produz máscaras de píxeis para objetos ou regiões da cena que se mantêm consistentes de fotograma para fotograma.
• Geração de legendas e resposta a perguntas sobre vídeo: Descreve um clipe em texto ou responde a perguntas como «o que fez o condutor antes de o carro parar?»
• Ancoragem temporal: Encontra o momento correspondente a uma frase, como «o guarda-redes apanha a bola», numa tarefa também chamada recuperação de momentos.
• Deteção de anomalias: Assinala eventos invulgares, como uma queda, uma luta ou um veículo a circular no sentido errado.

Como funcionam os modelos de vídeo#

Os modelos de vídeo têm de captar a aparência, ou seja, o aspeto dos objetos, e o movimento, ou seja, as suas mudanças. As redes de dois fluxos processavam fotogramas RGB e fluxo ótico em ramos separados; as redes neurais convolucionais (CNNs) 3D aplicam convoluções em conjunto à altura, à largura e ao tempo; e o Módulo de Deslocamento Temporal permite que as CNNs 2D modelem o tempo sem computação adicional, deslocando parte dos canais de cada camada para fotogramas vizinhos. Os transformers de vídeo aplicam autoatenção em fragmentos espaciotemporais, e o TimeSformer tornou esta abordagem viável ao aplicar a atenção ao tempo e ao espaço em etapas separadas. O pré-treino autossupervisionado com vídeos não anotados produz codificadores robustos de finalidade geral: o V-JEPA 2 da Meta aprendeu com mais de 1 milhão de horas de vídeos da Internet ao prever as representações de regiões mascaradas e alcançou uma precisão top-1 de 77,3% no Something-Something v2, um benchmark de ações entre mãos e objetos que diferem sobretudo pelo movimento. Os modelos de linguagem de vídeo selecionam fotogramas, codificam cada um em tokens visuais e passam-nos a um modelo de linguagem de grande dimensão (LLM) que responde a perguntas em texto.

O resultado de que um sistema precisa determina, em grande medida, qual destas famílias de modelos utiliza:

Eventos a partir de trajetórias de objetos#

Muitos sistemas práticos compreendem vídeos analisando trajetórias: um detetor encontra objetos em cada fotograma, um rastreador liga-os em trajetórias e regras ou modelos convertem as trajetórias em eventos, como entrar numa zona, cruzar uma linha ou parar durante demasiado tempo. A solução de contagem de objetos do Ultralytics funciona desta forma com o rastreamento do YOLO26, contando cada objeto rastreado uma única vez quando a respetiva trajetória cruza uma linha e registando a direção com base nas posições do objeto em fotogramas consecutivos:

import cv2
from ultralytics import solutions

# Count people (COCO class 0) crossing a horizontal line through the middle of the 640x360 frame
counter = solutions.ObjectCounter(model="yolo26n.pt", region=[(0, 180), (640, 180)], classes=[0])

cap = cv2.VideoCapture("https://github.com/ultralytics/assets/releases/download/v0.0.0/solutions_ci_demo.mp4")
while True:
    success, frame = cap.read()
    if not success:
        break
    results = counter(frame)

# A crossing and its direction come from each person's track, so they exist only across frames
print(f"Crossed moving down: {results.in_count}, moving up: {results.out_count}")

As duas contagens descrevem eventos que não aparecem num único fotograma, pois para distinguir uma pessoa a descer de uma pessoa a subir são necessárias pelo menos duas posições da mesma pessoa rastreada.

Compreensão de vídeo e termos relacionados#

• Reconhecimento de imagens: Classifica ou deteta conteúdo em imagens individuais. Aplicá-lo a cada fotograma de um vídeo produz resultados por fotograma, sem noção de identidade, movimento ou ordem.
• Rastreamento de múltiplos objetos (MOT): Um dos elementos fundamentais da compreensão de vídeo, que mantém as identidades entre fotogramas sem interpretar o que os objetos estão a fazer.
• Geração de vídeo: Cria novos vídeos a partir de texto ou imagens, no sentido inverso, embora ambas as tarefas dependam de modelos sobre a forma como as cenas mudam ao longo do tempo.
• IA multimodal: Combina vídeo com áudio, legendas ou outros dados, o que é útil quando a banda sonora ou a fala contém a informação principal.

Aplicações#

• Análise desportiva: Rastreia jogadores e a bola para medir a velocidade, a posse de bola e as formações, e encontra os melhores momentos em gravações de jogos completos.
• Trânsito e cidades inteligentes: Conta veículos e peões, mede velocidades e deteta veículos a circular no sentido errado ou imobilizados.
• Monitorização do comércio a retalho e da segurança: Mede o comprimento das filas, assinala quedas em lares de idosos e deteta pessoas a entrar em zonas restritas.
• Moderação de conteúdos e meios de comunicação: Cria índices de grandes bibliotecas de vídeos para pesquisa e assinala carregamentos que violam as políticas.
• Robótica e veículos autónomos: Preveem os próximos movimentos de peões e de outros veículos.

Desafios#

O vídeo multiplica o custo de cada imagem: um minuto a 30 fotogramas por segundo contém 1.800 fotogramas, pelo que os modelos os selecionam de forma esparsa, muitas vezes entre 8 e 64 fotogramas por clipe, continuando ainda assim sujeitos ao risco de não detetar eventos breves. Os vídeos longos sobrecarregam a memória e o comprimento do contexto, e anotar ações com horas de início e fim precisas demora muito mais do que anotar imagens. A API Gemini da Google seleciona um fotograma por segundo de vídeo e utiliza cerca de 100 tokens por segundo de vídeo com a resolução multimédia baixa predefinida; assim, os modelos com uma janela de contexto de um milhão de tokens conseguem processar até três horas de vídeo, ou uma hora em alta resolução.