Video Understanding

La compréhension vidéo est le domaine de la vision par ordinateur qui interprète ce qui se passe dans une vidéo au fil du temps : quels objets et personnes sont présents, ce qu’ils font, quand les événements commencent et se terminent, et comment un événement en entraîne un autre. La reconnaissance d’images analyse chaque image isolément, tandis que les modèles de compréhension vidéo modélisent le mouvement et l’ordre temporel, essentiels pour répondre à de nombreuses questions. Une seule image montre une personne à mi-mouvement vers une chaise, et seules les images qui l’entourent permettent de savoir si elle s’assoit ou se lève. Le domaine va de l’étiquetage de courts extraits à la réponse à des questions ouvertes sur des heures de séquences vidéo.

Tâches principales#

• Reconnaissance d’actions : Attribue une étiquette, comme « pompe » ou « chute », à un court extrait vidéo découpé.
• Localisation temporelle des actions : Repère le début et la fin de chaque action dans une longue vidéo non découpée. La détection d’actions spatio-temporelles délimite également chaque acteur dans chaque image.
• Suivi d’objets : Suit chaque objet d’une image à l’autre à l’aide d’un identifiant persistant, ce qui permet de compter les objets, de mesurer leur vitesse et d’analyser leur trajectoire.
• Segmentation vidéo : Produit des masques de pixels pour les objets ou les régions de la scène, cohérents d’une image à l’autre.
• Légendage vidéo et questions-réponses : Décrit un extrait en texte ou répond à des questions comme « Qu’a fait le conducteur avant que la voiture s’arrête ? »
• Ancrage temporel : Repère le moment correspondant à une phrase, comme « le gardien attrape le ballon » ; cette tâche est également appelée recherche de moments.
• Détection d’anomalies : Signale les événements inhabituels, comme une chute, une bagarre ou un véhicule qui roule à contresens.

Fonctionnement des modèles vidéo#

Les modèles vidéo doivent saisir l’apparence, c’est-à-dire à quoi ressemblent les objets, et le mouvement, c’est-à-dire comment ils évoluent. Les réseaux à deux flux traitaient les images RVB et le flux optique dans des branches distinctes ; les réseaux neuronaux convolutifs (CNN) 3D effectuent des convolutions simultanément sur la hauteur, la largeur et le temps ; le module de décalage temporel ajoute la modélisation temporelle aux CNN 2D sans coût de calcul supplémentaire, en décalant une partie des canaux de chaque couche vers les images voisines. Les transformeurs vidéo appliquent l’auto-attention aux blocs spatio-temporels, et TimeSformer a rendu cette approche abordable en traitant l’attention temporelle et spatiale en deux étapes distinctes. Le préentraînement auto-supervisé sur des vidéos non annotées produit des encodeurs polyvalents performants : le modèle V-JEPA 2 de Meta a appris à partir de plus d’un million d’heures de vidéos Internet en prédisant les représentations des régions masquées, et a atteint une précision top-1 de 77,3 % sur Something-Something v2, un jeu de données de référence portant sur des actions de manipulation d’objets qui se distinguent principalement par leur mouvement. Les modèles vidéo-langage échantillonnent des images, encodent chacune d’elles en jetons visuels et les transmettent à un grand modèle de langage (LLM), qui répond aux questions en texte.

Le résultat attendu d’un système détermine en grande partie la famille de modèles qu’il utilise :

Événements déduits des trajectoires d’objets#

De nombreux systèmes pratiques comprennent les vidéos en raisonnant sur les trajectoires : un détecteur repère les objets dans chaque image, un traqueur les relie en trajectoires, puis des règles ou des modèles convertissent ces trajectoires en événements, comme l’entrée dans une zone, le franchissement d’une ligne ou un arrêt prolongé. La solution Ultralytics de comptage d’objets fonctionne ainsi avec le suivi de YOLO26 : elle compte chaque objet suivi une seule fois lorsque sa trajectoire franchit une ligne et enregistre la direction à partir de ses positions dans des images consécutives :

import cv2
from ultralytics import solutions

# Count people (COCO class 0) crossing a horizontal line through the middle of the 640x360 frame
counter = solutions.ObjectCounter(model="yolo26n.pt", region=[(0, 180), (640, 180)], classes=[0])

cap = cv2.VideoCapture("https://github.com/ultralytics/assets/releases/download/v0.0.0/solutions_ci_demo.mp4")
while True:
    success, frame = cap.read()
    if not success:
        break
    results = counter(frame)

# A crossing and its direction come from each person's track, so they exist only across frames
print(f"Crossed moving down: {results.in_count}, moving up: {results.out_count}")

Les deux décomptes décrivent des événements qu’aucune image isolée ne montre, car distinguer une personne qui descend d’une personne qui monte nécessite au moins deux positions de cette même personne suivie.

Compréhension vidéo et termes connexes#

• Reconnaissance d’images : Classe le contenu d’images isolées ou y détecte des objets. L’appliquer à chaque image d’une vidéo fournit des résultats image par image, sans notion d’identité, de mouvement ou d’ordre.
• Suivi multi-objets (MOT) : Brique de base de la compréhension vidéo qui conserve les identités d’une image à l’autre sans interpréter les actions des objets.
• Génération vidéo : Crée une nouvelle vidéo à partir de texte ou d’images, dans le sens inverse, même si les deux approches reposent sur des modèles de l’évolution des scènes au fil du temps.
• IA multimodale : Combine la vidéo avec de l’audio, des sous-titres ou d’autres données, ce qui est utile lorsque la bande sonore ou la parole contient l’information clé.

Applications#

• Analyse sportive : Suit les joueurs et le ballon pour mesurer la vitesse, la possession et les formations, et repère les temps forts dans les enregistrements complets des matchs.
• Circulation et villes intelligentes : Compte les véhicules et les piétons, mesure les vitesses et détecte les véhicules qui roulent à contresens ou sont immobilisés.
• Surveillance dans le commerce de détail et pour la sécurité : Mesure la longueur des files d’attente, signale les chutes dans les établissements de soins et détecte les personnes qui entrent dans des zones restreintes.
• Médias et modération de contenu : Indexe de vastes vidéothèques pour faciliter les recherches et signale les contenus téléversés qui enfreignent les règles.
• Robotique et véhicules autonomes : Prévoient les déplacements des piétons et des autres véhicules.

Défis#

La vidéo multiplie le coût de chaque image : une minute à 30 images par seconde en contient 1 800. Les modèles n’en échantillonnent donc qu’une petite partie, souvent de 8 à 64 par extrait, tout en risquant de manquer des événements brefs. Les longues vidéos mettent à rude épreuve la mémoire et la longueur du contexte, et annoter les actions avec des heures de début et de fin précises prend beaucoup plus de temps que l’annotation d’images. L’API Gemini de Google échantillonne les vidéos à raison d’une image par seconde et utilise environ 100 jetons par seconde de vidéo avec sa résolution multimédia faible par défaut. Ses modèles dotés d’une fenêtre de contexte d’un million de jetons peuvent ainsi traiter jusqu’à trois heures de vidéo, ou une heure en haute résolution.