Video Understanding

La compréhension vidéo est une branche sophistiquée de la vision par ordinateur (CV) qui vise à permettre aux machines de percevoir, d’analyser et d’interpréter des données visuelles au fil du temps. Contrairement à la reconnaissance d’images standard, qui traite des instantanés statiques de manière isolée, la compréhension vidéo consiste à analyser des séquences d’images pour saisir les dynamiques temporelles, le contexte et les relations de cause à effet. En traitant la « quatrième dimension » du temps, les systèmes d’IA peuvent aller au-delà de la simple identification d’objets pour comprendre les actions, les événements et le récit qui se déroule dans une scène. Cette capacité est essentielle à la création de systèmes intelligents capables d’interagir de manière sûre et efficace dans des environnements réels dynamiques.

Composants essentiels de l’analyse vidéo#

Pour interpréter correctement le contenu vidéo, les modèles doivent synthétiser deux principaux types d’informations : les caractéristiques spatiales (ce qui se trouve dans l’image) et les caractéristiques temporelles (la manière dont les éléments changent). Cela nécessite une architecture complexe qui combine souvent plusieurs stratégies de réseaux neuronaux.

• Réseaux neuronaux convolutifs (CNNs) : ces réseaux servent généralement de base spatiale et extraient des caractéristiques visuelles telles que les formes, les textures et les objets de chaque image.
• Réseaux neuronaux récurrents (RNNs) : des architectures comme les unités de mémoire à long et court terme (LSTM) servent à traiter la séquence de caractéristiques extraites par le CNN, ce qui permet au modèle de « se souvenir » des images précédentes et de prédire les états futurs.
• Flux optique : de nombreux systèmes utilisent des algorithmes de flux optique pour calculer explicitement les vecteurs de mouvement des pixels entre les images, fournissant ainsi des données essentielles sur la vitesse et la direction, indépendamment de l’apparence des objets.
• Transformers de vision (ViTs) : les approches modernes s’appuient de plus en plus sur des mécanismes d’attention pour pondérer l’importance de différentes images ou régions, permettant au modèle de se concentrer sur les événements clés d’un flux vidéo long.

Applications concrètes#

La capacité à comprendre le contexte temporel a ouvert la voie à une automatisation avancée dans divers secteurs.

• Véhicules autonomes : les voitures autonomes utilisent la compréhension vidéo pour prédire les trajectoires des piétons et des autres véhicules. En analysant les schémas de mouvement, le système peut anticiper les collisions potentielles et exécuter des manœuvres complexes.
• Reconnaissance d’actions : dans l’analyse sportive et la surveillance des patients, les systèmes identifient des activités humaines précises, comme un joueur qui marque un but ou un patient qui tombe, afin de fournir automatiquement des informations ou des alertes.
• Commerce intelligent : les magasins utilisent ces systèmes pour la détection d’anomalies, afin d’identifier les vols ou d’analyser les schémas de circulation des clients pour optimiser l’agencement.
• Modération de contenu : les grandes plateformes multimédias utilisent la compréhension vidéo pour signaler automatiquement les contenus inappropriés ou classer les mises en ligne par sujet, réduisant considérablement le besoin de vérification manuelle.

Distinction entre concepts connexes#

Bien que la compréhension vidéo englobe un large éventail de capacités, elle se distingue de plusieurs termes apparentés dans le domaine de l’IA.

• Compréhension vidéo et suivi d’objets : le suivi vise à maintenir l’identité unique d’une instance (comme une voiture précise) lorsqu’elle se déplace d’une image à l’autre. La compréhension vidéo interprète le comportement de cette voiture, en reconnaissant par exemple qu’elle « se gare » ou qu’elle « roule trop vite ».
• Compréhension vidéo et estimation de pose : l’estimation de pose détecte la configuration géométrique des articulations du corps dans une image unique ou une séquence. La compréhension vidéo utilise ces données pour déduire la signification du mouvement, comme le fait de « faire coucou ».
• Compréhension vidéo et IA multimodale : alors que la compréhension vidéo se concentre sur les séquences visuelles, l’IA multimodale combine la vidéo avec l’audio, le texte ou les données de capteurs pour une analyse plus globale.

Mise en œuvre de l’analyse vidéo avec Ultralytics YOLO26#

Une étape fondamentale de la compréhension vidéo consiste à détecter et à suivre les objets de manière robuste afin d’établir une continuité temporelle. Le modèle Ultralytics YOLO26 offre des performances de pointe pour le suivi en temps réel, qui sert de préalable à une analyse comportementale de niveau supérieur.

L’exemple suivant montre comment effectuer le suivi d’objets sur une source vidéo à l’aide de l’API Python :

from ultralytics import YOLO

# Load the official YOLO26n model (nano version for speed)
model = YOLO("yolo26n.pt")

# Track objects in a video file with persistence to maintain IDs
# 'show=True' visualizes the tracking in real-time
results = model.track(source="path/to/video.mp4", persist=True, show=True)

Défis et tendances futures#

Malgré des progrès considérables, la compréhension vidéo reste coûteuse en calcul en raison du volume important de données des flux vidéo haute définition. Le calcul des FLOPS pour les convolutions 3D ou les transformers temporels peut être prohibitif pour les appareils d’IA en périphérie. Pour y remédier, les chercheurs développent des architectures efficaces comme le module de décalage temporel (TSM) et exploitent des outils d’optimisation comme NVIDIA TensorRT afin de permettre l’inférence en temps réel.

Les développements futurs s’orientent vers un apprentissage multimodal sophistiqué, dans lequel les modèles intègrent des signaux audio (par exemple, une sirène) et un contexte textuel pour parvenir à une compréhension plus approfondie. Des plateformes comme l’Ultralytics Platform évoluent également afin de simplifier l’annotation et la gestion de jeux de données vidéo complexes, ce qui facilite l’entraînement de modèles personnalisés pour des tâches temporelles spécifiques.