Optical Flow

Le flux optique est le motif de mouvement apparent des objets, des surfaces et des contours dans une scène visuelle, provoqué par le mouvement relatif entre un observateur et une scène. Dans le domaine de la computer vision, ce concept est fondamental pour comprendre la dynamique temporelle au sein des séquences vidéo. En analysant le déplacement des pixels entre deux images consécutives, les algorithmes de flux optique génèrent un champ vectoriel où chaque vecteur représente la direction et l'amplitude du mouvement pour un point spécifique. Cet indice visuel de bas niveau permet aux systèmes d'intelligence artificielle de percevoir non seulement le contenu d'une image, mais aussi son mouvement, comblant ainsi le fossé entre l'analyse d'images statiques et la compréhension vidéo dynamique.

Mécanismes fondamentaux du flux optique#

Le calcul du flux optique repose généralement sur l'hypothèse de constance de la luminosité, qui postule que l'intensité d'un pixel sur un objet reste constante d'une image à l'autre, même lorsqu'il se déplace. Les algorithmes utilisent ce principe pour résoudre les vecteurs de mouvement en utilisant deux approches principales :

• Flux optique clairsemé : Cette méthode calcule le vecteur de mouvement pour un sous-ensemble spécifique de caractéristiques distinctes, telles que les coins ou les contours, détectées via l'[extraction de caractéristiques. Des algorithmes comme la méthode de Lucas-Kanade sont efficaces en termes de calcul et idéaux pour les tâches d'inférence en temps réel où le suivi de points d'intérêt spécifiques est suffisant.
• Flux optique dense : Cette approche calcule un vecteur de mouvement pour chaque pixel de l'image. Bien que beaucoup plus exigeante en ressources de calcul, elle fournit une carte de mouvement complète, essentielle pour les tâches fines telles que la segmentation d'images et l'analyse structurelle. Les architectures de deep learning modernes surpassent souvent les méthodes mathématiques traditionnelles dans l'estimation de flux dense en apprenant des schémas de mouvement complexes à partir de grands ensembles de données.

Flux optique vs suivi d'objets#

Bien qu'ils soient souvent utilisés ensemble, il est crucial de distinguer le flux optique du suivi d'objets. Le flux optique est une opération de bas niveau qui décrit le mouvement instantané des pixels ; il ne comprend pas intrinsèquement l'identité ou la persistance des objets.

En revanche, le suivi d'objets est une tâche de haut niveau qui localise des entités spécifiques et leur attribue un identifiant cohérent au fil du temps. Les traqueurs avancés, tels que ceux intégrés dans Ultralytics YOLO26, effectuent généralement une détection d'objets pour trouver l'objet, puis utilisent des indices de mouvement — parfois dérivés du flux optique — pour associer les détections d'une image à l'autre. Le flux optique répond à la question « à quelle vitesse ces pixels se déplacent-ils en ce moment », tandis que le suivi répond à « où est allée la voiture n° 5 ? »

Applications concrètes#

La capacité d'estimer le mouvement au niveau du pixel propulse une large gamme de technologies sophistiquées :

• Véhicules autonomes et robotique : Le flux optique est utilisé pour l'odométrie visuelle, permettant à un robot ou à une voiture d'estimer son propre mouvement par rapport à l'environnement. Il aide également à l'estimation de la profondeur et à l'évitement d'obstacles en analysant la rapidité avec laquelle les objets du champ visuel s'étendent ou se déplacent.
• Stabilisation vidéo : Les caméras et les logiciels de montage utilisent des vecteurs de flux pour détecter les tremblements involontaires de la caméra. En compensant ce mouvement global, les systèmes peuvent stabiliser numériquement les séquences. C'est une fonctionnalité standard dans l'électronique grand public moderne, comme les smartphones et les caméras d'action.
• Reconnaissance d'actions : Dans l'analyse sportive et la sécurité, l'analyse du flux temporel des pixels aide les systèmes à identifier des actions humaines complexes. Par exemple, les modèles d'estimation de pose peuvent être enrichis de données de flux pour distinguer une personne qui marche d'une personne qui court en fonction de la vitesse de mouvement des membres.
• Compression vidéo : Des normes telles que le codage vidéo MPEG reposent largement sur l'estimation de mouvement. Au lieu de stocker chaque image complète, le codec stocke le flux optique (vecteurs de mouvement) et la différence (résidu) entre les images, ce qui réduit considérablement la taille des fichiers pour la diffusion en continu et le stockage.

Exemple d'implémentation#

L'exemple suivant montre comment calculer un flux optique dense à l'aide de la bibliothèque OpenCV, un outil standard dans l'écosystème de la computer vision. Cet extrait utilise l'algorithme de Farneback pour générer une carte de flux entre deux images consécutives.

import cv2
import numpy as np

# Simulate two consecutive frames (replace with actual image paths)
frame1 = np.zeros((100, 100, 3), dtype=np.uint8)
frame2 = np.zeros((100, 100, 3), dtype=np.uint8)
cv2.rectangle(frame1, (20, 20), (40, 40), (255, 255, 255), -1)  # Object at pos 1
cv2.rectangle(frame2, (25, 25), (45, 45), (255, 255, 255), -1)  # Object moved

# Convert to grayscale for flow calculation
prvs = cv2.cvtColor(frame1, cv2.COLOR_BGR2GRAY)
next = cv2.cvtColor(frame2, cv2.COLOR_BGR2GRAY)

# Calculate dense optical flow
flow = cv2.calcOpticalFlowFarneback(prvs, next, None, 0.5, 3, 15, 3, 5, 1.2, 0)

# Compute magnitude and angle of 2D vectors
mag, ang = cv2.cartToPolar(flow[..., 0], flow[..., 1])

print(f"Max motion detected: {np.max(mag):.2f} pixels")

Pour les applications de haut niveau nécessitant la persistance des objets plutôt qu'un simple mouvement brut des pixels, tu dois envisager les modes de suivi disponibles dans Ultralytics YOLO11 et YOLO26. Ces modèles abstrayant la complexité de l'analyse de mouvement fournissent des identifiants d'objets et des trajectoires robustes dès leur sortie de la boîte pour des tâches allant de la surveillance du trafic à l'analyse de détail.