Stereo Vision

La vision stéréoscopique, également connue sous le nom de vision stéréo, est une technique de computer vision utilisée pour extraire des informations de profondeur 3D à partir d'images numériques. En comparant deux images 2D ou plus de la même scène prises sous des angles légèrement différents — imitant la binocular vision humaine — les systèmes d'IA peuvent calculer avec précision la distance des objets. Cette capacité est fondamentale pour la spatial intelligence, permettant aux machines de naviguer dans leur environnement et d'interagir avec des objets physiques en toute sécurité.

Link to this sectionComment fonctionne la vision stéréoscopique#

Le processus repose sur la recherche des différences entre les vues de la caméra gauche et de la caméra droite. Le défi principal ici est le correspondence problem, qui consiste à identifier exactement les mêmes pixels ou caractéristiques dans les deux images. Une fois les points correspondants trouvés, le système calcule le décalage horizontal, créant ainsi une carte de disparité.

Dans une disparity map, les décalages plus importants indiquent des objets plus proches, tandis que les décalages plus faibles signifient que l'objet est plus éloigné. Grâce à la triangulation, cette carte est ensuite convertie en un nuage de points 3D dense. Bien que des algorithmes mathématiques traditionnels aient historiquement piloté ces calculs, les approches modernes s'appuient de plus en plus sur des convolutional neural networks (CNNs) et le deep learning pour améliorer la précision de la mise en correspondance des caractéristiques dans des zones à l'éclairage complexe ou sans texture, comme détaillé dans les récentes IEEE computer vision research.

Link to this sectionVision stéréoscopique vs estimation de profondeur monoculaire#

Il est important de différencier la vision stéréoscopique des techniques d'depth estimation qui n'utilisent qu'une seule caméra. L'estimation de profondeur monoculaire utilise des modèles de deep learning pour prédire des structures 3D à partir d'une seule image 2D basée sur des indices visuels comme la perspective et les ombres. En revanche, les systèmes stéréo mesurent directement la profondeur en utilisant la relation géométrique entre deux objectifs de caméra. Bien que les méthodes monoculaires soient plus légères en termes de calcul, la vision stéréoscopique fournit généralement des mesures de profondeur plus précises et en temps réel, essentielles pour les systèmes de sécurité critiques.

Link to this sectionApplications réelles de l'IA#

Les systèmes stéréo sont vitaux dans diverses industries qui nécessitent une 3D object detection et une conscience spatiale en conditions réelles.

• Navigation pour conduite autonome : Les technologies de conduite autonome développées par des entreprises comme Waymo utilisent des caméras stéréo pour évaluer avec précision la distance aux piétons, aux autres véhicules et aux obstacles en temps réel, intégrant ces données de profondeur précises dans des systèmes de predictive modeling pour planifier des trajectoires sûres.
• Automatisation par robotique industrielle : Les robots de fabrication utilisent la vision stéréoscopique pour des tâches complexes de prélèvement en vrac (bin-picking). En calculant la profondeur et l'orientation exactes des pièces éparpillées sur un tapis roulant, les systèmes robotiques peuvent parfaitement aligner leurs pinces, améliorant ainsi l'efficacité dans les smart manufacturing pipelines.
• Imagerie médicale avancée : Les robots chirurgicaux et les systèmes de diagnostic utilisent des caméras stéréoscopiques pour offrir aux chirurgiens une vue 3D très précise de l'anatomie du patient lors d'interventions peu invasives, une tendance fréquemment soulignée dans les recent arXiv preprints on medical AI.

Link to this sectionIntégration de l'IA aux données stéréo#

Souvent, les développeurs utilisent la vision stéréoscopique en tandem avec la détection d'objets pour trouver à la fois le quoi et le à quelle distance. Le framework OpenCV est couramment utilisé pour générer des cartes de disparité, souvent intégrées au sein de pipelines plus larges PyTorch ou TensorFlow, tandis que les modèles d'IA gèrent la perception. Vous trouverez ci-dessous un exemple conceptuel de détection d'objets utilisant Ultralytics YOLO26 et la récupération de leurs boîtes englobantes, qui pourraient ensuite être utilisées pour extraire des valeurs de distance moyennes à partir d'une carte de disparité OpenCV associée.

import cv2
from ultralytics import YOLO

# Load the recommended Ultralytics YOLO26 model for high-speed edge inference
model = YOLO("yolo26n.pt")

# Read the left camera frame (typically used as the primary frame for detection)
left_frame = cv2.imread("left_camera_frame.jpg")

# Run inference to detect objects in the scene
results = model(left_frame)

# Extract bounding boxes to later combine with a stereo disparity map
for result in results:
    for box in result.boxes.xyxy:
        x1, y1, x2, y2 = map(int, box[:4])
        print(f"Detected object bounding box: [{x1}, {y1}, {x2}, {y2}]")
        # Depth values can now be extracted from the disparity map within this specific region

Link to this sectionAvancées et tendances futures#

L'entraînement et le déploiement de modèles de perception avancés sont devenus très rationalisés. En utilisant des outils comme la Ultralytics Platform, ton équipe peut annoter en toute sécurité des paires stéréo, entraîner des modèles robustes et les exporter vers des formats optimisés comme TensorRT pour une inférence à faible latence sur des edge AI devices.

Les avancées récentes d'organisations comme le Stanford Vision and Learning Lab montrent une tendance croissante à fusionner la vision stéréoscopique avec les Vision Transformers (ViT) et les modèles fondateurs de Google DeepMind pour résoudre le problème de correspondance plus rapidement. De plus, à mesure que les modèles d'IA multimodale de leaders comme Anthropic et OpenAI évoluent, l'intégration de données spatiales 3D robustes continuera de repousser les limites de ce que les agents d'IA incarnés peuvent percevoir et comprendre.