OpenCV

Pertinence de l'IA et de l'apprentissage automatique

OpenCV joue un rôle essentiel dans le pipeline de l'IA et de la ML, en particulier lorsqu'il s'agit de données visuelles. Il fournit des outils fondamentaux pour le prétraitement des données, une étape cruciale avant d'introduire des images ou des vidéos dans les modèles d'apprentissage automatique. Les étapes de prétraitement courantes gérées par OpenCV comprennent le redimensionnement, la conversion de l'espace colorimétrique (comme BGR vers RGB, souvent nécessaire pour les modèles entraînés avec des ordres de couleurs spécifiques), la réduction du bruit à l'aide de filtres comme le flou gaussien, et l'application de diverses transformations pour améliorer la qualité de l'image ou extraire des caractéristiques pertinentes. Ce prétraitement a un impact significatif sur les performances des modèles d'apprentissage profond (DL).

OpenCV est fréquemment utilisé en conjonction avec des frameworks ML populaires comme PyTorch et TensorFlow pour construire des applications CV de bout en bout. Alors que ces frameworks se concentrent sur la construction et l'entraînement de réseaux neuronaux, OpenCV gère l'entrée/sortie, la manipulation et souvent le post-traitement des données visuelles, comme le dessin des boîtes de délimitation ou des masques de segmentation prédits par des modèles tels que Ultralytics YOLO. Son efficacité dans le traitement des flux vidéo en temps réel le rend indispensable pour les applications nécessitant une analyse visuelle immédiate, comme l'inférence en temps réel pour la détection d'objets ou l'estimation de la pose.

Principales caractéristiques et capacités

OpenCV offre une vaste gamme de fonctions (plus de 2500 algorithmes), couvrant à la fois les techniques classiques de vision par ordinateur et la prise en charge de l'intégration moderne de l'apprentissage profond. Les principales fonctionnalités sont les suivantes :

• Entrée/sortie d'images et de vidéos : Lecture et écriture de divers formats d'images(JPEG, PNG, TIFF) et de vidéos(AVI, MP4).
• Traitement des images : Opérations de base telles que le redimensionnement, le recadrage(voir le guide de recadrage des objets), la rotation, les conversions d'espace colorimétrique, le filtrage et les transformations morphologiques.
• Détection et description des caractéristiques : Mise en œuvre d'algorithmes tels que SIFT, SURF (propriétaire, souvent remplacé par ORB dans les versions récentes) et FAST pour l'identification de points clés dans les images.(Documentation OpenCV Feature Detection).
• Détection d'objets : Bien qu'il n'entraîne pas lui-même les modèles, il fournit des outils pour exécuter des détecteurs pré-entraînés (comme les cascades de Haar pour la détection des visages) et traiter les résultats des modèles DL (par exemple, dessiner des boîtes à partir des prédictions de YOLO11 ).
• Analyse vidéo : Comprend des outils d'analyse des mouvements tels que le flux optique, la soustraction de l'arrière-plan et des algorithmes de suivi d'objets(voir le mode suivi).
• Étalonnage de la caméra et reconstruction 3D : Fonctions permettant de comprendre la géométrie de la caméra et de reconstruire des scènes en 3D(Guide d'étalonnage de la caméra).
• Module d'apprentissage automatique : Il comprend des implémentations de certains algorithmes classiques d'apprentissage automatique comme les machines à vecteurs de support (SVM) et les voisins les plus proches (KNN), bien que les tâches d'apprentissage profond s'appuient généralement sur des cadres dédiés. Il offre également des fonctionnalités pour charger et exécuter des modèles exportés dans des formats tels que ONNX.(Documentation sur l'exportation de modèles).

OpenCV et les concepts connexes

Il est utile de distinguer OpenCV des termes apparentés :

• Vision par ordinateur (VA): La vision par ordinateur est le vaste domaine scientifique qui permet aux machines d'interpréter les informations visuelles. OpenCV est un outil ou une bibliothèque utilisé pour mettre en œuvre des applications de vision par ordinateur, et non le domaine lui-même.
• Traitement d'images: Il s'agit principalement de manipuler des images (par exemple, améliorer le contraste, supprimer le bruit). OpenCV propose des fonctions étendues de traitement d'images, mais inclut également des tâches de plus haut niveau telles que la reconnaissance d'objets et la compréhension de scènes, qui relèvent de la vision par ordinateur.
• Cadres ML (PyTorch, TensorFlow) : Ces frameworks sont principalement conçus pour construire, entraîner et déployer des réseaux neuronaux et d'autres modèles de ML. OpenCV les complète en fournissant les outils essentiels pour traiter les données visuelles avant qu' elles n'entrent dans le modèle (prétraitement) et après l' inférence (visualisation, post-traitement). Bien qu'OpenCV ait quelques capacités de ML, ce n'est pas son objectif principal comparé à ces frameworks dédiés. Ultralytics HUB, par exemple, utilise des frameworks comme PyTorch pour l'entraînement des modèles et peut utiliser OpenCV implicitement ou explicitement pour le traitement des données.

Applications dans le monde réel

La polyvalence d'OpenCV le rend omniprésent dans de nombreuses applications d'IA/ML :

1. Véhicules autonomes: Dans les voitures autonomes et les systèmes avancés d'aide à la conduite (ADAS), OpenCV est souvent utilisé pour le traitement initial des données des caméras et du LiDAR. Les tâches comprennent la détection des voies de circulation, la reconnaissance des obstacles via la correspondance des caractéristiques ou la détection des contours, la reconnaissance des panneaux de signalisation (les images traitées sont souvent transmises à un classificateur) et l'assemblage d'images pour les systèmes de vision surround. Par exemple, les images brutes des caméras peuvent être prétraitées (correction des distorsions, ajustement de la luminosité) à l'aide d'OpenCV avant d'être introduites dans un modèle d'apprentissage profond tel que YOLOv8 pour la détection des voitures et des piétons.(Découvrez la technologie de Waymo).
2. Analyse d'images médicales: OpenCV aide à charger divers formats d'imagerie médicale (comme DICOM, souvent avec l'aide d'autres bibliothèques), à améliorer le contraste des images pour une meilleure visibilité des anomalies, à segmenter les régions d'intérêt (comme les tumeurs ou les organes) en utilisant des techniques comme le seuillage ou les algorithmes de lignes de partage des eaux, et à enregistrer les images prises à des moments différents ou à partir de modalités différentes. Ces données prétraitées sont ensuite souvent analysées par des modèles ML spécialisés pour le diagnostic ou la planification du traitement.(AI in Radiology - RSNA).

D'autres applications incluent la robotique(Integrating Computer Vision in Robotics), la surveillance(Security Alarm Systems), la réalité augmentée, le contrôle de la qualité dans la fabrication et l'agriculture (par exemple, la surveillance de la santé des cultures). La documentation d'Ultralytics fournit de nombreux exemples où les fonctions OpenCV peuvent être utilisées pour des étapes de pré ou post-traitement en conjonction avec les modèles YOLO.