Feature Maps

Une carte de caractéristiques est la sortie d'un filtre convolutionnel, également appelé noyau, appliqué à une couche d'entrée dans un réseau neuronal convolutif (CNN). En substance, il s'agit d'une représentation des caractéristiques apprises, telles que les bords, les textures ou les formes complexes, détectées dans des régions spécifiques d'une image. Chaque filtre dans une couche de convolution est conçu pour détecter une seule caractéristique spécifique. La carte de caractéristiques résultante met en évidence où cette caractéristique particulière est présente dans les données d'entrée, formant un élément de base fondamental pour un large éventail de tâches de vision par ordinateur (CV).

Comment fonctionnent les cartes de caractéristiques

La génération d'une carte de caractéristiques commence lorsqu'un CNN applique un filtre—une petite matrice de poids apprenables—à une image d'entrée ou à la carte de caractéristiques d'une couche précédente. Ce filtre glisse sur l'entrée et effectue une opération de convolution à chaque position. La sortie de cette opération de glissement crée un nouveau tableau 2D, qui est la carte de caractéristiques. Les valeurs d'activation dans la carte indiquent la force de la caractéristique détectée à chaque emplacement. Par exemple, un filtre entraîné pour détecter les bords verticaux produira des valeurs d'activation élevées dans la carte de caractéristiques aux emplacements correspondant aux bords verticaux. Les frameworks de deep learning modernes comme PyTorch et TensorFlow gèrent ces opérations automatiquement.

Représentation hiérarchique des caractéristiques

L'un des aspects les plus puissants des CNN est leur capacité à construire une hiérarchie de caractéristiques.

• Premières couches : Les cartes de caractéristiques dans les premières couches du backbone d'un réseau capturent des caractéristiques simples et fondamentales comme les arêtes, les coins et les gradients de couleur. Ces backbones sont souvent eux-mêmes de puissants réseaux pré-entraînés, comme ResNet.
• Couches intermédiaires : Au fur et à mesure que les données progressent dans le réseau, les couches suivantes combinent ces caractéristiques simples en motifs plus complexes, tels que des textures, des parties d'objets (comme une roue ou un œil) ou des formes simples.
• Couches profondes : Les cartes de caractéristiques dans les couches les plus profondes représentent des concepts très abstraits et complexes, tels que des objets entiers. Ce processus hiérarchique permet à des modèles comme Ultralytics YOLO d'effectuer des tâches sophistiquées telles que la détection d'objets, la segmentation d'images et la classification d'images.

Cartes de caractéristiques vs. Concepts connexes

Il est utile de différencier les cartes de caractéristiques des termes étroitement liés :

• Extraction de caractéristiques : il s’agit du processus d’identification et d’extraction de modèles significatifs à partir de données brutes. Les cartes de caractéristiques sont la sortie ou le résultat tangible de l’extraction de caractéristiques qui se produit dans une couche CNN. Bien que l’extraction de caractéristiques soit un concept large, les cartes de caractéristiques sont les structures de données spécifiques qui contiennent ces caractéristiques apprises d’une manière spatialement organisée.
• Embeddings : Les cartes de caractéristiques sont généralement des tableaux multidimensionnels qui conservent les informations spatiales sur l'endroit où les caractéristiques apparaissent. En revanche, les embeddings sont généralement des vecteurs unidimensionnels denses qui représentent une image ou un objet entier dans un espace sémantique compressé. Ils sont souvent créés en aplatissant et en traitant les cartes de caractéristiques finales d'un réseau pour capturer le sens de haut niveau pour des tâches telles que la recherche sémantique ou la classification, sacrifiant les détails spatiaux pour une utilisation dans une base de données vectorielle.

Applications concrètes

Les cartes de caractéristiques font partie intégrante d'innombrables applications d'intelligence artificielle (IA) et d'apprentissage automatique (ML) :

1. Conduite autonome : Dans les voitures autonomes, les CNN traitent les données des caméras et des capteurs pour naviguer dans le monde. Les cartes de caractéristiques générées à différentes couches aident à identifier les piétons, les autres véhicules, les marquages de voie et les panneaux de signalisation. Les premières couches détectent les bords et les textures, tandis que les couches plus profondes les combinent pour reconnaître des objets complexes. Ceci est crucial pour une navigation sûre, et des entreprises comme Waymo s'appuient fortement sur de telles technologies pour leur IA dans les voitures autonomes.
2. Analyse d'images médicales: Les CNN analysent les scans médicaux (rayons X, CT, IRM) pour aider au diagnostic. Les cartes de caractéristiques mettent en évidence les anomalies potentielles. Par exemple, lors de l'utilisation d'un jeu de données comme le jeu de données sur les tumeurs cérébrales pour détecter les tumeurs, les premières cartes de caractéristiques peuvent identifier des textures ou des bords inhabituels. Les cartes plus profondes apprennent ensuite à reconnaître les formes et les structures spécifiques caractéristiques des tumeurs, aidant ainsi les radiologues dans leur travail. Cette recherche est souvent publiée dans des revues de premier plan comme Radiology: Artificial Intelligence.

Visualisation et interprétation

La visualisation des cartes de caractéristiques fournit des informations précieuses sur ce qu'un CNN a appris et comment il prend des décisions. En examinant quelles parties d'une image activent fortement des cartes de caractéristiques spécifiques, les développeurs peuvent comprendre si le modèle se concentre sur des informations pertinentes. Ce processus est un élément clé de l'IA explicable (XAI), contribuant à l'interprétabilité globale du modèle. Il peut être réalisé à l'aide d'outils tels que TensorBoard ou d'autres techniques de visualisation avancées. La compréhension des cartes de caractéristiques aide à déboguer les modèles, à améliorer leur précision et leur fiabilité, et à gérer l'ensemble du cycle de vie via des plateformes comme Ultralytics HUB.