Recherche d'architecture neuronale (NAS)

La recherche d'architecture neuronale (NAS) est une technique qui automatise la conception de réseaux neuronaux artificiels (NN). Traditionnellement, la conception d'une architecture de modèle très performante exigeait une grande expertise et de nombreux essais et erreurs. NAS automatise ce processus complexe en utilisant des algorithmes pour explorer un large éventail de conceptions de réseaux possibles et identifier l'architecture la plus optimale pour une tâche et un ensemble de données donnés. Cette automatisation accélère le développement de modèles d'apprentissage profond efficaces et puissants, rendant l'IA avancée plus accessible.

Comment fonctionne la recherche par architecture neuronale

Le processus des SNA peut être décomposé en trois éléments principaux :

1. Espace de recherche: Il définit l'ensemble de toutes les architectures possibles qui peuvent être conçues. Un espace de recherche peut être simple, spécifiant les choix pour les types de couches (par exemple, convolution, mise en commun) et leurs connexions, ou il peut être très complexe, permettant de nouveaux motifs architecturaux. Un espace de recherche bien défini est essentiel pour équilibrer la flexibilité et la faisabilité informatique.
2. Stratégie de recherche: Il s'agit de l'algorithme utilisé pour explorer l'espace de recherche. Les premières méthodes utilisaient la recherche aléatoire, mais des stratégies plus sophistiquées sont apparues depuis. Les approches courantes comprennent l'apprentissage par renforcement, où un agent apprend à sélectionner les architectures optimales, et les algorithmes évolutionnaires, qui imitent la sélection naturelle pour faire "évoluer" de meilleures architectures au fil des générations. Les méthodes basées sur le gradient, comme celles de Differentiable Architecture Search (DARTS), sont également devenues populaires pour leur efficacité.
3. Stratégie d'estimation des performances: Cette composante évalue la qualité de chaque architecture proposée. La méthode la plus simple consiste à entraîner complètement le modèle sur un ensemble de données et à mesurer ses performances, mais cela prend énormément de temps. Pour accélérer le processus, les chercheurs ont mis au point des techniques plus efficaces, comme l'utilisation d'ensembles de données plus petits, l'entraînement pendant moins d'époques ou l'utilisation du partage des poids pour éviter d'entraîner chaque architecture à partir de zéro.

Applications et exemples

Les NAS se sont avérés très efficaces pour créer des modèles de pointe pour diverses tâches, dépassant souvent les architectures conçues par l'homme en termes de performance et d'efficacité.

• Vision par ordinateur: NAS est largement utilisé pour concevoir des architectures efficaces pour la détection d'objets et la classification d'images. Par exemple, la famille de modèles EfficientNet a été développée à l'aide de NAS pour équilibrer systématiquement la profondeur, la largeur et la résolution du réseau. De même, des modèles tels que DAMO-YOLO s'appuient sur un réseau de base généré par NAS pour parvenir à un bon équilibre entre la vitesse et la précision de la détection d'objets.
• Analyse d'images médicales: Dans le domaine des soins de santé, les NAS peuvent créer des modèles spécialisés pour des tâches telles que la détection de tumeurs dans les scanners ou la segmentation de structures cellulaires. Les NAS peuvent optimiser les architectures pour qu'elles fonctionnent efficacement sur le matériel spécialisé que l'on trouve dans les appareils médicaux, ce qui permet d'obtenir des diagnostics plus rapides et plus précis. Le potentiel d'amélioration de l'IA dans le domaine des soins de santé est considérable.

RNA et concepts connexes

NAS est une composante spécifique du domaine plus large de l'apprentissage automatique des machines (AutoML). Alors que NAS se concentre uniquement sur la recherche de la meilleure architecture de réseau neuronal, AutoML vise à automatiser l'ensemble du pipeline d'apprentissage automatique, y compris les étapes telles que le prétraitement des données, l'ingénierie des caractéristiques, la sélection des modèles et le réglage des hyperparamètres.

Il est essentiel de distinguer le NAS de l'accord hyperparamétrique : l'accord hyperparamétrique optimise les paramètres de configuration (tels que le taux d'apprentissage ou la taille du lot) pour une architecture de modèle donnée et fixe, alors que le NAS recherche l'architecture elle-même. Les deux techniques sont souvent utilisées conjointement pour obtenir des performances optimales du modèle. Des outils comme Optuna ou Ray Tune, qui s'intègre aux modèles YOLO d'Ultralytics, sont populaires pour l'optimisation des hyperparamètres. Comprendre ces distinctions permet d'appliquer les bonnes techniques d'automatisation pour construire des systèmes d'IA efficaces. Vous pouvez en savoir plus sur l'optimisation des hyperparamètres dans la documentation d'Ultralytics.