Neural Architecture Search (NAS)

La recherche d'architecture neurale (NAS) est une technique sophistiquée dans le domaine de l'Automated Machine Learning (AutoML) qui automatise la conception de réseaux de neurones artificiels. Traditionnellement, concevoir des architectures de deep learning (DL) hautes performances demandait une expertise humaine poussée, de l'intuition et des essais-erreurs chronophages. Le NAS remplace ce processus manuel par des stratégies algorithmiques qui explorent systématiquement un vaste éventail de topologies de réseau pour découvrir la structure optimale d'une tâche spécifique. En testant diverses combinaisons de couches et d'opérations, le NAS peut identifier des architectures qui surpassent nettement les modèles conçus par l'humain en termes de précision, d'efficacité de calcul ou de vitesse d'inférence.

Mécanismes fondamentaux de la NAS#

Le processus de découverte d'une architecture supérieure implique généralement trois dimensions fondamentales qui interagissent pour trouver le meilleur réseau de neurones (NN) :

1. Espace de recherche : Cela définit l'ensemble de toutes les architectures possibles que l'algorithme peut explorer. Il agit comme une bibliothèque de blocs de construction, tels que des filtres de convolution, des couches de pooling et diverses fonctions d'activation. Un espace de recherche bien défini contraint la complexité pour garantir que la recherche reste réalisable sur le plan informatique tout en offrant suffisamment de flexibilité pour l'innovation.

2. Stratégie de recherche : Au lieu de tester chaque possibilité (force brute), le NAS utilise des algorithmes intelligents pour parcourir efficacement l'espace de recherche. Les approches courantes incluent le reinforcement learning, où un agent apprend à générer de meilleures architectures au fil du temps, et les algorithmes évolutionnaires, qui mutent et combinent les modèles les plus performants pour donner naissance à des candidats supérieurs.

3. Stratégie d'estimation des performances : Entraîner chaque réseau candidat à partir de zéro est beaucoup trop lent. Pour accélérer cela, le NAS utilise des techniques d'estimation — telles que l'entraînement sur moins d'époques, l'utilisation de jeux de données proxy à plus basse résolution ou le recours au partage de poids — pour classer rapidement le potentiel d'une architecture candidate.

Applications concrètes#

Le NAS est devenu crucial dans les secteurs où les contraintes matérielles ou les exigences de performance sont strictes, repoussant les limites de la computer vision (CV) et d'autres domaines de l'IA.

• Edge Computing efficace : Déployer l'IA sur des appareils mobiles nécessite des modèles à la fois légers et rapides. Le NAS est largement utilisé pour découvrir des architectures comme MobileNetV3 et EfficientNet qui minimisent la latence d'inférence tout en maintenant une haute précision. C'est vital pour les applications d'edge AI, telles que l'analyse vidéo en temps réel sur des caméras intelligentes ou des drones autonomes.
• Imagerie médicale : En analyse d'images médicales, la précision est primordiale. Le NAS peut adapter des réseaux pour détecter des anomalies subtiles dans des radiographies ou des examens IRM, trouvant souvent de nouvelles voies d'extraction de caractéristiques que les ingénieurs humains pourraient négliger. Cela conduit à des outils plus fiables pour identifier des pathologies telles que des tumeurs cérébrales ou des fractures avec une sensibilité accrue.

NAS vs concepts apparentés#

Pour comprendre le rôle spécifique de la NAS, il est utile de la distinguer de techniques d'optimisation similaires :

• NAS vs réglage des hyperparamètres : Bien que les deux impliquent de l'optimisation, le réglage des hyperparamètres se concentre sur l'ajustement des paramètres de configuration (comme le taux d'apprentissage ou la taille de batch) pour une architecture fixe. En revanche, le NAS modifie la structure fondamentale du modèle lui-même, tel que le nombre de couches ou la façon dont les neurones sont connectés.
• NAS vs transfer learning : Le transfer learning prend un modèle existant pré-entraîné et adapte ses poids à une nouvelle tâche. Le NAS crée l'architecture du modèle à partir de zéro (ou recherche un meilleur backbone) avant que l'entraînement ne commence.

Utilisation des modèles dérivés de la NAS#

Bien que l'exécution d'une recherche NAS complète nécessite des ressources de calcul GPU importantes, les développeurs peuvent facilement utiliser des modèles créés via le NAS. Par exemple, l'architecture YOLO-NAS a été découverte en utilisant ces principes de recherche pour optimiser les tâches de détection d'objets.

L'exemple Python suivant montre comment charger et utiliser un modèle NAS pré-cherché à l'aide du package ultralytics :

from ultralytics import NAS

# Load a pre-trained YOLO-NAS model (architecture found via NAS)
# 'yolo_nas_s.pt' refers to the small version of the model
model = NAS("yolo_nas_s.pt")

# Run inference on an image to detect objects
# This utilizes the optimized architecture for fast detection
results = model("https://ultralytics.com/images/bus.jpg")

# Print the top detected class
print(f"Detected: {results[0].names[int(results[0].boxes.cls[0])]}")

Pour celles et ceux qui cherchent à entraîner des modèles de pointe sans la complexité du NAS, le Ultralytics YOLO26 offre une architecture hautement optimisée prête à l'emploi, intégrant les toute dernières avancées de la recherche. Tu peux facilement gérer les jeux de données, l'entraînement et le déploiement de ces modèles à l'aide de la Ultralytics Platform, qui simplifie l'ensemble du cycle de vie MLOps.