Mixture of Experts (MoE)

Le mélange d’experts (MoE) est une architecture spécialisée de l’apprentissage profond qui permet aux modèles d’atteindre une taille considérable sans augmentation proportionnelle du coût de calcul. Contrairement à un réseau neuronal dense (NN) standard, dans lequel chaque paramètre est actif pour chaque entrée, un modèle MoE utilise une technique appelée calcul conditionnel. Cette approche active dynamiquement uniquement un petit sous-ensemble des composants du réseau — appelés « experts » — en fonction des caractéristiques spécifiques des données d’entrée. Ainsi, les architectures MoE permettent de créer de puissants modèles de fondation pouvant contenir des milliers de milliards de paramètres, tout en conservant la latence d’inférence et la vitesse opérationnelle de systèmes beaucoup plus petits.

Mécanismes fondamentaux du MoE#

L’efficacité d’un modèle de mélange d’experts provient du remplacement des couches denses standard par une couche MoE clairsemée. Cette couche se compose généralement de deux éléments principaux qui fonctionnent conjointement pour traiter efficacement les informations :

• Les experts : Il s’agit de sous-réseaux indépendants, souvent de simples réseaux neuronaux à propagation avant (FFNs). Chaque expert se spécialise dans le traitement de différents aspects des données. Dans le contexte du traitement automatique du langage (NLP), un expert peut devenir compétent dans le traitement de la grammaire, tandis qu’un autre se concentre sur la récupération d’informations factuelles ou la syntaxe du code.
• Le réseau de contrôle (routeur) : Le routeur agit comme un contrôleur du trafic des données. Lorsqu’une entrée — telle qu’un fragment d’image ou un jeton textuel — entre dans la couche, le routeur calcule un score de probabilité à l’aide d’une fonction softmax. Il dirige ensuite cette entrée uniquement vers les experts « Top-K » (généralement un ou deux) ayant les scores les plus élevés. Ainsi, le modèle ne dépense de ressources que pour les paramètres les plus pertinents.

Distinction par rapport aux ensembles de modèles#

Bien que les deux concepts impliquent l’utilisation de plusieurs sous-modèles, il est essentiel de distinguer un mélange d’experts d’un ensemble de modèles. Dans un ensemble traditionnel, chaque modèle du groupe traite la même entrée, puis leurs résultats sont moyennés ou soumis à un vote afin de maximiser la précision. Cette approche augmente le coût de calcul linéairement avec le nombre de modèles.

À l’inverse, un MoE est un modèle unique et unifié dans lequel différentes entrées suivent différents chemins. Un MoE clairsemé vise la scalabilité et l’efficacité en n’exécutant qu’une fraction du nombre total de paramètres à chaque étape d’inférence. Cela permet un entraînement sur de grandes quantités de données d’entraînement sans les coûts prohibitifs associés aux ensembles denses.

Applications concrètes#

L’architecture MoE est devenue un pilier de l’IA moderne haute performance, notamment dans les scénarios nécessitant des capacités multitâches et une large conservation des connaissances.

1. Modèles de langage multilingues : Des modèles reconnus comme Mixtral 8x7B de Mistral AI utilisent le MoE pour exceller dans diverses tâches linguistiques. En dirigeant les jetons vers des experts spécialisés, ces systèmes peuvent prendre en charge la traduction, le résumé et les tâches de programmation au sein d’une seule structure de modèle, dépassant les performances de modèles denses ayant un nombre similaire de paramètres actifs.

2. Vision par ordinateur évolutive : Dans le domaine de la vision par ordinateur (CV), les chercheurs appliquent le MoE pour créer de gigantesques architectures de base visuelles. L’architecture Vision MoE (V-MoE) montre comment les experts peuvent se spécialiser dans la reconnaissance de caractéristiques visuelles distinctes, faisant ainsi évoluer efficacement les performances sur des benchmarks tels qu’ImageNet. Bien que des modèles denses hautement optimisés comme YOLO26 restent la référence pour la détection en temps réel sur les appareils edge grâce à leur empreinte mémoire prévisible, les recherches sur le MoE continuent de repousser les limites de la compréhension visuelle côté serveur.

Exemple de logique de routage#

Pour comprendre comment le réseau de contrôle sélectionne les experts, examine cet exemple simplifié en PyTorch. Il présente un mécanisme de routage qui sélectionne l’expert le plus pertinent pour une entrée donnée.

import torch
import torch.nn as nn

# A simple router deciding between 4 experts for input dimension of 10
num_experts = 4
input_dim = 10
router = nn.Linear(input_dim, num_experts)

# Batch of 2 inputs
input_data = torch.randn(2, input_dim)

# Calculate scores and select the top-1 expert for each input
logits = router(input_data)
probs = torch.softmax(logits, dim=-1)
weights, indices = torch.topk(probs, k=1, dim=-1)

print(f"Selected Expert Indices: {indices.flatten().tolist()}")

Défis liés à l’entraînement et au déploiement#

Malgré leurs avantages, les modèles MoE introduisent des défis spécifiques pour le processus d’entraînement. Un problème majeur est l’équilibrage de la charge ; le routeur peut favoriser quelques experts « populaires » tout en ignorant les autres, ce qui entraîne une capacité inutilisée. Pour atténuer ce problème, les chercheurs utilisent des fonctions de perte auxiliaires afin d’encourager une utilisation uniforme de tous les experts.

En outre, le déploiement de ces modèles gigantesques nécessite des configurations matérielles sophistiquées. Comme le nombre total de paramètres est élevé (même si le nombre de paramètres actifs est faible), le modèle nécessite souvent une quantité importante de VRAM, ce qui impose un entraînement distribué sur plusieurs GPU. Des frameworks comme Microsoft DeepSpeed aident à gérer le parallélisme nécessaire pour entraîner efficacement ces systèmes. Pour gérer les jeux de données et les workflows d’entraînement de telles architectures complexes, des outils comme l’Ultralytics Platform fournissent une infrastructure essentielle pour la journalisation, la visualisation et le déploiement.