Mixture of Experts (MoE)

Le mélange d’experts (MoE) est une architecture de réseau neuronal qui répartit une partie du modèle entre de nombreux sous-réseaux parallèles, appelés experts, et utilise un petit routeur entraîné pour diriger chaque entrée vers quelques experts seulement. Comme chaque jeton ou fragment d’image ne passe que par une fraction des experts, le nombre total de paramètres peut augmenter bien plus vite que le calcul requis par entrée. Mixtral 8x7B compte 47 milliards de paramètres, mais en utilise 13 milliards pour chaque jeton, et DeepSeek-V3 en active 37 milliards sur ses 671 milliards. La couche MoE clairsemée avec routage utilisée dans les grands modèles de langage (LLMs) actuels s’appuie sur la couche MoE à routage clairsemé de Google, publiée en 2017, qui atteignait 137 milliards de paramètres entre des couches LSTM empilées.

Fonctionnement d’une couche MoE#

Dans un Transformer, une couche MoE remplace généralement le réseau à propagation avant (FFN) qui suit chaque bloc d’auto-attention. La couche contient N FFN experts de forme identique et un routeur, une seule couche linéaire qui attribue un score à chaque expert pour chaque jeton. Le jeton est envoyé aux k experts ayant les scores les plus élevés ; leurs sorties sont pondérées par les scores normalisés du routeur, puis additionnées, tandis que les autres experts ne traitent pas ce jeton. Mixtral sélectionne 2 experts sur 8 dans chaque couche, tandis que DeepSeek-V3 sélectionne 8 de ses 256 petits experts à routage et fait également passer chaque jeton par un expert partagé. Comme le routage s’effectue indépendamment dans chaque couche, un jeton peut utiliser différents experts à différentes profondeurs, et deux jetons d’une même phrase peuvent suivre des parcours différents dans une même couche :

Les experts de Mixtral ne se spécialisaient pas par sujet. Ses auteurs n’ont relevé aucune affectation claire des experts à des sujets comme la biologie ou la philosophie ; le routage suivait plutôt la syntaxe, de sorte que les jetons comme self dans le code Python et les jetons d’indentation arrivaient généralement aux mêmes experts.

Équilibrage de charge et capacité des experts#

Un routeur fraîchement initialisé tend à privilégier quelques experts, qui s’entraînent alors plus vite et attirent encore davantage de jetons, tandis que les autres restent inactifs. L’exemple ci-dessous, qui comporte six jetons, les achemine dans une couche top-2 avec huit experts et compte le nombre de jetons reçus par chaque expert :

import torch

torch.manual_seed(0)
dim, num_experts, top_k = 32, 8, 2
experts = torch.nn.ModuleList(
    torch.nn.Sequential(torch.nn.Linear(dim, 4 * dim), torch.nn.GELU(), torch.nn.Linear(4 * dim, dim))
    for _ in range(num_experts)
)
router = torch.nn.Linear(dim, num_experts, bias=False)
tokens = torch.randn(6, dim)

# Le routeur conserve les scores des deux meilleurs experts pour chaque jeton et leur applique une fonction softmax pour obtenir les poids de mélange
scores, chosen = router(tokens).topk(top_k, dim=-1)
weights = scores.softmax(dim=-1)
out = torch.zeros_like(tokens)
for e, expert in enumerate(experts):
    token_idx, slot = (chosen == e).nonzero(as_tuple=True)  # jetons ayant sélectionné l’expert e
    out[token_idx] += weights[token_idx, slot, None] * expert(tokens[token_idx])

print("Experts per token:", chosen.tolist())
print("Tokens per expert:", torch.bincount(chosen.flatten(), minlength=num_experts).tolist())

Le programme affiche les paires d’experts [[3, 6], [7, 6], [0, 7], [3, 1], [6, 1], [2, 3]] et le nombre de jetons par expert [1, 2, 1, 3, 0, 0, 3, 2] : les experts 3 et 6 traitent chacun trois jetons, tandis que les experts 4 et 5 n’en reçoivent aucun ; chaque jeton ne passe que par 2 des 8 réseaux experts. Le Switch Transformer, qui dirigeait chaque jeton vers un seul expert et atteignait 1,6 billion de paramètres, a ajouté un terme de perte auxiliaire minimal lorsque les jetons et les probabilités du routeur sont répartis uniformément entre les experts ; de nombreux modèles MoE ultérieurs utilisent un terme similaire. DeepSeek-V3 supprime la perte auxiliaire et ajuste plutôt, pendant l’entraînement, un biais propre à chaque expert dans les scores de routage. Les systèmes d’entraînement limitent également le nombre de jetons qu’un expert peut accepter par lot, c’est-à-dire sa capacité ; les jetons qui dépassent cette limite ignorent les experts de cette couche et poursuivent leur chemin par la connexion résiduelle.

MoE et notions associées#

• Ensemble de modèles : plusieurs modèles complets traitent chacun chaque entrée, puis leurs prédictions sont moyennées ou soumises à un vote ; la charge de calcul augmente donc avec chaque modèle ajouté. Un MoE est un seul réseau entraîné de bout en bout, dont le routeur choisit un parcours différent pour chaque jeton.
• Routage de modèles : un routeur choisit un modèle entier pour chaque requête, par exemple un petit modèle pour les questions simples et un grand modèle pour les difficiles. Dans un MoE, le routage s’effectue jeton par jeton, à l’intérieur de chaque couche MoE d’un même modèle.
• Mélange de profondeurs (MoD) : un routeur permet à certains jetons d’ignorer un bloc entier, de sorte que le calcul varie selon le jeton. Cette méthode est souvent combinée au MoE.
• Mélange d’agents (MoA) : plusieurs LLM distincts répondent à une invite, puis des couches ultérieures de LLM affinent leurs réponses combinées. Il s’agit d’un pipeline d’invites sans poids partagés.

Le MoE dans les modèles de langage et de vision#

Beaucoup des plus grands LLMs à poids ouverts utilisent des couches MoE, notamment DeepSeek-V3, Llama 4, les versions MoE de Qwen3 et gpt-oss d’OpenAI. En vision par ordinateur, MoE de vision (V-MoE) a remplacé certaines couches FFN d’un Transformer de vision (ViT) par des experts et a routé individuellement des patchs d’image, égalant la précision de pointe avec seulement la moitié des ressources de calcul nécessaires à l’inférence, et la version à 15 milliards de paramètres de V-MoE a atteint une précision top-1 de 90,35 % sur ImageNet.

Mémoire et service des modèles#

Le MoE réduit le calcul, pas la mémoire : tous les experts doivent être chargés, même si chaque jeton n’en utilise que quelques-uns. Mixtral nécessite donc la mémoire d’un modèle à 47 milliards de paramètres, tout en effectuant le travail par jeton d’un modèle à 13 milliards de paramètres. Les grands modèles MoE sont ainsi répartis sur plusieurs GPU grâce au parallélisme des experts : chaque GPU héberge une partie des experts, et un échange général transmet chaque jeton aux appareils hébergeant les experts sélectionnés, puis le renvoie. Des frameworks tels que DeepSpeed-MoE combinent le parallélisme des experts avec le parallélisme des données et le parallélisme tensoriel pour l’entraînement. Les modèles de vision pour appareils périphériques suivent l’approche dense : YOLO26 exécute chaque couche sur chaque image, de sorte que l’empreinte mémoire et le calcul par image sont identiques pour toutes les entrées.