Mixture of Experts (MoE)

A Mistura de Especialistas (MoE) é uma arquitetura de rede neural que divide parte de um modelo em várias sub-redes paralelas, chamadas especialistas, e usa um pequeno roteador aprendido para encaminhar cada entrada a apenas alguns deles. Como cada token ou recorte de imagem passa por uma fração dos especialistas, a quantidade total de parâmetros pode crescer muito mais depressa do que a computação necessária por entrada. O Mixtral 8x7B tem 47 mil milhões de parâmetros, mas usa 13 mil milhões por token, e o DeepSeek-V3 ativa 37 mil milhões dos seus 671 mil milhões. A camada MoE esparsa com roteamento, usada nos atuais grandes modelos de linguagem (LLMs), baseia-se na camada MoE com ativação esparsa da Google, de 2017, que chegou a 137 mil milhões de parâmetros entre camadas LSTM empilhadas.

Como funciona uma camada MoE#

Num Transformer, uma camada MoE costuma substituir a rede feed-forward (FFN) que vem depois de cada bloco de autoatenção. A camada contém N FFNs especialistas com a mesma estrutura, além de um roteador: uma única camada linear que atribui uma pontuação a cada especialista para cada token. O token é encaminhado aos k especialistas com as pontuações mais altas; as respetivas saídas são ponderadas pelas pontuações normalizadas do roteador e somadas, enquanto os restantes especialistas não processam esse token. O Mixtral escolhe 2 dos 8 especialistas em cada camada, enquanto o DeepSeek-V3 escolhe 8 dos 256 especialistas menores com roteamento e também encaminha cada token por um especialista partilhado. Como o roteamento acontece de forma independente em cada camada, um token pode usar especialistas diferentes em diferentes profundidades, e dois tokens da mesma frase podem seguir caminhos distintos na mesma camada:

Os especialistas do Mixtral não se especializaram por tema. Os autores não encontraram uma associação clara entre especialistas e assuntos como biologia ou filosofia; o roteamento seguia a sintaxe. Assim, tokens como self em código Python e tokens de indentação tendiam a chegar aos mesmos especialistas.

Balanceamento de carga e capacidade dos especialistas#

Um roteador recém-inicializado tende a favorecer alguns especialistas, que passam então a treinar mais depressa e a atrair ainda mais tokens, enquanto os restantes ficam inativos. O exemplo abaixo, com seis tokens, passa por uma camada top-2 com oito especialistas e conta quantos tokens cada especialista recebe:

import torch

torch.manual_seed(0)
dim, num_experts, top_k = 32, 8, 2
experts = torch.nn.ModuleList(
    torch.nn.Sequential(torch.nn.Linear(dim, 4 * dim), torch.nn.GELU(), torch.nn.Linear(4 * dim, dim))
    for _ in range(num_experts)
)
router = torch.nn.Linear(dim, num_experts, bias=False)
tokens = torch.randn(6, dim)

# O roteador mantém as pontuações dos dois melhores especialistas de cada token e aplica-lhes softmax para obter os pesos de combinação
scores, chosen = router(tokens).topk(top_k, dim=-1)
weights = scores.softmax(dim=-1)
out = torch.zeros_like(tokens)
for e, expert in enumerate(experts):
    token_idx, slot = (chosen == e).nonzero(as_tuple=True)  # tokens que escolheram o especialista e
    out[token_idx] += weights[token_idx, slot, None] * expert(tokens[token_idx])

print("Experts per token:", chosen.tolist())
print("Tokens per expert:", torch.bincount(chosen.flatten(), minlength=num_experts).tolist())

O resultado impresso mostra os pares de especialistas [[3, 6], [7, 6], [0, 7], [3, 1], [6, 1], [2, 3]] e as contagens por especialista [1, 2, 1, 3, 0, 0, 3, 2]: os especialistas 3 e 6 processam três tokens cada, enquanto os especialistas 4 e 5 não recebem nenhum; cada token passa apenas por 2 das 8 redes especialistas. O Switch Transformer, que encaminhava cada token para um único especialista e chegou a 1,6 biliões de parâmetros, acrescentou um termo de perda auxiliar que é mínimo quando os tokens e as probabilidades do roteador estão distribuídos uniformemente entre os especialistas; muitos modelos MoE posteriores usam um termo semelhante. O DeepSeek-V3 elimina a perda auxiliar e, em vez disso, aumenta ou reduz durante o treinamento um viés por especialista nas pontuações de roteamento. Os sistemas de treinamento também limitam o número de tokens que um especialista aceita por lote, ou seja, a sua capacidade; os tokens que excedem esse limite ignoram os especialistas dessa camada e continuam pela conexão residual.

MoE e conceitos relacionados#

• Ensemble de modelos: vários modelos completos processam cada entrada, e as suas previsões são calculadas pela média ou por votação; por isso, a computação aumenta com cada modelo adicionado. Um MoE é uma única rede treinada de ponta a ponta, cujo roteador escolhe um caminho diferente para cada token.
• Roteamento de modelos: um roteador escolhe um modelo inteiro por pedido, como um modelo pequeno para perguntas simples e um modelo grande para perguntas difíceis. Num MoE, o roteamento acontece por token, dentro de cada camada MoE de um único modelo.
• Mistura de profundidades (MoD): um roteador permite que alguns tokens ignorem um bloco inteiro, fazendo com que a computação varie por token. É frequentemente combinada com MoE.
• Mistura de agentes (MoA): vários LLMs distintos respondem a um prompt, e camadas posteriores de LLMs refinam as respostas combinadas; trata-se de um pipeline de prompts sem pesos partilhados.

MoE em modelos de linguagem e visão#

Muitos dos maiores LLMs de pesos abertos usam camadas MoE, incluindo DeepSeek-V3, Llama 4, as versões MoE do Qwen3 e o gpt-oss da OpenAI. Em visão computacional, o Vision MoE (V-MoE) substituiu algumas camadas FFN de um Vision Transformer (ViT) por especialistas e encaminhou recortes individuais da imagem, igualando a precisão de ponta com apenas metade da computação de inferência; a sua versão de 15 mil milhões de parâmetros alcançou 90,35% de precisão top-1 no ImageNet.

Memória e disponibilização#

A MoE reduz a computação, não a memória: todos os especialistas têm de ser carregados, mesmo que cada token use apenas alguns deles. Por isso, o Mixtral precisa da memória de um modelo com 47 mil milhões de parâmetros, embora faça por token o trabalho de um modelo com 13 mil milhões de parâmetros. Assim, os grandes modelos MoE são distribuídos por GPUs com paralelismo de especialistas, em que cada GPU contém um subconjunto dos especialistas e uma troca todos-com-todos envia cada token aos dispositivos que contêm os especialistas escolhidos e o traz de volta. Frameworks como o DeepSpeed-MoE combinam o paralelismo de especialistas com o paralelismo de dados e o paralelismo de tensores para o treinamento. Os modelos de visão para dispositivos de borda seguem a abordagem densa: o YOLO26 executa cada camada em cada imagem; por isso, a memória ocupada e a computação por imagem são iguais para todas as entradas.