Mixture of Experts (MoE)

Смесь экспертов (MoE) — это архитектура нейронной сети, в которой часть модели разделена на множество параллельных подсетей, называемых экспертами, а небольшой обучаемый маршрутизатор направляет каждый вход только нескольким из них. Поскольку через экспертов проходит лишь часть каждого токена или фрагмента изображения, общее число параметров может расти гораздо быстрее, чем вычислительные затраты на входной пример. В Mixtral 8x7B 47 миллиардов параметров, но для каждого токена задействованы 13 миллиардов, а DeepSeek-V3 активирует 37 миллиардов из 671 миллиарда параметров. Разреженный слой MoE с маршрутизацией, используемый в современных больших языковых моделях (LLMs), основан на разреженном слое MoE с маршрутизацией, представленном Google в 2017 году: он достиг 137 миллиардов параметров и располагался между слоями LSTM.

Как работает слой MoE#

В трансформере слой MoE обычно заменяет полносвязную сеть (FFN), которая следует за каждым блоком механизма внимания к себе. Слой содержит N экспертных FFN одинаковой формы и маршрутизатор — один линейный слой, который вычисляет оценку каждого эксперта для каждого токена. Токен направляется к k экспертам с наибольшими оценками, их выходы взвешиваются по нормированным оценкам маршрутизатора и суммируются, а остальные эксперты не обрабатывают этот токен. В каждом слое Mixtral выбирает 2 эксперта из 8, а DeepSeek-V3 — 8 из 256 небольших маршрутизируемых экспертов и дополнительно направляет каждый токен через одного общего эксперта. Поскольку маршрутизация выполняется независимо в каждом слое, токен может использовать разных экспертов на разных уровнях, а два токена в одном предложении могут проходить через один и тот же слой разными путями:

Эксперты Mixtral не специализировались по темам. Авторы не обнаружили чёткого распределения экспертов по предметным областям, например биологии или философии; маршрутизация зависела скорее от синтаксиса, поэтому такие токены, как self в коде Python, и токены отступов, как правило, направлялись к одним и тем же экспертам.

Балансировка нагрузки и ёмкость экспертов#

Свежесозданный маршрутизатор обычно отдаёт предпочтение нескольким экспертам. Они обучаются быстрее и привлекают ещё больше токенов, в то время как остальные простаивают. В примере ниже шесть токенов проходят через слой top-2 с восемью экспертами; подсчитывается, сколько токенов получает каждый эксперт:

import torch

torch.manual_seed(0)
dim, num_experts, top_k = 32, 8, 2
experts = torch.nn.ModuleList(
    torch.nn.Sequential(torch.nn.Linear(dim, 4 * dim), torch.nn.GELU(), torch.nn.Linear(4 * dim, dim))
    for _ in range(num_experts)
)
router = torch.nn.Linear(dim, num_experts, bias=False)
tokens = torch.randn(6, dim)

# Маршрутизатор сохраняет оценки двух лучших экспертов для каждого токена и применяет к ним softmax, получая веса смешивания
scores, chosen = router(tokens).topk(top_k, dim=-1)
weights = scores.softmax(dim=-1)
out = torch.zeros_like(tokens)
for e, expert in enumerate(experts):
    token_idx, slot = (chosen == e).nonzero(as_tuple=True)  # токены, выбравшие эксперта e
    out[token_idx] += weights[token_idx, slot, None] * expert(tokens[token_idx])

print("Experts per token:", chosen.tolist())
print("Tokens per expert:", torch.bincount(chosen.flatten(), minlength=num_experts).tolist())

В результате выводятся пары экспертов [[3, 6], [7, 6], [0, 7], [3, 1], [6, 1], [2, 3]] и количество токенов для каждого эксперта [1, 2, 1, 3, 0, 0, 3, 2]: эксперты 3 и 6 обрабатывают по три токена, а эксперты 4 и 5 не получают ни одного, при этом каждый токен проходит только через 2 из 8 экспертных сетей. В Switch Transformer, который направлял каждый токен одному эксперту и масштабировался до 1,6 триллиона параметров, был добавлен вспомогательный член функции потерь: он минимален, когда токены и вероятность маршрутизатора равномерно распределены между экспертами; похожий член используют многие более поздние модели MoE. DeepSeek-V3 отказывается от вспомогательной функции потерь и вместо этого во время обучения немного повышает или понижает смещение в оценках маршрутизации для каждого эксперта. Системы обучения также ограничивают число токенов, которые эксперт может принять за один пакет, то есть его ёмкость; токены сверх этого лимита пропускают экспертов данного слоя и продолжают путь по остаточной связи.

MoE и смежные понятия#

• Ансамбль моделей: несколько полноценных моделей обрабатывают каждый вход, а их предсказания усредняются или объединяются голосованием, поэтому вычислительные затраты растут с добавлением каждой модели. MoE — это одна сеть, обучаемая сквозным образом, в которой маршрутизатор выбирает отдельный путь для каждого токена.
• Маршрутизация между моделями: маршрутизатор выбирает целую модель для каждого запроса, например небольшую — для простых вопросов и большую — для сложных. В MoE маршрутизация выполняется для каждого токена внутри каждого слоя MoE одной модели.
• Смесь глубин (MoD): маршрутизатор позволяет некоторым токенам пропускать целый блок, поэтому вычислительные затраты различаются для разных токенов. Часто используется вместе с MoE.
• Смесь агентов (MoA): несколько отдельных LLM отвечают на запрос, а последующие слои LLM уточняют объединённые ответы — это конвейер обработки запросов без общих весов.

MoE в языковых и визуальных моделях#

Во многих крупнейших LLM с открытыми весами используются слои MoE, в том числе DeepSeek-V3, Llama 4, версии Qwen3 с MoE и gpt-oss от OpenAI. В компьютерном зрении архитектура Vision MoE (V-MoE) заменила некоторые слои FFN в визуальном трансформере (ViT) экспертами и направляла к ним отдельные фрагменты изображения. Она достигла точности на уровне передовых моделей при использовании всего половины вычислений на инференсе, а её версия с 15 миллиардами параметров достигла точности top-1 90,35% на ImageNet.

Память и инференс#

MoE экономит вычисления, но не память: необходимо загрузить каждого эксперта, даже если для каждого токена задействуются лишь некоторые из них. Поэтому Mixtral требует столько же памяти, сколько модель с 47 миллиардами параметров, хотя обрабатывает каждый токен с затратами, характерными для модели с 13 миллиардами параметров. Крупные модели MoE распределяют по GPU, используя параллелизм экспертов: каждый GPU хранит часть экспертов, а обмен «каждый с каждым» передаёт каждый токен на устройства с выбранными экспертами и обратно. Такие фреймворки, как DeepSpeed-MoE, объединяют параллелизм экспертов с параллелизмом данных и тензорным параллелизмом для обучения. Визуальные модели для периферийных устройств используют плотную архитектуру: YOLO26 обрабатывает каждое изображение каждым слоем, поэтому объём используемой памяти и вычисления на изображение одинаковы для всех входов.