Mixture of Experts (MoE)

Mixture of Experts (MoE) là kiến trúc mạng nơ-ron chia một phần model thành nhiều mạng con song song, gọi là expert, rồi dùng một router nhỏ được học để chỉ chuyển mỗi đầu vào đến một vài expert. Vì mỗi token hoặc patch ảnh chỉ đi qua một phần các expert, tổng số parameter có thể tăng nhanh hơn nhiều so với lượng tính toán cho mỗi đầu vào. Mixtral 8x7B có 47 tỷ parameter nhưng chỉ dùng 13 tỷ cho mỗi token, còn DeepSeek-V3 kích hoạt 37 tỷ trong tổng số 671 tỷ parameter. Lớp MoE thưa có cổng router được dùng trong các mô hình ngôn ngữ lớn (LLMs) hiện nay kế thừa ý tưởng từ lớp MoE có cổng thưa của Google năm 2017, đạt 137 tỷ parameter giữa các lớp LSTM xếp chồng.

Cách một lớp MoE hoạt động#

Trong một Transformer, lớp MoE thường thay thế mạng truyền thẳng (FFN) nằm sau mỗi khối self-attention. Lớp này chứa N FFN expert có cùng hình dạng, cùng một router — một lớp tuyến tính duy nhất chấm điểm từng expert cho mỗi token. Token được gửi đến k expert có điểm cao nhất; đầu ra của chúng được nhân với điểm đã chuẩn hóa từ router rồi cộng lại, còn các expert khác không xử lý token đó. Mixtral chọn 2 trong 8 expert ở mỗi lớp, trong khi DeepSeek-V3 chọn 8 trong 256 expert nhỏ hơn được router điều phối và đồng thời gửi mọi token qua một expert dùng chung. Vì việc định tuyến diễn ra độc lập ở từng lớp, một token có thể dùng các expert khác nhau ở những độ sâu khác nhau, và hai token trong cùng câu có thể đi theo những đường xử lý khác nhau qua cùng một lớp:

Các expert trong Mixtral không chuyên biệt theo chủ đề. Tác giả không tìm thấy sự phân công rõ ràng giữa expert với các chủ đề như sinh học hay triết học; thay vào đó, việc định tuyến tuân theo cú pháp, vì vậy các token như self trong mã Python và token thụt lề thường được chuyển đến cùng các expert.

Cân bằng tải và dung lượng expert#

Router mới khởi tạo thường ưu tiên một vài expert, khiến các expert đó training nhanh hơn và thu hút ngày càng nhiều token trong khi những expert còn lại không hoạt động. Ví dụ sáu token bên dưới được định tuyến qua lớp top-2 có tám expert và đếm số token mà mỗi expert nhận được:

import torch

torch.manual_seed(0)
dim, num_experts, top_k = 32, 8, 2
experts = torch.nn.ModuleList(
    torch.nn.Sequential(torch.nn.Linear(dim, 4 * dim), torch.nn.GELU(), torch.nn.Linear(4 * dim, dim))
    for _ in range(num_experts)
)
router = torch.nn.Linear(dim, num_experts, bias=False)
tokens = torch.randn(6, dim)

# Router giữ lại điểm số của hai expert hàng đầu cho mỗi token rồi áp dụng softmax để chuyển chúng thành trọng số phối trộn
scores, chosen = router(tokens).topk(top_k, dim=-1)
weights = scores.softmax(dim=-1)
out = torch.zeros_like(tokens)
for e, expert in enumerate(experts):
    token_idx, slot = (chosen == e).nonzero(as_tuple=True)  # các token đã chọn expert e
    out[token_idx] += weights[token_idx, slot, None] * expert(tokens[token_idx])

print("Experts per token:", chosen.tolist())
print("Tokens per expert:", torch.bincount(chosen.flatten(), minlength=num_experts).tolist())

Kết quả in ra là các cặp expert [[3, 6], [7, 6], [0, 7], [3, 1], [6, 1], [2, 3]] và số lượng theo từng expert [1, 2, 1, 3, 0, 0, 3, 2]: mỗi expert 3 và 6 xử lý ba token, trong khi expert 4 và 5 không nhận token nào; mỗi token chỉ đi qua 2 trong 8 mạng expert. Switch Transformer, định tuyến mỗi token đến một expert duy nhất và mở rộng đến 1,6 nghìn tỷ parameter, đã bổ sung một thành phần loss phụ trợ đạt giá trị nhỏ nhất khi token và xác suất router được phân bổ đồng đều giữa các expert; nhiều model MoE về sau cũng dùng thành phần tương tự. DeepSeek-V3 bỏ loss phụ trợ và thay vào đó điều chỉnh tăng hoặc giảm bias riêng của từng expert trên điểm định tuyến trong quá trình training. Hệ thống training cũng giới hạn số token mỗi expert chấp nhận trong một batch, gọi là dung lượng; token vượt giới hạn sẽ bỏ qua các expert của lớp đó và tiếp tục qua kết nối residual.

MoE và các khái niệm liên quan#

• Tổ hợp model: Một số model hoàn chỉnh cùng xử lý từng đầu vào rồi lấy trung bình hoặc bỏ phiếu trên các dự đoán, do đó lượng tính toán tăng theo số model được thêm vào. MoE là một mạng được training đầu cuối, trong đó router chọn đường xử lý khác nhau cho từng token.
• Định tuyến model: Router chọn một model hoàn chỉnh cho mỗi yêu cầu, chẳng hạn model nhỏ cho câu hỏi đơn giản và model lớn cho câu hỏi khó. Trong MoE, việc định tuyến diễn ra theo từng token bên trong mỗi lớp MoE của một model.
• Mixture of depths (MoD): Router cho phép một số token bỏ qua toàn bộ khối, khiến lượng tính toán thay đổi theo từng token. Phương pháp này thường được kết hợp với MoE.
• Mixture of agents (MoA): Một số LLM riêng biệt trả lời prompt, sau đó các lớp LLM về sau tinh chỉnh những câu trả lời kết hợp; đây là pipeline prompting không dùng chung trọng số.

MoE trong model ngôn ngữ và thị giác#

Nhiều LLM có trọng số mở lớn nhất sử dụng lớp MoE, bao gồm DeepSeek-V3, Llama 4, các phiên bản MoE của Qwen3 và gpt-oss của OpenAI. Trong thị giác máy tính, Vision MoE (V-MoE) thay thế một số lớp FFN của Vision Transformer (ViT) bằng expert và định tuyến từng patch ảnh, đạt độ chính xác tiên tiến nhất với chỉ bằng một nửa lượng tính toán khi inference; phiên bản 15 tỷ parameter đạt độ chính xác top-1 90.35% trên ImageNet.

Bộ nhớ và serving#

MoE tiết kiệm lượng tính toán chứ không tiết kiệm bộ nhớ: cần tải mọi expert dù mỗi token chỉ sử dụng một vài expert, vì vậy Mixtral cần lượng bộ nhớ của model 47 tỷ parameter trong khi chỉ thực hiện lượng công việc trên mỗi token tương đương model 13 tỷ parameter. Do đó, các model MoE lớn được phân bổ trên nhiều GPU bằng xử lý song song theo expert, trong đó mỗi GPU lưu một tập con expert và quá trình trao đổi all-to-all gửi từng token đến các thiết bị chứa expert đã chọn rồi đưa token trở lại. Các framework như DeepSpeed-MoE kết hợp xử lý song song theo expert với xử lý song song theo dữ liệu và tensor để training. Model thị giác biên chọn hướng dense: YOLO26 chạy mọi lớp trên mọi ảnh, vì vậy dung lượng bộ nhớ và lượng tính toán cho mỗi ảnh giống nhau với mọi đầu vào.