Mixture of Experts (MoE)

Mixture of Experts (MoE) là một thiết kế kiến trúc chuyên biệt trong deep learning, cho phép các model mở rộng quy mô đến kích thước khổng lồ mà không làm tăng chi phí tính toán tương ứng. Khác với neural network (NN) dạng dense tiêu chuẩn, nơi mọi tham số đều hoạt động với mọi input, một model MoE sử dụng kỹ thuật gọi là tính toán có điều kiện (conditional computation). Cách tiếp cận này chỉ kích hoạt linh hoạt một tập hợp con nhỏ các thành phần của mạng—được gọi là "experts"—dựa trên các đặc điểm cụ thể của dữ liệu đầu vào. Bằng cách đó, các kiến trúc MoE cho phép tạo ra những foundation models mạnh mẽ có thể sở hữu hàng nghìn tỷ tham số trong khi vẫn duy trì inference latency và tốc độ vận hành của các hệ thống nhỏ hơn nhiều.

Link to this sectionCác cơ chế cốt lõi của MoE#

Hiệu suất của một model Mixture of Experts bắt nguồn từ việc thay thế các lớp dense tiêu chuẩn bằng một lớp MoE thưa (sparse MoE layer). Lớp này thường bao gồm hai thành phần chính phối hợp với nhau để xử lý thông tin một cách hiệu quả:

• The Experts: Đây là các mạng phụ độc lập, thường là các mạng feed-forward neural networks (FFN) đơn giản. Mỗi expert chuyên biệt trong việc xử lý các khía cạnh khác nhau của dữ liệu. Trong bối cảnh của natural language processing (NLP), một expert có thể trở nên thành thạo trong việc xử lý ngữ pháp, trong khi expert khác tập trung vào truy xuất thông tin thực tế hoặc cú pháp code.
• The Gating Network (Router): Router đóng vai trò là bộ điều khiển lưu lượng cho dữ liệu. Khi một input—ví dụ như một patch hình ảnh hoặc một token văn bản—đi vào lớp này, router sẽ tính toán điểm xác suất bằng softmax function. Sau đó, nó chỉ chuyển input đó đến các expert "Top-K" (thường là một hoặc hai) có điểm số cao nhất. Điều này đảm bảo model chỉ tiêu tốn năng lượng cho các tham số liên quan nhất.

Link to this sectionPhân biệt với Model Ensembles#

Mặc dù cả hai khái niệm đều liên quan đến việc sử dụng nhiều sub-model, nhưng điều quan trọng là phải phân biệt Mixture of Experts với model ensemble. Trong một ensemble truyền thống, mọi model trong nhóm đều xử lý cùng một input, và kết quả của chúng được lấy trung bình hoặc bình chọn để tối đa hóa accuracy. Cách tiếp cận này làm tăng chi phí tính toán theo tuyến tính với số lượng model.

Ngược lại, MoE là một model thống nhất duy nhất, nơi các input khác nhau đi qua các đường dẫn khác nhau. Một MoE thưa hướng tới scalability và hiệu quả bằng cách chỉ chạy một phần nhỏ tổng số tham số cho bất kỳ bước inference nào. Điều này cho phép đào tạo trên một lượng lớn training data mà không gặp phải các chi phí đắt đỏ liên quan đến các ensemble dạng dense.

Link to this sectionCác ứng dụng trong thực tế#

Kiến trúc MoE đã trở thành nền tảng cho AI hiệu năng cao hiện đại, đặc biệt là trong các tình huống đòi hỏi khả năng đa nhiệm và lưu giữ kiến thức rộng.

1. Multilingual Language Models: Các model nổi bật như Mistral AI's Mixtral 8x7B sử dụng MoE để vượt trội trong các tác vụ ngôn ngữ đa dạng. Bằng cách định tuyến các token đến các expert chuyên biệt, các hệ thống này có thể xử lý dịch thuật, tóm tắt và các tác vụ coding trong một cấu trúc model duy nhất, vượt xa các model dense có số lượng tham số hoạt động tương đương.

2. Scalable Computer Vision: Trong lĩnh vực computer vision (CV), các nhà nghiên cứu áp dụng MoE để xây dựng các vision backbone khổng lồ. Kiến trúc Vision MoE (V-MoE) minh chứng cách các expert có thể chuyên biệt trong việc nhận diện các đặc điểm thị giác riêng biệt, mở rộng hiệu suất một cách hiệu quả trên các benchmark như ImageNet. Trong khi các model dense được tối ưu hóa cao như YOLO26 vẫn là tiêu chuẩn cho phát hiện thời gian thực trên thiết bị biên nhờ footprint bộ nhớ có thể dự đoán được, nghiên cứu về MoE vẫn tiếp tục mở rộng ranh giới của hiểu biết thị giác phía máy chủ.

Link to this sectionVí dụ về logic định tuyến#

Để hiểu cách gating network chọn các expert, hãy xem xét ví dụ về PyTorch đơn giản hóa này. Nó minh họa một cơ chế định tuyến chọn ra expert phù hợp nhất cho một input nhất định.

import torch
import torch.nn as nn

# A simple router deciding between 4 experts for input dimension of 10
num_experts = 4
input_dim = 10
router = nn.Linear(input_dim, num_experts)

# Batch of 2 inputs
input_data = torch.randn(2, input_dim)

# Calculate scores and select the top-1 expert for each input
logits = router(input_data)
probs = torch.softmax(logits, dim=-1)
weights, indices = torch.topk(probs, k=1, dim=-1)

print(f"Selected Expert Indices: {indices.flatten().tolist()}")

Link to this sectionNhững thách thức trong đào tạo và triển khai#

Mặc dù có những ưu điểm, các model MoE cũng đưa ra những thách thức độc đáo cho training process. Một vấn đề chính là load balancing (cân bằng tải); router có thể ưu tiên một vài expert "phổ biến" trong khi bỏ qua những expert khác, dẫn đến lãng phí năng lực. Để giảm thiểu điều này, các nhà nghiên cứu sử dụng các loss functions phụ trợ để khuyến khích việc sử dụng đồng đều tất cả các expert.

Hơn nữa, việc triển khai các model khổng lồ này đòi hỏi các thiết lập phần cứng phức tạp. Vì tổng số lượng tham số rất cao (ngay cả khi các tham số hoạt động ít), model thường yêu cầu VRAM đáng kể, đòi hỏi distributed training trên nhiều GPUs. Các framework như Microsoft DeepSpeed giúp quản lý sự song song cần thiết để đào tạo các hệ thống này một cách hiệu quả. Để quản lý các tập dữ liệu và quy trình đào tạo cho các kiến trúc phức tạp như vậy, các công cụ như Ultralytics Platform cung cấp cơ sở hạ tầng thiết yếu cho việc logging, trực quan hóa và triển khai.